Studiewijzer. Kunstmatige Intelligentie [INFOB2KI] Silja Renooij. versie 6 December Algemene informatie 2. 2 Toetsing 2.

Transcriptie

1 Studiewijzer Kunstmatige Intelligentie [INFOB2KI] Silja Renooij versie 6 December 2018 Contents 1 Algemene informatie 2 2 Toetsing 2 3 Verwachtingen 5 4 Veelgemaakte fouten bij toetsen 11 5 Wiskunde en notatie 14 6 Werkcollegeopgaven 16 7 Antwoorden, hints en uitwerkingen 36 1

2 1 Algemene informatie Deze studiewijzer is bedoeld om duidelijkheid te geven over wat er aan inspanning verwacht wordt voor het kunnen halen van het vak Kunstmatige Intelligentie (INFOB2KI). Hopelijk zal dit document daarmee ook behulpzaam zijn bij je zelfstudie. Naast een heleboel informatie, bevat deze wijzer ook (verwijzingen naar) de werkcollege-opgaven en voor een deel daarvan hints, antwoorden of uitwerkingen. Het vakgebied van de Kunstmatige Intelligentie is zeer breed. In dit vak, verzorgd door het Departement Informatica van de UU, beperken we ons tot de technische kant van de KI, en laten bijvoorbeeld de cognitieve en filosofische kanten buiten beschouwing. Zelfs dan is vakgebied van de KI zo breed dat het onmogelijk is om alles in één vak uitgebreid te behandelen. We hebben ervoor gekozen om het informatica basisvak KI (INFOB2KI) een brede invulling in plaats van een verdiepende invulling te geven. Door de keuze voor een brede invulling kunnen we een breed scala aan onderwerpen uit de KI laten zien om zo een indruk te geven van de volle breedte van het vakgebied. Voor studenten die enthousiast geworden zijn over het onderwerp, bestaat er vervolgens de mogelijkheid om een van de verdiepende vervolgvakken te kiezen. Een brede invulling heeft bovendien de voorkeur omdat we graag onze studenten uit het studiepad gametechnologie, voor wie dit een gebonden keuzevak is, willen laten kennismaken met de verschillende KI technieken die meer en meer toegepast gaan worden in games. Met de keuze voor een brede opzet, verliezen we noodzakelijkerwijs diepgang. Dit heeft als gevolg dat veel algoritmen en methoden op oppervlakkige wijze worden behandeld, waardoor volledig begrip van de ins-and-outs niet verwacht kan worden. Ook zal regelmatig niet meer dan een eenvoudig geval behandeld worden, waardoor studenten onvoldoende kennis meekrijgen om technieken in het algemeen toe te kunnen passen. Ook verschillende problemen die aan bepaalde technieken ten grondslag liggen kunnen niet uitvoerig behandeld worden omdat die met uitsluitende kennis van de basis niet te begrijpen zijn. Dit heeft directe gevolgen voor de mogelijkheden tot toetsing van de stof. Het is belangrijk om je bovenstaande te realiseren: dit vak geeft je een brede basis in de KI, maar ga ervan uit dat je geen van de behandelde technieken echt in je vingers krijgt. Je krijgt een oppervlakkige introductie die je, als je daarin geïnteresseerd bent, met vervolgvakken (of zelfstudie) verder kan uitbouwen. 2 Toetsing Het vak wordt beoordeeld aan de hand van tentamens en projecten. Alle onderdelen, mits op tijd ingeleverd, worden becijferd op een schaal van 1.0 tot 10.0; om het vak te halen moet het eindcijfer tenminste een 6.0 zijn. Er staat 7.5 ECTS voor dit vak, wat inhoudt dat een totale investering verwacht wordt van ongeveer 210 uur per persoon. Naast het volgen van hoorcolleges, werkcolleges en practica word je dus geacht nog zo n 15 uur per week (!) te besteden aan het voorbereiden van de bijeenkomsten, het practicum, oefenopgaven, en de tentamens. 2

3 2.1 Tentamens Om een eindcijfer te kunnen behalen moet je aan de twee schriftelijke tentamens deelnemen: een deeltentamen halverwege en een eindtentamen. De onderwerpen die behoren tot de stof voor een tentamen zijn te vinden in het weekrooster op de vakwebsite. In het weekrooster staat tevens aangegeven welke literatuur, slides en opgaven bij de verschillende onderwerpen horen. Deze behoren allemaal tot de tentamenstof, tenzij expliciet anders is aangegeven. De tentamens zijn gesloten-boek, dus je mag geen boeken, slides, of digitale bronnen raadplegen tijdens het tentamen. Het is echter toegestaan om een spiekbriefje te gebruiken, onder een aantal voorwaarden die op de beoordelingspagina van de website zijn te vinden. Op de pagina met oefenopgaven zijn ook oefententamens te vinden, deels met uitwerkingen. Veel oude tentamenopgaven komen ook terug in de werkcolleges. Kennis Er wordt verwacht dat je kennis hebt van de methoden, technieken en concepten die behandeld zijn, zoals die beschreven zijn in de literatuur en besproken in college: er wordt verwacht dat je de stof voldoende leert om multiple-choice vragen over basiskennis te beantwoorden. Dat betekent bijvoorbeeld dat je weet waarom bepaalde technieken bepaalde namen hebben (als dat niet voor de hand ligt), wat veelgebruikte heuristieken zijn en hoe die werken, wat de belangrijke ingrediënten van formules zijn, etc. kijk bijvoorbeeld eens naar de multiple-choice vragen in het tentamen T1-2014/15 zoals te vinden via de pagina met oefenopgaven van de website. of oefen multiple-choice vragen over KI onderwerpen online (NB deze zijn niet allemaal even geweldig... ): Het blijkt dat een slechte score op multiple-choice vragen zeer voorspellend is voor een onvoldoende voor het gehele tentamen; zie bijvoorbeeld een analyse van de resultaten van bovengenoemd tentamen (blauw en rood is onvoldoende): 40 Aantal studenten in cijferrange Aantal fout in multiple choice [6,10> [5,6> [4,5> <0,4>] 3

4 Begrip Je moet kunnen laten zien dat je de behandelde concepten, methoden en technieken begrijpt. Aangezien we wat begrip betreft, zoals boven beschreven, weinig diepgang kunnen bereiken in dit vak, wordt het toetsen van begrip maar zeer beperkt gedaan. Denk daarom ook niet dat als je de colleges allemaal wel begreep dat je dan ook voldoende voorbereid bent op de tentamens! We toetsen begrip als volgt deels door de opgaven voor de verslagen die onderdeel uitmaken van de projecten deels door te vragen naar vergelijkingen van concepten en methoden in bijvoorbeeld multiple-choice vragen deels door het laten toepassen van methoden en technieken in de projecten en in de meer open vragen van de tentamens Vaardigheid Tenslotte moet je kunnen laten zien dat je behandelde concepten, methoden en technieken kunt toepassen. Ook hiervoor geldt dat toepassing beperkt moet worden tot kleine en eenvoudige situaties, niet alleen vanwege het ontbreken van diepgang in de behandelde stof, maar zeker ook vanwege de beschikbare tijd voor toetsing. Vaardigheid wordt zowel getoetst in de projecten, als in de open vragen van de tentamens. Om te voorkomen dat je veel tijd verliest tijdens de tentamens, word je aangeraden om voldoende met de stof te oefenen, thuis en op de werkcolleges. Maak werkcollegeopgaven van te voren, zodat je de begeleiding op het werkcollege compleet kan gebruiken om te vragen of je aanpak correct is, of om hulp te vragen als je vastgelopen bent. Help elkaar ook met het uitwerken van de stof via het discussieforum op Blackboard. Merk op dat er op het werkcollege regelmatig oude tentamenopgaven geoefend worden (er zijn er verschillende te vinden via de pagina met oefenopgaven van de website); omgekeerd worden varianten van werkcollege opgaven weer gebruikt als tentamenopgave. Doe hier dus je voordeel mee! Merk op dat er een verschil is tussen het oplossen van een probleem en het toepassen van een specifiek algoritme voor het oplossen van een probleem. De vraag wat is het kortste pad? kan bijvoorbeeld correct beantwoord worden door alleen een pad te geven; de vraag illustreer het algoritme van Dijkstra door het kortste pad te vinden zal hoogstwaarschijnlijk geen punten voor alleen een antwoord opleveren omdat het doel is dat je laat zien dat je weet en snapt hoe dat specifieke algoritme werkt. 2.2 Projecten Om een eindcijfer te kunnen behalen moet je twee projecten uitvoeren die elk bestaan uit een implementatiedeel en een theoretisch en experimenteel deel met bijbehorend verslag. Het eerste deel staat daarbij duidelijk in dienst van het tweede; het is belangrijk dat je waar nodig in je verslag laat zien dat je begrijpt wat je aan het doen bent. Zoals boven beschreven wordt in de projecten zowel begrip als vaardigheid getoetst. De globale onderwerpen van de projecten worden allemaal ook in de colleges behandeld; de projecten geven echter de mogelijkheid er dieper op in te gaan. Er wordt dan ook verwacht dat je na het doen van de projecten tevens meer kennis van een onderwerp hebt dan je op basis van 4

5 de literatuur en colleges kan verwachten. Deze extra kennis kan weer getoetst worden in de tentamens. Bovendien geven de projecten de mogelijkheid om ook gerelateerde onderwerpen aan te snijden die niet direct in de literatuur of colleges zitten. Je wordt geacht je zelf in die extra stof te verdiepen en daar in het project ervaring mee op te doen. 3 Verwachtingen Bovenstaande geeft globaal aan waar de leerdoelen van het vak terugkomen in de toetsing. Meer specifieke verwachtingen staan, per thema, hieronder aangegeven. 3.1 KI Algemeen Voor alle behandelde stof in het vak geldt dat je bekend bent met de inhoud en gebruikte terminologie en notatie van de slides en de bijbehorende hoofdstukken in het boek, of ander materiaal dat in het weekrooster op de website vermeld staat. 3.2 Problemsolving van alle behandelde zoekalgoritmen ken je de werking en kan je ze toepassen je weet wat de verschillende performance measures (compleetheid, tijd- en geheugencomplexiteit, optimaliteit) betekenen van alle behandelde zoekalgoritmen ken en begrijp je de performance measures, en de eventuele voorwaarden waaronder ze gelden je kan de overeenkomsten van en verschillen tussen de algoritmen benoemen je kent het verband, indien aanwezig, tussen de werking van een algoritme en de naam/afkorting je kent het verschil tussen tree-search en graph-search je begrijpt het effect van het gebruik van heuristieken je weet wat de eigenschappen admissibility en consistency betekenen en kan voor een specifieke heuristiek bepalen of daaraan voldaan is je kent de heuristieken die in boek en slides behandeld zijn, en kan zelf eenvoudige heuristieken bedenken van de local search algoritmes ken je het globale idee en kan je aangeven wat het kenmerkende verschil is met uninformed search en de best-first search varianten. je bent bekend met de terminologie gebruikt in Evolutionary Computing in het algemeen, en Genetische algoritmen in het bijzonder (Darwiniaanse begrippen, selection, variation, mutation, recombination, cross-over, population, parent pool, offspring, evaluation, fitness, replacement, diversity, etc.) 5

6 je bent bekend met het algemene schema van een evolutionair algoritme (EA) (de verschillende stappen) en kan die uitvoeren je bent bekend met de behandelde selectie methoden (proportionate, truncation, tournament), kent hun voor- en nadelen en kan ze toepassen je bent bekend met de behandelde variatie methoden (mutation, recombination, en meer specifiek uniform, en 2-point cross-over), kent hun voor- en nadelen en kan ze toepassen je bent bekend met de terminologie en technieken in de EA tableau s (dwz gebruikte representaties en operatoren) voor 8-queens, Knapsack en Travelling Salesman Problem (TSP) je kan EAs als zoekalgoritme vergelijken met andere in het vak behandelde zoekalgoritmen 3.3 Planning under uncertainty, inclusief reinforcement learning je weet wat een MDP is en wat een POMDP is: met name de ingrediënten en in wat voor context ze geschikt zijn je weet wat het verschil tussen een MDP en een POMDP is en waarom een POMDP nou zoveel complexer is je weet wat de afkortingen MDP en POMDP betekenen en wat de Markov eigenschap is je kent de ingredienten van de Bellman equation en weet waar ze voor dienen, en je weet wat een policy is je snapt hoe Value Iteration werkt en kan dat toepassen (dus ook in een niet-grid wereld), en je weet hoe je vervolgens een optimal policy kan bepalen je begrijpt wat het idee achter reinforcement learning is, en kent de verschillende benaderingen (model-based vs model-free) je kan de drie model-free learning algoritmen toepassen, en kent en begrijpt de verschillende ingrediënten van de bijbehorende formules je weet wat het verschil tussen passive en active learning is je weet wat exploration en exploitation betekenen, wat het nut ervan is voor reinforcement learning, en of/hoe dit in de algoritmen wordt gebruikt. 3.4 Decision making je weet wat reactive planning is je kent de semantiek en eigenschappen van de behandelde varianten van beslisbomen, FSMs en behavior trees en weet waarom ze zo heten 6

7 je weet hoe regelgebaseerde systemen werken: wat doet forward/backward chaining, wat is matching, wat zijn methoden voor rule arbitration, wat doen ze en waarom zijn ze nodig, etc je kan forward/backward chaining toepassen, maar hoeft dit niet volgens het Rete algoritme te kunnen; wel moet je bekend zijn met de globale werking van het Rete algoritme je kent voor- en nadelen van de verschillende formalismen en kan ze met elkaar vergelijken net als voor de andere zoekalgoritmen ken je de eigenschappen en performance measures voor mini-max je weet hoe mini-max en alfa-beta pruning werken en kan dit toepassen, en een optimale strategie bepalen je bent bekend met de behandelde begrippen uit de speltheorie en kan ze toepassen 3.5 Classical/Deterministic planning je kent de kenmerken van classical planning je weet het verschil tussen lineaire (non-interleaved) en interleaved (hierarchische) planners, en snapt hun globale werking je kent de Sussman anomaly en weet wat die illustreert je weet wat STRIPS is, kan eenvoudige acties in STRIPS-syntax definiëren en kan voor zeer eenvoudige voorbeelden een plan maken zoals dat mbv goal-stack-planning gevonden zou worden je weet wat het frame probleem en het ramification probleem is, inclusief de oplossing in STRIPS je kent overeenkomsten en verschillen tussen STRIPS en GOAP, en weet wat insistence en discontentment is, en hoe je dat laatste berekent je kent de globale werking van NOAH, weet wat de afkorting betekent, en weet wat de critic doet je kent heel globaal de werking van HTNs in het algemeen en SHOP in het bijzonder, en weet wat de afkortingen betekenen je kent, voor zover behandeld, de performance measures van de verschillende algoritmen 3.6 Supervised learning je kent het verschil tussen online en offline learning je kent de redenen waarom je learning in de context van Game AI zou willen toepassen je kent het verschil tussen training-set, validation of held-out set, en test set 7

8 je kent overeenkomsten en verschillen tussen verschillende typen learning: supervised, unsupervised semi-supervised, strong supervision, weak supervision, reinforcement je kent het verschil tussen bias en variance en weet wat de trade-off inhoudt je kent het verband met overfitten, weet wat dat is; idem voor het tegenovergestelde : generalisatie vermogen je weet wat ID3 is en hoe het werkt, en kan de benodigde entropie-berekeningen uitvoeren je weet wat een Naive Bayes classifier is (NBC), hoe die werkt, en kan de bijbehorende berekeningen uitvoeren je weet wat een single layer perceptron is je weet wat activation functions zijn, en bent bekend met de hard-limiting versies (stepfunction en sign-function) je begrijpt het verschil tussen het gebruik van een bias en een threshold en kan de een in de ander omschrijven je begrijpt perceptron learning en kan dat toepassen; je kent verschillende stopping-rules je begrijpt de globale werking van Back-propagation, maar hoeft niet dit niet toe te kunnen passen je weet het verschil tussen single-layer en multi-layer networks en het verschil in uitdrukkingskracht je kan het feedforward algoritme toepassen, met zowel hard-limiting als continue activation functions je kent de formule van de logistic sigmoid en weet hoe je daar een bias of threshold in kan verwerken je kent de waarheidstabellen van standaard logische operatoren (OR, AND, NOT, IM- PLICATIE, BI-IMPLICATIE (=EQUIVALENTIE) (allen voorkennis uit Logica voor Informatica), NAND (=NOT-AND), NOR, XOR) je kent de eigenschappen, voor- en nadelen, en performance measures (voor zover behandeld) van alle in het vak behandelde classificatie algoritmen (ID3, NBC, NN) en kan ze onderling vergelijken. 3.7 Reasoning under uncertainty je kent het verschil tussen kans, kansverdeling, voorwaardelijke (conditionele) kans en voorwaardelijke kansverdeling je kent de kans-axioma s en kan die toepassen je kent de definitie van voorwaardelijke kans en kan die toepassen 8

9 je kent de volgende rekenregels en kan die toepassen: product regel, regel van Bayes, kettingregel (chain rule), marginalisatie regel je kent de definities van (conditionele) onafhankelijkheid je bent bekend met de syntax en semantiek van een Bayesiaans netwerk, kent de formule voor de kansverdeling (joint distribution) gedefinieerd door een Bayesiaans netwerk je kan kansen uitrekenen uit Bayesiaanse netwerken je kent de complexiteit van inferentie (=kansen uitrekenen) in Bayesiaanse netwerken je kent het verschil tussen fuzzy en crisp sets, en de notaties voor fuzzy sets je kent voor- en nadelen van het gebruik van fuzzy logic/sets je kent het verschil tussen fuzzy rules en klassieke rules je kan membership functies interpreteren je (her)kent de verschillende operatoren op fuzzy sets (voor de standaard operatoren moet je ook de formules kunnen geven) en kan ze toepassen je kent de operatoren die fuzzy sets op crips sets afbeelden (core, support, alpha-cut), en kan die toepassen je kent de vier stappen van Mamdami fuzzy inference en kan die toepassen je kent de verschillende methoden voor rule evaluation (clipping en scaling) en kan die toepassen je kent de verschillende methoden voor defuzzification (centroid, boolean, enumerated) en kan die toepassen 3.8 Tactics, coordination en motion je kent het nut van het gebruik van waypoints voor tactische analyses je weet wat influence maps zijn en waarvoor die gebruikt kunnen worden je kan, gegeven de influence van objecten en een drop-off functie, invloeden in een map propageren je kan de invloed van verschillende aspecten combineren in een desirability layer en op basis van de gevonden waarden een beslissing nemen (bijv optimale route) je begrijpt de werking van eenvoudige cellulaire automaten en hun mogelijke rol in het gebruik van influence maps je kent voor- en nadelen van het gebruik van influence maps je kent verschillende manieren van het coördineren van groepen en de voor- en nadelen hiervan 9

10 je weet wat het idee van scripting group actions is en begrijpt waarom timing daar belangrijk is je begrijpt het verschil tussen teamwerk en coördinatie (Convoy example) je kent het globale idee achter SharedPlan en weet waartoe het dient je kent de globale werking van alle kinematic movement algoritmen en steering behaviours (je hoeft geen code te kunnen reproduceren), je kent de verschillen, en kan voor- en nadelen ervan bedenken idem voor verschillende soorten path following je weet het verschil tussen collision detection (pure detectie) en collision avoidance (steering) (hoewel dit onderscheid niet altijd strict gemaakt wordt), en de voor- en nadelen van verschillende detectie methoden je weet het verschil tussen collision avoidance (typisch voor bewegende targets) en obstacle avoidance (typisch voor niet-bewegende voorwerpen) (hoewel ook dit onderscheid niet altijd strict gemaakt wordt) je kent globaal de methoden voor het combineren van steering behaviours je kent globaal de methoden om jumping mogelijk te maken, met voor- en nadelen 10

11 4 Veelgemaakte fouten bij toetsen Hierbij een overzicht van fouten die regelmatig in toetsen gemaakt worden. wordt verwezen naar toetsen die bij de oefenopgaven op de vakpagina staan. Hier en daar In het algemeen worden er in toetsen veel punten verloren als er gevraagd wordt om toelichting: dan is alleen een antwoord zonder duidelijke uitleg niet goed genoeg! Ook kan informatie die expliciet gegeven is in een opgave nooit het (volledige) antwoord op een vraag zijn. Bijv. als gegeven wordt dat uniform crossover een variatie operator is, dan is hij brengt variatie aan geen voldoende antwoord op de vraag waarom hij goed werkt. Je moet dan dus zoeken naar een eigenschap die kenmerkend is voor deze specifieke variatie operator. Tenslotte wordt er niet altijd goed gelezen: een antwoord dat geen antwoord is op de vraag is altijd fout! Merk op dat er onnodig veel tijd verloren kan gaan met het beantwoorden van vragen die niet gesteld zijn Zoeken Een veelgemaakte fout bij Uniform Cost search is het gebruik van stapkosten ipv padkosten. Greedy search kiest niet op basis van stapkosten of padkosten maar puur op de waarde van de heuristiek, dwz een inschatting van de nog te maken kosten. Niet alle zoekalgoritmen gebruiken een heuristiek. 4.2 Minimax Minimax: het toepassen van het algoritme gaat regelmatig fout, bijvoorbeeld door het verwisselen van de min en max stap. Ook gaat het relateren van de uitkomst aan een strategie vaak fout. Ook zijn velen niet in staat een optimale strategie te vertalen naar iets dat je kan aangeven in een gametree. (Zoek na: bestaat een strategie uit alleen eigen zetten of is die gekoppeld aan de mogelijke zetten van je tegenstander?) 4.3 MDPs Veel gemaakte fouten in opgaven: een policy is een functie van states naar acties en moet dus een vaste actie voor alle states definieren (ook states waar je in het ideale geval niet terecht komt; door de onzekerheid kan je daar namelijk perongeluk wel terecht komen en dan moet je ook weten wat te doen.) In value iteration: binnen 1 iteratie worden al de ge-update waarden van states gebruikt (dat hoort niet: je pakt die uit vorige iteratie); of er worden juist helemaal geen vorige V-waarden gebruikt. aanwezige living rewards worden buiten beschouwing gelaten 11

12 formules worden verkeerd toegepast: haakjes op de verkeerde plek; of niet gesommeerd over alle mogelijke next states, maar elk afzonderlijk bekeken,... Er zijn 3 varianten van reinforcement learning in het college behandeld: Direct Evaluation (DE), Temporal difference learning, en Q-learning. Je moet die alle drie zelf kunnen toepassen; oefen er dus mee! Bij DE gaat nogal eens mis: ipv reward-to-go (wat ontvang ik bij deze transitie en alle volgende in het epoch) wordt alleen naar reward voor huidige transitie, of juist reward tot-en-met huidige transitie gekeken rewards worden niet gemiddeld rewards worden gemiddeld over het aantal epochs, ipv over het aantal keren dat de toestand is bezocht (dwz dat we eruit zijn vertrokken) er wordt vanuit gaan dat γ al verwerkt is in de experienced reward, dat is niet zo Bij Q-learning gaat nogal eens mis: het verschil tussen V-waarden en Q-waarden: V-waarden worden per toestand gegeven en Q-waarden voor ieder toestand-actie paar. Er moest dus duidelijk aangegeven worden voor welke actie de Q-waarde bij een toestand wordt ge-update. Q-waarden worden voor aanvang van Q-learning geinitialiseerd (vaak op 0), en bij iedere transitie worden ze aangepast; dus niet alleen bij een tweede bezoek 4.4 Decision tree learning Hierbij is het nodig om entropy te berekenen. Bij toetsen blijken velen niet te weten wat entropy is, of hebben wel de formule maar kunnen die niet correct toepassen, of passen de formule toe op de verkeerde variabelen. Idem voor verwachte entropy. Deze berekeningen staan uitgebreid in de collegeslides en komen aan bod in het werkcollege. Gain kan niet negatief zijn (heb je geen tijd om te zoeken naar je eigen fout, merk dan in ieder geval op dat je huidige antwoord onmogelijk is!) 4.5 Neurale netwerken Als je de oude tentamens bekijkt dat zie je steeds varianten van dezelfde opgave. Hierin zijn veelgemaakte fouten: niet weten wat sign- en stepfuncties zijn als antwoord wordt geen logische functie of operator gegeven, waar wel om wordt gevraagd (natuurlijke taal wordt niet goed gerekend) de tabel met uitkomsten past niet bij de als antwoord gegeven operator het antwoord wordt gebaseerd op maar een deel van de inputs ipv allemaal 12

13 een netwerk met hidden layer aanzien voor een single layer perceptron in het algemeen: een vraag mbt een speciek netwerk beantwoorden met een algemene observatie die niet noodzakelijkerwijs voor eht specifieke netwerk geldt. 4.6 Evolutionary computing Veel mensen blijken niet precies te weten wat uniform crossover is. Dit komt in het college aan bod en in de slides daarvan staat een voorbeeld. Ook de studiewijzer zegt expliciet dat je dit moet weten, dus als je het college mist dan moet je dit nazoeken of navragen. Idem voor de verschillende selectie-operatoren en meer complexe crossover-operatoren. Kijk bij alle operatoren ook goed wat ze als input nemen en wat ze als output opleveren! (Hierin kunnen verschillende bronnen verschillen, dus hou altijd aan wat er in college is besproken) 4.7 STRIPS Specificaties van STRIPS acties moeten expliciet de volgende drie ingredienten bevatten: pre, add en del condities. Zie ook de hints/antwoorden van opgave 5 van T2 uit 2014/2015. Een voorbeeld van zo n specificatie staat ook in opgave 8 van T1-2011/2012 (tevens werkcollegeopgave). Omdat add en del kenmerkend zijn voor STRIPS is het geven van alleen een postconditie niet voldoende. Verder moest de gebruikte syntax wel voldoende lijken op die van STRIPS en moet de specificatie generiek zijn (de acties gaan bijvoorbeeld over pakketten, locaties en vliegtuigen in het algemeen, en niet over pakket-a, AMS of B747...) STRIPS is een lineaire planner en zal daarom het ene subdoel gaan proberen te vervullen voordat het andere überhaupt bekeken wordt. Het gevolg hiervan kan zijn dat er voor een specifiek probleem geen plan gevonden wordt, maar dat is niet in het algemeen zo! 4.8 Bayesiaanse netwerken Als je de oude tentamens bekijkt dat zie je steeds varianten van dezelfde opgave. Hierin zijn veelgemaakte fouten: P (a b) wordt berekend als P (a) P (b) terwijl A en B helemaal niet onafhankelijk zijn. er wordt geen onderscheid gemaakt tussen joint distributies en conditionele distributies. Bijv. P (B = false C = true) is in het algemeen niet hetzelfde als P (B = false C = true)! niet weten hoe extra variabelen uitgesommeerd moeten worden. 13

14 4.9 Fuzzy inference Als je de oude tentamens bekijkt dat zie je steeds varianten van dezelfde opgave. Hierin zijn veelgemaakte fouten: de stappen van Mamdami inference zijn niet goed bekend, ontbreken, of worden niet goed toegepast; met name aggregatie en de-fuzzificatie hoewel expliciet gevraagd worden de definities van gebruikte operatoren niet gegeven, of er worden niet-bestaande operatoren gebruikt foute toepassing van de COG formule 4.10 Decision making Decision trees, behaviour trees en finite state machine: het zijn allemaal andere formalismen. Als bijvoorbeeld gevraagd wordt een beslisboom (decision tree) te tekenen dan is een behaviour tree dus gewoon fout. Ook bevatten al deze formalismen knopen met verschillende semantiek en die hebben allemaal hun eigen syntax (verschillende grafische representaties, zoals ronde vs vierkante knopen): zorg ook dat je dit onderscheid duidelijk hanteert! 5 Wiskunde en notatie Alles in deze paragraaf wordt als voorkennis voor dit vak verondersteld. Mocht je een andere achtergrond hebben dan een tweedejaars informatica student, dan kan je met onderstaande links deze kennis nog even bijspijkeren (of opfrissen). 5.1 Symbolen Voor de betekenis van verschillende wiskundige symbolen, zie of Voor de betekenis van de grote-o notatie zie 14

15 5.2 Logaritmen Een logaritme met grondtal (base) b wordt geschreven als b log x of log b x. Een logaritme met willekeurig grondtal kan herschreven worden naar een logaritme met een vertrouwd grondtal, zoals 10 (standaard op gewone rekenmachines) of e (grondtal van de natuurlijke logaritme ln): b log x = 10 log x 10 log b = e log x e log b 5.3 Propositie Logica Zie hiervoor het materiaal van het eerstejaars vak Logica voor Informatica, of bijvoorbeeld de tutorial op Extra informatie: p XOR q NAND p q exclusive OR (óf p óf q is waar, maar niet beide) NOT AND is equivalent aan p q 15

16 6 Werkcollegeopgaven Hier zijn alle werkcollegeopgaven te vinden, gerangschikt naar thema. Opgaven met een zijn voorzien van antwoorden, hints of uitwerkingen achterin dit document. Hoewel een deel van de opgaven voormalige tentamenvragen 1 zijn, en dus een meer summatief karakter hebben (ze testen of je kennis, begrip en vaardigheden hebt), is het doel van de werkcolleges met name formatief (ontwikkelen van kennis, begrip en vaardigheden door zelf met de stof te oefenen)! 6.1 Zoeken Opgave 1.1. Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 4: opgaven 1, 2, en 3. (Zie hieronder een opmerking bij 2) Opgave 1.2. Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 4: opgaven 4 t/m 7, 11 t/m 13. (Zie hieronder een opmerking bij 11) Merk op dat de opgaven uit het boek af en toe voor verwarring kunnen zorgen. Ten eerste kunnen sommige invuloefeningen irrelevante vragen opwerpen. Bij opgave 2 wordt bijvoorbeeld een vast aantal stappen gegeven waarin je de open list moet aanvullen. Voor Dijkstra zou de 7de stap de lege lijst kunnen zijn: nadat doel G is uitgeklapt kan G naar de closed list verhuizen en is de open list leeg. Of het daadwerkelijk aanpassen van deze lijsten na het slagen van de goal test nog gebeurt is een implementatiekwestie, en staat los van het begrip van het algoritme. Sterker: de in het boek gegeven implementatie breekt het algoritme af zodra G wordt geselecteerd om uit te klappen en dus wordt de 6de aanpassing van de open lijst helemaal niet gedaan. Dit geldt ook voor de gegeven implementatie van A, waardoor je daar wel op de gesuggereerde 5 stappen uitkomt. Ten tweede zijn de opgaven niet altijd even helder geformuleerd Je antwoord bij opgave 11 zal bijvoorbeeld sterk afhangen van de interpretatie van speed up en of je wel of niet door bergachtig gebied wilt. Het gaat dan ook niet zozeer om het juiste antwoord; belangrijk is dat je bezig bent met de stof en nadenkt over het effect van allerlei keuzes en hoe die de uitkomst van de algoritmen beïnvloeden. Voor wie interesse heeft in het efficiënter maken van de datastructuren voor A* in geval je een consistente heuristiek hebt: kijk dan ook naar opgave 8 uit dit hoofdstuk (het antwoord is te vinden in 4.3.7, p ). Opgave 1.3. Maak uit Artificial Intelligence: A Modern Approach [AIMA c 2008] (draft), hoofdstuk 3: opgaven 3.3, 3.9, en 3.33, en uit hoofdstuk 4: opgave Er staan meer tentamenvragen op de vakwebsite, deels ook met hints en/of antwoorden. 16

17 6.2 MDPs en POMDPs Opgave 2.1 (AIspace 9.C: 3). a. What is the difference between infinite horizon and indefinite horizon problems? b. What is the difference between fully observable MDPs and POMDPs? c. What effect does decreasing the discount factor have on discounted reward? d. Does a indefinite horizon stationary MDP have a stationary optimal policy? e. In a stationary MDP, if an agent has a 20% chance of dying at each timestep, what is the optimal value for the discount factor? Opgave 2.2 (Adapted from AIspace 9.C: ). Consider the following grid world game, representing a stationary MDP with an infinite horizon and no terminal states: The agent can only be in one of the six locations; the numbers shown represent rewards, not state values. The agent gets the indicated reward/punishment when it leaves(!) the associated cell: it gets a reward of 10 for leaving the bottom-middle square and a punishment of 100 for leaving the top-left square. In each iteration of the game, the agent has to choose a direction to move. The agent can choose to move either up, down, left, or right. There is a 0.8 probability that it will move in that direction and a 0.1 probability that it will move in either of the neighboring directions. For example, if the agent wants to move up, there is a 0.8 probability that it will move up, a 0.1 probability that it will move left, and a 0.1 probability that it will move right. If the agent bumps into a wall, it stays in its current location and does not get any reward or punishment. Consider performing value iteration to compute the value function. Use an initial value of zero in each state and a discount factor of 0.9. a. Perform one step (k = 1) of value iteration and show the resulting value function for each state. b. What is the value in the top-left state after performing another step (k = 2) of value iteration? c. What is the optimal policy? d. What would the optimal policy be if the punishment in the top-left square was changed to each of the following values: 5, , 0? 17

18 Opgave 2.3 (F. Dignum; oefenopgaven set 2). Gegeven het volgende MDP model waarbij geldt dat r(s 1, S 2 ) = 1, r(s 2, S 1 ) = 1, r(s 1, S 1 ) = 0 en r(s 2, S 2 ) = 0. We definiëren twee policies π 1 en π 2 als volgt: π 1 (S 1 ) = a 1 en π 1 (S 2 ) = a 2 π 2 (S 1 ) = a 2 en π 2 (S 2 ) = a 1 Geef aan welke policy beter is en waarom. Opgave 2.4 (T2 2011/2012: opgave 6). Gegeven het volgende MDP model waarbij geldt dat r(s 1, S 2 ) = 0, r(s 2, S 1 ) = 3, r(s 1, S 1 ) = 1 en r(s 2, S 2 ) = 1. We definiëren twee policies π 1 en π 2 als volgt: π 1 (S 1 ) = a 1 en π 1 (S 2 ) = a 2 π 2 (S 1 ) = a 2 en π 2 (S 2 ) = a 1 Geef aan welke policy beter is en waarom. Opgave 2.5. In de college slides is voor het Grid world voorbeeld het resultaat gegeven voor de eerste 10 stappen van het Value iteration algoritme. a. Voer zelf de berekeningen uit die tot deze resultaten leiden. b. Probeer ook eens een andere waarde voor de living reward. Opgave 2.6. Match onderstaande Markov modellen 1-op-1 met de toepassing waarvoor ze het meest geschikt zijn. A. Markov chain I. therapie planning voor patienten met hart- en vaatziekten B. Hidden Markov model II. spraakherkenning C. MDP III. voorspellen van navigatiegedrag van gebruikers binnen websites D. POMDP IV. voorraad beheer: het optimaliseren van bestellingen (wanneer en hoeveel?) van productvoorraden in een winkel 18

19 6.3 Reinforcement learning Opgave 3.1 (AIspace 11.A: 3). a. Given a set of states S, a set of actions A, and an experience s, a, r, s, what is the time complexity to update the value of Q(s, a) using Q-learning? b. Consider the following Q(S, A) table: State 1 State 2 Action Action Assume that α = 0.1, and γ = 0.5. After the experience 1, 1, 5, 2, which value of the table gets updated and what is its new value? c. What is one potential problem with a Q-learning agent that always chooses the action which maximizes the Q-value? d. Describe two ways to force a Q-learning agent to explore. Opgave 3.2. Naast Q-learning worden in het college twee andere methoden voor reinforcement learning besproken. In de college slides is een voorbeeld gegeven, met daarbij de uitkomsten van Direct evaluation en van TD-learning. a. Voer zelf de berekeningen uit die tot de resultaten in de slides leiden. b. Probeer ook eens een andere waarde voor γ. 6.4 Classificatie: Decision trees en Naive Bayes Opgave 4.1. Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 7: opgaven 9 t/m 17 Opgave 4.2. In de college slides over Decision tree learning (ID3) staan de resultaten van de Gain berekeningen voor de Playtennis dataset. a. Voer zelf de berekeningen uit die tot deze resultaten leiden. b. Verifieer dat ID3 inderdaad de geconstrueerde boom oplevert (veel rekenwerk!) 19

20 6.5 Neural networks & Evolutionary computing Opgave 5.1 (AIspace 7.B: 3). a. Describe at least two reasonable stopping criteria that can be used when training a neural network. (Note that the answer to this question cannot be found in the book/slides, but it is briefly addressed in class. Regardless of whether or not you have attended the lecture, you should be able to come up with two answers without checking out the solutions.) b. How many arcs would a fully-connected feed-forward neural network have if it has one hidden layer, three input units, two hidden units, and two output units? c. The simplest type of feed-forward neural network is called a perceptron. It consists of a single layer of output nodes (the inputs are fed directly to the outputs via weights). What type of data are perceptrons capable of learning? d. Can you give an example of a function which would be impossible to learn using a perceptron network? e. Describe at least one way to overcome the problem of overfitting when constructing neural networks. (Note that this cannot be found in book/slides and is not treated in class. Just see if you can come up with some answers. It s no problem, though, if you can t: just check out the solutions.) f. If you want to play around with an interactive applet of a perceptron and get more feeling for its behaviour: try AIspace 7.B: exercise 4 (Jane s pizza party) Opgave 5.2 (F. Dignum; oefenopgaven set 2). Gegeven het volgende netwerk: Waar w 1 = w 2 = 0.5 en w 3 = w 6 = 1 en w 4 = w 5 = 0.5 en de combiner functie in nodes 3, 4 en 5 de gewogen input gewoon optelt en een 1 als output geeft als de functie een waarde groter of gelijk aan 1 geeft en anders een output 0 geeft. Representeert dit netwerk een XOR functie correct? Indien niet, laat zien waar het fout gaat. 20

21 Opgave 5.3 (T2-2011/2012, opgave 8). Gegeven het netwerk uit opgave 5.2, waar wederom w 1 = w 2 = 0.5 en w 3 = w 6 = 1 en w 4 = w 5 = 0.5 en de combiner functie in nodes 3, 4 en 5 de gewogen input gewoon optelt en een 1 als output geeft als de functie een waarde groter of gelijk aan 1 geeft en anders een output 0 geeft. We willen dit netwerk trainen om een XOR te representeren. Hiervoor geven we als voorbeeld afwisselend alle verschillende inputs van de waarheidstabel en gebruiken backpropagation om de gewichten bij te stellen als er een foute output komt. Voor het aanpassen van de gewichten gebruiken we de volgende formules: w i = α x i (y d y) i = 1, 2 w i = α x i (y d y) w 1 i = 3, 5 w i = α x i (y d y) w 2 i = 4, 6 Waarbij α = 0.1 en y d de gewenste output is en y de gegeven output. Laat zien of dit netwerk de XOR functie kan leren of niet. Opgave 5.4. Explain the following concepts from EC: a. What is a population? And what is the difference between phenotype and genotype? b. Why is the population initialized in a random way? What could happen in the algorithm if we do not initialize randomly? c. Why do we need to evaluate the fitness of each individual? d. What is the role of selection, crossover and mutation? Opgave 5.5. a. Explain the difference between genetic algorithms (GA), evolutionary programming (EP), evolutionary strategies (ES) and genetic programming (GP). b. What is a Generation? And what are the different steps involved in it? c. Describe two selection methods and give a benefit and a drawback for each. d. Describe two crossover methods and give a benefit and a drawback for each. e. What is the complexity of tournament selection? Is it possible to implement it in a parallel fashion? f. If you initialize the genotype in a random way, does it always create a valid representation? g. Is it a requirement that we know the exact form of the fitness function? Explain your answer. h. What are the parts of Neural Networks that can be evolved with EC? 21

22 Opgave 5.6 (F. Dignum; oefenopgaven set 2). a. Onderstaande tabel laat een populatie strings zien. Iedere string staat voor een binair getal n en de fitness functie is gegeven door F = n/100. Vul de rest van de tabel in. String nr. String n F Rank F/ΣF b. Creëer in een zelfde soort tabel een nieuwe populatie door eerst 4 parents te selecteren gebaseerd op fitness en dan ook replacement te doen op basis van een ranking van alle strings naar fitness. De recombinatie gebeurt door cross-over met cross-over punt tussen bit 4 en 5. Er is geen mutatie. Is de nieuwe populatie beter? Opgave 5.7 (T2-2011/12, opgave 9). a. Geef het algemene algoritme dat de stappen beschrijft van genetische algoritmen. b. Onderstaande tabel laat een populatie strings zien. Iedere string staat voor een binair getal n en de fitness functie is gegeven door F = n/10. Vul de rest van de tabel in. String nr. String n F Rank F/ΣF c. Creëer in een zelfde soort tabel alsvolgt een nieuwe populatie: 1) selecteer 4 parents op basis van fitness; 2) recombineer strings met rank 1 en 4, en rank 2 en 3 door cross-over met cross-over punt tussen bit 4 en 5 (vanaf links geteld); 3) muteer van de gehele populatie (12 strings) de string op rank 4 door bit 3 te flippen; 4) Selecteer dan de beste 8 strings voor de nieuwe populatie op basis van een ranking van alle strings naar fitness. Is de nieuwe populatie beter? Opgave 5.8 (T2-2014/15, opgave 6). Onderstaande tabel laat een populatie van strings zien. Iedere string staat voor een binair getal n met fitness f = 1 2 n2. Ouders worden op basis van tournament selection met σ = 2 uit de initiële populatie geselecteerd. Er heeft al 1 ronde van tournament selection plaatsgevonden op een (andere) random volgorde van de gegeven strings; de resulterende ouders zijn al gegeven. Gebruik tournament selection tussen opeenvolgende string nummers (linkerkolom) om de overige ouders te selecteren. Genereer vervolgens een nieuwe populatie, die de oude vervangt. 22

23 Gebruik cross-over voor recombinatie; mutatie gebeurt alleen op het middelste bit (met kans 1). Voor de eerste twee paren is het crossover punt aangegeven (met! ); het laatste paar heeft een crossover punt tussen het tweede en derde bit van links. Vul onderstaande tabel in, bereken de totale fitness in de nieuwe populatie en concludeer op basis daarvan of de nieuwe generatie beter is dan de oude. String nr. Initial f Parents Offspring f ! ! ! Classical Planning Opgave 6.1 (AIspace 8.A: 3). a. The STRIPS representation for an action consists of what? (NB in de in het vak behandelde versie van STRIPS maken we in de genoemde effecten expliciet onderscheid tussen ADDs en DELs. Deze versie moet ook gehanteerd worden in de toetsen!) b. What is the STRIPS assumption? (NB in de slides wordt niet expliciet over de STRIPS assumption gesproken; de slides leggen nadruk op het frame probleem (volgende vraag) en merken op dat STRIPS hier een oplossing voor heeft.) c. What is the frame problem in planning? How does it relate to the STRIPS assumption? d. What are some key limitations of STRIPS? Opgave 6.2 (AIspace 8.A: 4). Consider a scenario where you want to get from home (off campus) to university during a bus strike. You can either drive (if you have a car) or bike (if you have a bike). How would you represent this in STRIPS? a. What are the actions, preconditions and effects? What are the relevant variables? b. If we select the action gobybike, what is the value of havebike after the action has been carried out? c. If we are at university and and select the action gobycar, what will the value of loc be after the action has been carried out? 23

24 Opgave 6.3 (T1-2011/12, opgave 8). Laat zien hoe je met STRIPS een plan maakt dat vanuit een beginsituatie waarin geldt: at(home) AND broken(tv) AND have(tv,home) komt tot een situatie waarin geldt: at(home) AND watch(tv,home) waarbij de volgende acties beschikbaar zijn: switch-on(tv): throwaway(x): buy(x): transport(x,y,z): goto(x,y): Pre: NOT broken(tv) AND have(tv,home) AND at(home), Add: watch(tv,home) Pre: have(x,home), Del: have(x,home), broken(x) Pre: at(shop),add: have(x,shop) Pre: have(x,y), Add: have(x,z), Del: have(x,y) Pre: at(x), Add: at(y), Del: at(x) NB dit is een aanpassing van de oorspronkelijke formulering waarin twee aparte predikaten have(x) en at(x,y) gebruikt werden. In de oorspronkelijke formulering was het niet mogelijk om een plan te construeren omdat nooit aan de precondities van transport(x,y,z) voldaan kon worden. 6.7 Fuzzy logic/sets Opgave 7.1. Would it be correct to call fuzzy logic multi-valued? Opgave 7.2. The following fuzzy function was used to calculate membership values for the set healthy. A membership value of 1 is healthy; a membership value of 0 is not healthy; a membership value between 0 and 1 is the degree of membership in the healthy set: healthy(x) = 0 if bmi(x) < 18 (bmi(x) 18)/2 if 18 bmi(x) 20 1 if 20 < bmi(x) < 25 (27 bmi(x))/2 if 25 bmi(x) 27 0 if bmi(x) > 27 BMI values that range from 20 to 25 are members of the healthy set (1). BMI values greater than 27 or less than 18 are not members of the healthy set (0). BMI values close to the healthy range (20 to 25) are a value between 0 and 1. For example, a BMI of 19.6 has a degree of membership in the healthy set of 0.8. a. Draw the graphic for the healthy set, representing the values, healthy and unhealthy. b. What is the degree of membership in the fuzzy set healthy of John who has a BMI of 26.2? And in the fuzzy set unhealthy? c. Now calculate your own BMI (weight in kg/(length in m) 2 ). What is your degree of membership in the healthy set? 24

25 Opgave 7.3. You are assigned the task of identifying images in an overhead reconnaissance photograph. The two fuzzy sets representing a car image and a truck image are defined as: Car = {0.5 / truck, 0.4 / motor, 0.3 / boat, 0.9 / car, 0.1 / house} Truck = {1 / truck, 0.1 / motor, 0.4 / boat, 0.4 / car, 0.2 / house} Find the following: 1. Car OR Truck 3. NOT(Car) 5. Car OR NOT(Car) 2. Car AND Truck 4. Car AND NOT(Truck) 6. Car AND NOT(Car) Opgave 7.4. Consider the following fuzzy rule-based system: RULE1: IF temperature is hot or warm THEN the swimming pool is crowded RULE2: IF temperature is cold THEN the swimming pool is quiet The membership functions in the universes of discourse are given as: ) 0 if x < 15 ( x if 15 x 25 x 15 µ Hot = 10 if 15 x 25 µ W arm = x 7 1 if x > 25 8 if 7 x < 15 0 if x < 7or x > 25 1 if x < 7 µ Cold = 1 x 7 8 if 7 x 15 0 if x > 15 0 if x < 100 x 100 µ Crowd = 400 if 100 x if 500 x if x < 100 µ Quiet = x if 100 x if 500 x 800 a. Which are the linguistic variables and the linguistic values? b. Draw the graphics for the membership functions of temperature and number of customers in the swimming pool. c. Suppose the temperature is 21 degrees. Apply the Mamdani inference steps necessary to determine the expected number of clients in the swimming pool. Carefully describe each of the steps. 25

26 Opgave 7.5. Consider a simple controller using an error signal, e, and a change in error signal, de, as inputs and 4 rules: RULE 1: IF e = P AND de = P THEN x = N RULE 2: IF e = P AND de = N THEN x = 0 RULE 3: IF e = N AND de = P THEN x = 0 RULE 4: IF e = N AND de = N THEN x = P There are two fuzzy sets of values of the fuzzy input variables e and de: the P(positive) and N (negative). The output fuzzy variable has 3 values: P (positive), 0 (zero), N (negative) with membership functions shown in the figure above. Assume that the input variables have the following membership values in the input fuzzy sets: a. Use Mamdani inference to show that the overall implied fuzzy output set is as shown by the heavy red line in the graph of figure 2. Demonstrate graphically. b. Defuzzify using the centroid (COG) technique. Opgave 7.6 (F. Dignum; oefenopgaven set 2). Gegeven het domein X = {1, 2, 3, 4} en de sets A = {0.2/1, 0.8/2, 0.1/3, 0.9/4} en B = {0.3/1, 0.8/2, 1/3, 0.8/4} a. Wat is de cardinaliteit van A en B? b. Is A een subset van B? Geef aan waarom (niet). c. Geef aan wat de sets A 0.5 en B 0.5 zijn. d. Wat zijn de core en support sets van A en B? e. Beschrijf de vier stappen die je moet maken bij een fuzzy logic afleiding volgens de Mamdani regels. 26

27 Opgave 7.7 (T2-2011/12, opgave 4). In het volgende figuur kun je voor het discrete domein X = {10, 20, 30, 40, 50, 60, 70, 80, 90, 100} de membership van de elementen uit X in de sets C1, C2 en C3 aflezen. a. Wat is de cardinaliteit van C1, C2 en C3? b. Geef aan wat de set C2 0.5 is. c. Gegeven de volgende regels: IF X is A1 or Y is B2 THEN Z is C3 IF X is A2 AND Y is B1 THEN Z is C2 en gegeven dat X = 35 en Y = 5 en gegeven dat de set memberships van A1, A2, A3, B1 en B2 worden gegeven door de volgende twee figuren en die van C1, C2 en C3 door de figuur hierboven. Gebruik de Mamdani regels om een waarde voor Z af te leiden. Voor de aggregation gebruiken we clipping. Voor de defuzzification kun je gebruik maken van de benadering van de centre of gravity op de discrete punten: COG = ( µ C (Z) Z)/( µ C (Z)) Opgave 7.8 (T2-1314, opgave 7). a. Noem twee operatoren die een fuzzy set afbeelden op een crisp set, en leg hun betekenis uit. b. Beschouw de volgende fuzzy regels en membership functies van de verschillende fuzzy sets: 1. IF X is A1 OR Y is B2 THEN Z is C3 2. IF X is A2 AND Y is B1 THEN Z is C2 27

28 Gegeven de inputs X = 30 en Y = 4, gebruik de vier Mamdani stappen om een waarde van Z te berekenen. Rond by fuzzificatie af op 1 cijfer achter de komma. Geef expliciet aan welke implementatie van de AND en OR operatoren je kiest. Maak voor de aggregatie gebruik van clipping, en voor de defuzzificatie een benadering van de centroid methode: COG = ( µ C (z) z)/( µ C (z)) z z Opgave 7.9 (T2-1415, opgave 4). Beschouw een game waarin de NPCs (non-player characters) gebruikmaken van een regelgebaseerd systeem om te bepalen of ze de speler wel of niet aan gaan vallen. Het systeem bestaat uit twee if-then regels met een fuzzy pre-conditie en een actie als gevolg. Of de actie daadwerkelijk uitgevoerd wordt hangt allereerst af van de membershipwaarde van de (volledige) preconditie. Het NPC beschikt over de volgende regels: r1: IF Zelf = Sterk AND Zelf = NOT(Lang) THEN Aanvallen r2: IF Zelf = Lang OR Zelf = Agressief THEN Aanvallen waarbij de fuzzy sets als volgt zijn gedefinieerd: Er zijn nu twee implementatie opties om op basis van deze regels een besluit te nemen: I Val aan als voor tenminste 1 van de regels de membershipwaarde van de preconditie > 0.6 is. II Val aan als het gemiddelde van de membershipwaarden van beide precondities > 0.5 is. Beschouw nu een NPC met een lengte van 1.9, een kracht van 15 en agressie van 5. Geef voor zowel implementatie I als II aan of de NPC zal aanvallen, op welke regels en membershipwaarden je deze conclusie baseert, en welke definities je hierbij voor de operatoren AND, NOT en OR hebt gebruikt. 28

29 6.8 Bayesian (belief) networks Opgave 8.1 (AIspace 6.A: 3). a. Describe the difference between marginal independence and conditional independence. b. Why are we more often interested in conditional independence? c. What are the three key components of a Bayesian network? d. What is the independence assumption in a Bayesian network? Opgave 8.2 (AIspace 6.A: 4.1-2). A bank has asked us to write a program that allows customers to check on the status of their credit card accounts. In particular, customers whose cards have been disabled should be able to use the software to determine why the card was disabled, and to assess which activities will likely lead to their card being disabled. A card can become disabled when the account is over its limit, when the card has expired, or when a fraud alert has occurred. Fraud alerts often occur when a card is used internationally or when the card is used at a new vendor, e.g. a store where the customer has never shopped before. This problem is represented in a Bayesian network with the following graph: All of the variables are boolean. Note that newvendor is dependent on internationalactivity, as the probability of the vendor being new is much higher when the vendor is international. a. Is cardholdercontacted conditionally independent of internationalactivity given fraudalert? How can you tell from the Bayesian network graph? b. Is fraudalert conditionally independent of newvendor given internationalactivity? How can you tell from the Bayesian network graph? 29

30 Opgave 8.3 (F. Dignum; oefenopgaven set 2). Gegeven het onderstaande Bayesian Network: Bereken: P (A = false B = true C = false D = true). Laat ook zien hoe je aan de kans bent gekomen en welke regels je hebt toegepast. Opgave 8.4 (T2-2011/12, opgave 5). Gegeven het onderstaande Bayesian Network: Bereken: P (A = false B = true D = false E = true). Laat ook zien hoe je aan de kans bent gekomen en welke regels je hebt toegepast. 30

31 Opgave 8.5 (T2-2014/15, opgave 2). Bereken uit bovenstaand Bayesiaans netwerk de volgende kans: P (A = true C = false); geef tenminste 2 cijfers achter de komma. 6.9 Decision making Opgave 9.1. Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 6: opgave 4 Opgave 9.2 (CMU: 1). Consider machines which accept a stream of 1 or more bits (the alphabet is limited to 1 s and 0 s), and whose output is 1 (accepting) or 0 (rejecting). Draw deterministic FSMs which implement the logical operations below (it s not important to be precise about every transition; it is sufficient to draw an unadorned arrow to mean all other characters ); remember to indicate the starting state. a. OR b. AND c. XOR Opgave 9.3 (CMU: 2). Draw deterministic finite state machines which implement the given specifications below. Where appropriate, the alphabet (allowable input characters) for the machine is listed [in brackets]. Again: an unadorned arrow can be used to denote all other characters, and remember to indicate the starting state. a. Accepts just the string MURMUR by itself. [MRU] b. Accepts CYBOT followed by any characters. [BCOTY] c. Accepts FROG with any prefix. [FGOR] Be careful. Does your machine accept FROFROG? 31

32 d. Accepts any string containing FROG. [FGOR] e. Accepts any string containing MURMURS. [MRSU] f. Accepts strings consisting of only 0 or more repetitions of [125] g. Accepts strings starting with 0 or more repetitions of [125] Opgave 9.4 (CMU: 3). Draw deterministic finite state machines which implement the given specifications below. Where appropriate, the alphabet (allowable input characters) for the machine is listed [in brackets]. Again: an unadorned arrow can be used to denote all other characters, and remember to indicate the starting state. a. Accepts CAT or DOG alone. [ACDGOT] b. Accepts strings containing CAT or DOG anywhere. [ACDGOT] c. Accepts strings containing ART or ARC anywhere. [ACRT] d. Accepts strings which are any of ART or ARTS or ARTIST or ABLE. [ABEILRST] What does this remind you of? Opgave 9.5 (CMU: 4). Draw deterministic finite state machines which implement the given specifications below. Some machines may be impossible to construct; explain why if you think so. Where appropriate, the alphabet (allowable input characters) for the machine is listed [in brackets]. Again: an unadorned arrow can be used to denote all other characters, and remember to indicate the starting state. # c means the number of character c occuring in the string. a. Accepts strings of even length. [AB] b. Accepts strings with exactly 3 A s. [AB] c. Accepts strings with at least 3 A s. [AB] d. Accepts strings where # a > # b. [AB] e. Accepts strings where # a = # b. [AB] f. Accepts strings where (# a mod 3) = (# b mod 3). [AB] Opgave 9.6. Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 8: opgaven 2 en 4 32

33 Opgave 9.7 (Training and payment system, by Kim Swales). Consider two players: employee Raquel and employer Vera. Raquel has to choose whether or not to pursue a training that ll cost her $1,000. Vera has to decide whether to pay a fixed wage of $10,000 to Raquel or to share the revenues of the enterprise 50:50 with Raquel. The outcome is positively affected by both training and revenue sharing. More specifically, with no training and a fixed wage, the total outcome is $20,000, while if either training or profit sharing is implemented, the outcome rises to $22,000. If both training and revenue sharing are implemented the outcome is $25,000. a. Construct the pay-off matrix b. Is there an equilibrium in terms of dominant strategies? c. Is there any Nash equilibrium? Opgave 9.8 (Simultaneous-move games). Construct the best responses for each player (showing what each player should/will do in reaction to the other player s moves) and find the Nash equilibrium in the following normal form games. a. b. c. Will Left Right Up 9, 20 90, 0 John Middle 12, 14 40, 13 Down 14, 0 17, 2 Will Left Centre Right John Up 2, 8 0, 9 4, 3 Down 3, 7 2, 10 2, 15 Will Left Right Up 9, 86 7, 5 John Middle 6, 5 10, 6 Down 15, 75 4, 90 Opgave 9.9 (A prisoner s dilemma game, by Kim Swales). Firms Alpha and Beta serve the same market. They have constant average costs of $2 per unit. The firms can choose either a high price ($10) or a low price ($5) for their product. When both firms set a high price, total demand = 10,000 units which is split evenly between the two firms. When both set a low price, total demand is 18,000, which is again split evenly. If one firm sets a low price and the second a high price, the low priced firm sells 15,000 units, and the high priced firm only 2,000 units. Analyse the pricing decisions of the two firms as a non-co-operative game. a. In the normal from representation, construct the pay-off matrix, where the elements of each cell of the matrix are the two firms profits. b. Derive the equilibrium set of strategies. 33

34 c. Explain why this is an example of the prisoners dilemma game. Opgave Maak uit Artificial Intelligence for Games [AI4G c 2009], hoofdstuk 6: opgaven 1, en 8 t/m 11. Opgave 9.11 (T1 2011/12, opgave 11). Maak een influence map van het grid hieronder die per cell aangeeft hoe veilig het is. Hierbij is het onveilig als je dichtbij de tank komt. De tank kan zowel recht as diagonaal schieten. Ieder vakje meer afstand is het gevaar half zo groot. Het is vier keer zo veilig als je achter een muur staat. Geef aan waarom je boven of onderlangs van A naar B zal gaan. (Bedenk dat je hiervoor ook het doel in de influence map moet meenemen) Opgave 9.12 (F. Dignum; oefenopgaven set 1 (opgave H)). Drie auto s rijden in een konvooi. Welke elementen moet je gebruiken om te zorgen dat ze ook in alle situaties in konvooi blijven rijden? Opgave 9.13 (T2 2014/15, multiple-choice vraag 8). Welke uitspraak met betrekking tot emergent cooperation in groepen is waar? A. Bij emergent cooperation wordt individueel gedrag bepaald door het groepsgedrag. B. Bij emergent cooperation bepaalt een leider het gedrag van de individuen. C. Bij emergent cooperation is het groepsgedrag moeilijk te voorspellen uit de regels van de individuen. D. Emergent cooperation is een eenvoudige manier om zeer intelligent-ogend groepsgedrag te bewerkstelligen. Opgave Maak uit hoofdstuk 3 van Artificial Intelligence for Games [AI4G c 2009] de opgaven waarvan de nummers corresponderen met onderstaande nummers; bij een aantal opgaven is wat extra informatie en/of herformuleringen gegeven (met dank aan S. Timmer). 1. The center of an AI character is at p=(5,6) and it is moving with velocity v=(3,3). The target location q=(8,2). First assume a kinematic model of this situation. What should the steering vector (new speed) be according to the SEEK method? (Hint: No trigonometry is required for this and other questions like it, just simple vector arithmetic.) 34

35 2. Using the same scenario as in question 1, what is the vector to FLEE the target? 3. Using the same scenario as question 1 and assuming the maximum speed of the AI character is 3, what are the velocity vectors for SEEK and FLEE? 5. Using the same scenario as in question 1, what are the steering vectors (acceleration vector) for SEEK and FLEE if we now make the model dynamic. Assume a maximum acceleration of Use the model and your answer from question 5 to calculate the position and speed of the character after 1 and after 2 calls to the update function. Assume that the maximum speed is still 3 and the maximum acceleration is still 2. The time between updates is 1/60 seconds. (Hint: you will need a calculator for this question) Voeg toe: 3.1 verwijst naar equation 3.1 in section on page Use Equation 3.3 (section 3.5.2, page 122) to calculate the time before a ball in a soccer computer game lands on the pitch again if it is kicked from the ground at xz-location (11, 4) with speed 10 in the xy-direction (35, 45). Opgave 9.15 (F. Dignum; oefenopgaven set 1 (opgave B)). a. Als je twee ray casts gebruikt om obstakels te ontwijken heb je soms problemen als je bij een hoek komt. Leg uit waarom. b. Geef een programma om wandering gedrag voor een bot te maken. Opgave 9.16 (T2 2014/15, multiple-choice vraag 7). Wat is een nadeel van het gebruik van separation cones (kegels) voor het voorkomen van botsende AI-karakters ( collision avoidance )? A. Een karakter kan vast komen te zitten in een hoek ( corner trap ). B. Elkaar passerende karakters vermijden elkaar onvoldoende. C. Het gebruik van de kegels kan niet altijd een botsing voorkomen. D. De cone-check (zitten karakters in elkaars kegel?) is computationeel zwaar. 35

36 7 Antwoorden, hints en opgave 2.1 (Solutions from AIspace) a. In infinite horizon problems the agent continues performing actions forever. In indefinite horizon problems the agent will eventually stop performing actions (at some unknown time). b. In a fully observable MDP the agent can directly observe which state it is in. In a POMDP the agent can not directly observe the state, but it can make observations that are dependent on the state. c. Decreasing the discount factor causes future rewards to be given less value. If the discount factor reaches zero the agent will completely ignore future rewards. d. Since the agent has no information about when the process will stop, it has no reason to act differently at any particular point in time. Therefore the optimal policy is stationary (as it is for infinite horizon problems). In the case that the agent does have information about when the process will terminate, it has incentive to act more greedily toward immediate reward near the termination point (which is a non-stationary policy). e. The discount factor can be interpreted as the probability that the agent keeps going. Therefore the optimal value of the discount factor would be opgave 2.2 (Adapted solutions from AIspace) a Note that as a result of initialising with zeroes, the discount factor is irrelevant for k = 1. b. We take the max of the four possible actions: left: 0.8( ( 10)) + 0.1( ( 10)) + 0.1( (0)) = 18.1 up: 0.8( ( 10)) + 0.1( ( 10)) + 0.1( (0)) = 18.1 down: 0.1( ( 10)) + 0.1( (0)) + 0.8( (0)) = 90.9 right: 0.1( ( 10)) + 0.1( (0)) + 0.8( (0)) = 90.9 Therefore the new value is 18.1 c. d. For a punishment of: 5: : 0: 36

37 @ opgave 2.3 (F. Dignum) Policy π 1 is beter omdat de verwachte cumulatieve opbrengst hoger is. In S 1 heb je met a 1 de grootste kans om in S 2 te komen hetgeen de hoogste reward geeft. Vanaf S 2 heb je de grootste kans om in S 1 te komen met a 2. Dat is de beste transitie vanuit a 2. Dus in iedere state geeft π 1 de beste optie en is dus beter dan π opgave 2.5 In de college slides worden de berekeningen voor één van de toestanden, voor 2 iteraties, voorgedaan. Alle andere berekeningen gaan analoog. Als je alle uitkomsten in de college slides kan reproduceren dan heb je je berekeningen goed gedaan (NB: niet alleen k = 1 proberen! In dit voorbeeld verandert er namelijk voor k = 1 alleen iets voor de terminal states; voor alle andere states s geldt dat de bijdrage T (s, a, s ) [R(s, a, s ) + γ V k 1 (s )] van iedere uitkomst s van elke actie a aan de vergelijking voor V k, k = 1, 0 is (T (s, a, s ) [0 + γ opgave 2.6 A-III; B- II; C-IV; D-I I. planning dus (PO)MDP; observaties indirect, dus D. II. voorspelling van wat er echt gezegd is vanuit noisy audio bron, dus B. III. voorspelling, waarbij gedrag direct observeerbaar is, dus A. IV. optimalisatie met directe observaties, dus opgave 3.1 (Solutions from AIspace) a. O( A ) where A is the cardinality of set A. b. Q(1, 1) = Q(s, a)+α (r +γ max a Q(s, a ) Q(s, a)) = (5+0.5 (3) 1.5) = 2 c. The agent might be stuck performing non-optimal actions. Unless it has already found the optimal policy, exploring actions which do not have the highest Q-value might allow it to find a better policy. d. The ɛ-greedy strategy is to select the greedy action (one that maximizes Q(s, a)) all but ɛ of the time, and to select a random action ɛ of the time, where 0 ɛ 1. An alternative is optimism in the face of uncertainty : initialize the Q-function to values that encourage exploration. If the Q-values are initialized to high values, the unexplored areas will look good, so that a greedy search will tend to opgave 3.2 Als je alle uitkomsten in de college slides kan reproduceren dan heb je je berekeningen waarschijnlijk goed opgave 4.2 Als je alle uitkomsten in de college slides kan reproduceren dan heb je je berekeningen hoogstwaarschijnlijk correct gedaan. 37

38 @ opgave 5.1 (Solutions from AIspace) a. Stop after some fixed number of iterations. b. 10 Stop when the sum-of-squares error on the training data is less than some constant. Stop when the derivatives all become within some ɛ of zero. Split the data into training data and test data, and stop when the error on the test data increases. c. Linearly separable patterns. d. XOR e. Adjusting the network structure to reduce the number of hidden units. Using early stopping during the training opgave 5.2 (F. Dignum) Het netwerk representeert geen XOR functie. Bij een input van X 1 = 0 en X 2 = 1 komt bij knoop 3 een input van 0 en 0.5 en geeft hij dus 0 als output. Knoop 4 geeft een 1 als output. Bij 5 komen dus als inputs 0 en 0.5 en hij geeft dus als output een 0 ipv. 1. De gewichten w 1 en w 2 zijn te laag in vergelijking met de threshold van node opgave 5.6 (F. Dignum) a. String nr. String n F Rank F/ΣF /5.91 = b. Selecteer strings 8,5,3 en 6. Combineer 8 en 3, en 5 en 6. Dat geeft strings: (n = 112, F = 1.12), (n = 99, F = 0.99), (n = 96, F = 0.96), en (n = 83, F = 0.83) String nr. String n F Rank F/ΣF /7.19= De nieuwe populatie is beter in de zin dat de gezamenlijke fitness groter is geworden 7.19 vs Je ziet nu wel gelijk dat als je de 4 hoogst gerankte strings selecteert als 38

39 parents en gaat combineren zonder verdere mutaties je nooit meer een string er bij krijgt met drie 1-en op het eind. Dit betekent dat het zin heeft om een kans voor selecteren te gebruiken en ook mutaties te hebben zodat bijv. ook strings 7 en 8 mee gaan opgave 5.4 (Maarten Jensen) a. A population consists of (representations of) possible solutions on which the operators of evolutionary computation are applied. The genotypes are the individuals within the EA, e.g. a bit-string. The phenotypes are the solutions in the real world, e.g. a decimal number or a distribution of nodes that should be coloured. A phenotype can be encoded to a genotype and vice versa. b. To create diversity in the population, so we are able to find different (possibly better) solutions with multiple runs. Not initializing randomly can lead to possible loss of genetic diversity and possible unrecoverable bias. c. The fitness describes the performance of the solution within the real world problem. This has to be evaluated on each individual to be able to find the best solutions and to make a proper ranking of the individuals for the selection phase. d. Selection selects potential individuals e.g. in truncation the top t% is selected. Then crossover and mutation are used to generate new offspring from the selected population. Crossover selects 2 individuals and combines their genes, while mutation selects 1 individual and makes small adjustments to its genes to generate new opgave 5.5 (Maarten Jensen) a. The difference between the mentioned streams mainly concerns the encoding to genotypes. GA solutions are encoded as discrete structures e.g. bit-strings, ES as real-valued vectors, EP as finite state machines and GP as trees. b. A generation is a new population, when a population is initialized this is then the first generation. The steps are 1. the parents get selected 2. Crossover and mutation is applied to generate offspring 3. Survivors are selected. Which would give us a new population and thus a new generation. c. Truncation selection: selects the t% individuals which have the best fitness. This discards individuals which have a low fitness. But can get stuck on local optima, since discarded individuals could have been the path to the global optima. Tournament selection: picks k number of random individuals and selects the best individual of that group. Fitness proportionate selection: has a danger of premature convergence. d. Uniform crossover: for each part of the genotype a bit is selected from parent 1 or parent 2 with equal probability. Easy to implement; preserves shared characteristics; which results in less variation 39

40 Single point crossover: selects a point in a parent and copies everything before the point from parent 1 and everything after from parent 2. Easy to implement, will perform worse in unstructured solutions. e. The complexity: think about how many tournaments you need to play (and hence fitnesses to evaluate) to get enough offspring for the next generation.... This can be done in parallel though, since the group can be randomly divided. f. It is possible that it creates an invalid solution. g. No only the fitness value is needed. Evolutionary algorithms are meant to be uninformed about the problem. Only the type of selection, mutation and crossover are adjusted to the problem. h. Basically everything except the input nodes and the output nodes. So the complete hidden layer, weights and connections within neurons. (see e.g MarI/O genetic neural opgave 5.7 (Maarten Jensen) b. String nr. String n F Rank F/ΣF /59.1 = c. De 4 beste strings zijn string 8, 5, 3, en 6; we combineren 8 met 6 en 5 met 3, en maken een ranking; String nr. String n F Rank / / / / Pas de string met rank 4 (we kiezen 10; hadden ook 5 kunnen kiezen) aan door bit 3 te flippen en ranken opnieuw: 40

41 String nr. String n F Rank / / / / De nieuwe populatie is beter in de zin dat deze een hogere totale fitness opgave 5.8 String nr. Initial f Parents Offspring f = 2 0! ! ! ! ! ! 001 totaal Doe zelf de berekeningen en trek zelf je opgave 6.1 (Solutions from AIspace) a. Preconditions a set of assignments of values to variables that must be true for the action to occur. Effects a set of resulting assignments of values to those variables that change as the result of the action. b. All of the variables not mentioned in the description of an action stay unchanged when the action is carried out. c. The frame problem is the problem of representing all things that stay unchanged. This is important because most actions affect only a small fraction of variables, e.g. filling a cup with coffee changes the state of the cup and of the pot but not the location of the robot, the layout of the building, etc. The STRIPS assumption just says that all variables not mentioned in the description of an action remain unchanged. d. States are represented simply as a conjunction of positive literals, e.g. poor unknown, goals are conjunctions (no disjunction allowed), no support for opgave 6.2 (Solutions from AIspace) a. The actions could be something like gobybike and gobycar. In a very simple representation, there are variables loc, havebike, and havecar, indicating location, whether or not you have a bike (t/f), and whether or not you have a car (t/f). The precondition for gobybike is that havebike = true, and likewise the precondition for gobycar is that havecar = true. The effect of each action is that loc = UU. 41

42 @ opgave 7.6 a. De cardinaliteit van A is = 2 De cardinaliteit van B is = 2.9 b. A is geen subset van B want er is een x X waarvoor geldt µ A (x) > µ B (x), namelijk x = 4. c. A 0.5 = {2, 4} en B 0.5 = {2, 3, 4} d. De core van A is. De core van B is {3} De support set van A is {1, 2, 3, 4}. De support set van B is {1, 2, 3, 4} e. De vier stappen die je moet maken bij een fuzzy logic afleiding volgens de Mamdani opgave Fuzzification van input variabelen (van welke sets zijn ze (gedeeltelijk) lid) 2. Evaluatie van de regels 3. Aggregatie van alle resultaten zodat duidelijk is in welke sets de output variabele allemaal een beetje ligt en de verdeling daarover 4. Defuzzification. Bepaal centroide of middelpunt van de output en geef dat als output van de regels. a. α-cut/level van een fuzzy set A X is de crisp set {x X µ A (x) α}; deze operator pakt de verzameling elementen uit X die tenminste voor α tot fuzzy set A behoren. support van een fuzzy set A X is de crisp set {x X µ A (x) > 0}; deze operator pakt de verzameling elementen uit X die ook maar enigszins tot fuzzy set A behoren. core van een fuzzy set A X is de crisp set {x X µ A (x) = 1}; deze operator pakt de verzameling elementen uit X die compleet tot fuzzy set A behoren. fuzzificatie: X = 30 geeft µ A1 (30) 0.4; µ A2 (30) 0.1; µ A3 (30) = 0 Y = 4 geeft µ B1 (4) 0.75; µ B2 (4) = 0 b. rule evaluation: OR(30,4) max(0.4, 0) = 0.4 Z = C 3 clipped at 0.4 AND(30,4) min(0.1, 0.75) = 0.1 Z = C 2 clipped at 0.1 aggregatie: 42

43 defuzzificatie: Z = COG = = 0.1 ( ) ( ) = = opgave 8.1 (Solutions from AIspace) a. For variables X and Y, if P (X Y ) = P (X) then X is marginally independent of Y. That is, knowing the value of Y doesn t change the probability of X. For conditional independence, if P (X Y Z) = P (X Z) then X is conditionally independent of Y given Z. In other words, if you know the value of Z, knowing the value of Y doesn t tell you anything more about X. b. Conditional independence is more common complete independence between variables is relatively rare in a given domain. Also, in any given domain, we typically know something, and independence queries should be conditional on that something. c. A directed acyclic graph, with each node a random variable. A domain for each of the random variables. A set of conditional probability distributions giving P (X parents(x)) for each variable X. d. Each random variable is conditionally independent of its non-descendants given its opgave 8.2 (Solutions from AIspace) a. Yes, because internationalactivity is a non-descendant of contactcardholder and fraudalert is a parent of contactcardholder. We know that a variable is conditionally independent of its non-descendants given its parents. b. No, it is not; newvendor is a parent of opgave 8.3 (F. Dignum) Volgens: P (X 1 = x i... X n = x n ) = n P (X i = x i Parents(X i )) i=1 Geldt: P (A = false B = true C = false D = true) = P (A = false) P (B = true) P (C = false A = false B = true) P (D = true C = false) = = opgave 8.4 De gevraagde kans schrijven we eerst om naar kansen uit de joint verdeling, door te sommeren over de waarden van de ontbrekende variabelen (marginalisatie): P (A = false B = true D = false E = true) 43

44 = P (A = false B = true C = true D = false E = true) + P (A = false B = true C = false D = false E = true) Pas nu P (X 1 = x i... X n = x n ) = op beide termen in de sommatie toe. n P (X i = x i Parents(X i opgave 8.5 P (A = true C = f alse) = Berekening kan via definitie van voorwaardelijke kans, of via de regel van Bayes. Gebruik verder waar nodig marginalisatie en de factorisatie van de joint verdeling, zoals in vorige twee opgave 9.2 (Solutions from CMU) opgave 9.3 (Solutions from CMU) For g.: all strings start with 0 or more repetitions of

45 @ opgave 9.4 (Solutions from opgave 9.5 (Solutions from CMU) d. Impossible. Since # a is unbounded, this machine would need an infinite amount of states, or some infinite auxilliary storage. A counting argument shows why: Since at any point in the processing of the string we can encounter any number of B s, we d need to keep track of the number of A s encountered so far. This is an unbounded number. In order for a machine to keep track of exactly how many A s we ve had, we d need at least one state for each possibility. But there are an infinite number of possibilities for # a, so we can t do this with a finite state machine. e. Impossible. Since the A s and B s can come in any order, this can t be done for the same reason as 4d. f. In contrast to 4d and 4e, this machine is able to count since # a mod 3 and # b mod 3 are always bounded. 45