Inleiding SAMENVATTING Intelligent agents zijn intelligente computersystemen aan wie complexe taken worden gedelegeerd. Zij kunnen deze zelfstandig uitvoeren en daarbij de belangen van hun eigenaren zo goed mogelijk vertegenwoordigen. Deze systemen zijn sociaal intelligent. Ze zijn in staat met elkaar en met mensen te communiceren en samen te werken en in geval van tegengestelde belangen onderhandelingen te voeren en conflicten op te lossen. De toepassingsgebieden zijn divers: van eenvoudige onderhandelingen over last-minute vakanties tot geavanceerde toepassingen in e-commerce, business process management, air-traffic control en (serious) gaming. In dit vak leert u de theorie en praktijk van deze intelligente sofware. Er zal onder meer worden ingegaan op de architectuur van agents, redenerende en lerende agents, communicatie tussen agents en multiagent besluitvorming. VOORKENNIS De vakken discrete wiskunde A en B en datastructuren en algoritmen zijn verplichte voorkennis. Het vak Kunstmatige Intelligentie 1 wordt aanbevolen maar is niet verplicht. Het vak Logica en Informatica is handige voorkennis maar niet verplicht. LEERDOELEN De student verkrijgt kennis van en inzicht in: het begrip agent, hoe het zich onderscheidt van andere softwareparadigma s (zoals objecten) en wat de kenmerken zijn van toepassingen die zich lenen voor een agent-geörienteerde oplossing. de belangrijkste aanpakken voor de ontwikkeling van intelligent agents die autonoom handelen. de belangrijkste technieken voor de ontwikkeling van agents die uit hun ervaringen leren. de belangrijkste kwesties die een rol spelen in het ontwerp van gemeenschappen van agents waarin op effectieve wijze wordt samengewerkt en problemen worden opgelost. de belangrijkste toepassingsgebieden voor agent-gebaseerde oplossingen. OU 7
Cursustitel de belangrijkste technieken van automatische besluitvorming in multi-agent systemen, inclusief technieken voor coalitievorming, stemmen, allocatie van schaarse middelen en onderhandeling. De student leert deze kennis toe te passen op concrete problemen en zodoende de stof verder uit te diepen alswel de verschillende onderdelen met elkaar te integreren. OVERZICHT Het vak bestaat uit de volgende componenten: 1. Het studieboek 'An introduction to multiagent sytems' van Michael Wooldridge. 2. Het artikel 'A tutorial on reinforcement learning techniques' van Carlos Ribeiro. Dit artikel is opgenomen als bijlage in dit werkboek. 3. Opgaven over het studieboek en het artikel. Van deze opgaven zijn voorbeelduitwerkingen beschikbaar. Zowel opgaven als uitwerkingen vindt u in dit werkboek. 4. Een eindopdracht waarin u oefent met het zelfstandig toepassen van de stof op een zelfgekozen probleemdomein. Een nadere beschrijving van de opdracht vindt u hieronder. 5. Een mondeling tentamen over de stof en de uitwerking van de eindopdracht. We zullen deze componenten nu een voor een langslopen en bespreken. STUDIEBOEK Het studieboek van Wooldridge behandelt vele belangrijke onderwerpen op het gebied van agent systems. Dit zijn onder meer: 1. Intelligent agents: wat is een agent: agents en objecten; agents en expert systemen; agents en gedistribueerde systemen; typische toepassingsgebieden abstracte architecturen voor agents, taken voor agents. het ontwerp van intelligente agents: redenerende agents, agents als reactieve systemen; hybride agents; gelaagde agents 2. Coöperatie en communicatie: ontologietalen interactietalen en protocollen: taalhandelingen samenwerking: cooperative distributed problem solving, partial global planning; coherentie and coordinatie methodologieën toepassingen 3. Multiagent besluitvorming: 8 OU
multiagent interacties: pure en gemixte strategieën; Nash equilibria; Pareto-efficiëntie; coöperatieve en nietcoöperatieve interacties; zero-sum interacties; Prisoner s dilemma; de experimenten van Axelrod; programmaequilibria sociale keuzetheorie: stemprotocollen; stelling van Arrow; stelling van Gibbard-Satterthwaite; strategische manipulatie coalitievorming: de core; de waarde van Shapley; representatie van coalitiespelen; formatie van coalitiestructuren Allocatie van schaarse middelen: Engelse, Nederlandse en Vickrey veilingen; combinatorische veilingen; representatie issues; winnaarsbepaling; het VCG mechanisme Onderhandeling: model van afwisselend bieden; taakgeörienteerd onderhandelen; allocatie via onderhandeling Argumentatie: abstracte argumentatiesystemen; deductieve argumentatie; argumentatie in dialoogsystemen Logische grondslagen van multiagent systemen; epistemische logica; redeneren over mentale toestanden; logica voor coöperatie; toepassingen In zijn boek tracht Wooldridge de principes, concepten en mechanismen zo helder en eenvoudig mogelijk uit te leggen zonder daarbij al te diep in te gaan op de meer technische aspecten ervan. Studenten die ook geïnteresseerd in deze meer technische details van de stof kunnen deze in de door Wooldridge gesuggereerde aanvullende literatuur napluizen en bijvoorbeeld in hun eindopdracht verder uitwerken. ARTIKEL Een onderwerp dat Wooldridge niet in zijn boek behandelt is het onderwerp 'lerende agent'. Omdat dit een belangrijk onderwerp is beslaat de stof ook het artikel A tutorial on reinforcement learning techniques van Carlos Ribeiro waarin de grondslagen van leertechnieken behandeld worden. Dit vormt het vierde grote onderwerp van de cursus: 4. Lerende agents: reinforcement learning: Markov beslisprocessen; Monte Carlo simulatie; Q-learning, generalisatieprobleem; partiële observeerbaarheid Het artikel van Carlos Ribeiro is enigszins technischer van aard dan het boek van Wooldridge. Tezamen leggen het studieboek en het artikel een goede basis voor een eventuele verdere en diepere bestudering van het vakgebied van 'autonomous agents en multiagent systems'. OPGAVEN EN UITWERKINGEN OU 9
Cursustitel De opgaven in het werkboek verschillen van aard. Sommige opgaven hebben de bedoeling om te oefenen met een bepaald principe of een bepaald mechanisme dat is behandeld in de stof. Voor opgaven van deze soort fungeren de uitwerkingen in het werkboek als modelantwoorden aan de hand waarvan de student kan bepalen in hoeverre hij of zij de stof begrepen heeft. De tweede categorie opgaven dagen de student uit om de stof toe te passen op concrete, actuele en/of maatschappelijke problemen. Deze opgaven zijn dikwijls heel compact geformuleerd (bijvoorbeeld: 'Ontwerp een multiagent system met coalitievorming om huishoudens energiezuiniger te laten leven.') zodat de student wordt uitgedaagd om niet alleen actief met de stof aan de slag te gaan maar ook verder dan het boek te denken en zijn of haar eigen creativiteit aan te spreken. Deze opgaven vormen ook een goede voorbereiding op de eindopdracht. Voor opgaven van de tweede soort geven de uitwerkingen in het werkboek een voorbeeldrichting waarin de student zou kunnen denken. Ze zijn niet zo zeer bedoeld als normerend maar meer als richtinggevend en mogelijke bron van inspiratie. Daarom zijn ze ook niet altijd tot in elk detail uitgewerkt. EINDOPDRACHT De eindopdracht van het vak bestaat uit het zelfstandig toepassen van de bestudeerde stof op een zelfgekozen probleemdomein. U rapporteert uw uitwerking in de vorm van een wetenschappelijk artikel dat bedoeld is voor een wetenschappelijk congres op het gebied van autonomous agents en multiagent systems (AAMAS). TOETSING Het vak wordt afgesloten met een mondeling tentamen waarin de kennis van de stof wordt getoetst inclusief de uitgewerkte eindopdracht. Om voor het tentamen in aanmerking te komen dient eerst de eindopdracht bij de examinator te zijn ingeleverd en door de examinator van een positief advies te zijn voorzien. WERKWIJZE BESTUDERING STOF Voor het bestuderen en uitwerken van de stof kunt u als volgt te werk gaan. 1. Wat de volgorde van de stof betreft: Bestudeer eerst het studieboek van Wooldridge. U kunt daarbij gewoon de door Wooldridge gehanteerde hoofdstukindeling aanhouden. Bestudeer daarna het artikel van Carlos Ribeiro. 2. Hoe elk afzonderlijk hoofdstuk / leereenheid te bestuderen? We raden de student aan om voor iedere leereenheid als volgt te werk te gaan: a. Bekijk eerst de mindmap aan het eind van het hoofdstuk. De bedoeling hiervan is om een eerste indruk van het onderwerp te krijgen zonder nog op een verdere invulling en details in te hoeven gaan. Wellicht roept 10 OU
deze mindmap de nodige vragen bij u op. Vaak is het zo: meer vragen hoe beter! b. Lees vervolgens de opgaven (maar niet de uitwerkingen) in het werkboek behorend bij het hoofdstuk. Laat de opgaven goed op u inwerken. c. Na deze voorbereiding is uw geest gereed om de stof op te nemen. d. Na het bestuderen van de stof maakt u de opgaven uit het werkboek. Vervolgens kunt u uw antwoorden vergelijken met de uitwerkingen in het werkboek e. Bekijk dan nog een keer de mindmap aan het eind van het hoofdstuk. Dit keer niet zozeer om nieuwe vragen op te roepen maar vooral om een overzicht van de stof te verkrijgen en eventueel nog losliggende eindjes met elkaar te verbinden. 3. Hoe de verschillende leereenheden te integreren? De eindopdracht is er speciaal op gericht om de verschillende onderdelen aan elkaar te relateren en met elkaar te combineren. We raden de student daarbij aan om na het bestuderen van iedere leereenheid het geleerde meteen toe te passen op de eigen uitwerking van de eindopdracht. Op deze wijze dwingt u uzelf om actief de stof te integreren en tijdens de bestudering van de stof al aan de eindopdracht te werken. Hiermee voorkomt u ook dat u alles uitstelt tot aan het eind. EINDOPDRACHT EN WERKWIJZE De eindopdracht is als volgt gedefinieerd: Ontwerp een agent system voor een zelfgekozen probleemdomein. Rapporteer uw ideeën in een wetenschappelijk artikel. Het is de bedoeling dat de student door middel van de eindopdracht laat zien dat hij of zij de behandelde stof beheerst, deze op een zelfgekozen probleemdomein kan toepassen, de stof waarnodig zelfstandig kan uitbreiden en/of verdiepen en hierover in de vorm van een wetenschappelijk artikel kan rapporteren. Voor de eindopdracht gaat u als volgt te werk: 1. Kies een probleemdomein waarvoor een agent system een mogelijke oplossing kan bieden. Wees creatief. Volg uw eigen interesses. Laat u bijvoorbeeld inspireren door wat u aan probleemdomeinen en mogelijke toepassingsgebieden in dagbladen / weekbladen tegenkomt. Bekijk ook alvast hoofdstuk 10 van het studieboek met de titel 'Applications'. Ontwerp bijvoorbeeld een agent systeem waarmee u de wereld een klein beetje beter probeert te maken. Denk aan agent systemen speciaal bedoeld voor een specifieke doelgroep bijvoorbeeld een groep mensen die minder bedeeld is dan uzelf (zoals dak- en/of thuislozen, mensen met bepaalde handicap, mensen met een bepaalde verslaving, mensen met OU 11
Cursustitel een bepaalde ziekte, mensen met een bepaalde ongezonde gewoonte, enzovoort). Wellicht begint u met een aantal verschillende mogelijke toepassingsdomeinen en beslist u in de loop van de module welk van deze het meest geschikt is. Zelfs als u denkt 'ik kan echt niks verzinnen' is dat een mooi onderwerp voor uw eindopdracht: Een agent system dat mensen inspireert en assisteert bij het vinden van leuke onderwerpen. 2. Ontwerp een agent system dat voor dit probleem een oplossing kan bieden. Maak daarvoor gebruik van de bestudeerde stof. Natuurlijk zal niet elk van de onderwerpen uit de stof op uw probleemdomein van toepassing zijn. Dat is ook helemaal niet erg. U gebruikt wat u kunt gebruiken, u laat weg wat u weg moet laten. Wat belangrijk is is dat u de door u gemaakte keuzes kunt verantwoorden. Als u kiest om bepaalde technieken uit de stof te gebruiken geeft u daarvoor een goedonderbouwde argumentatie in uw artikel. Als u er voor gekozen heeft bepaalde technieken uit de stof niet op te nemen kunt u dit voor u zelf (en tijdens het mondeling tentamen) beargumenteren. U kunt ook gebruik maken van de aanvullende literatuur zoals die aan het eind van elk hoofdstuk in het studieboek vermeld worden. Daarnaast staat u ook vrij om gebruik te maken van zelfgezochte literatuur. Wellicht wilt u u ook laten inspireren door de cursus Kunstmatige Intelligentie 1, mocht u dit vak gevolgd hebben. 3. Rapporteer over uw toepassing in de vorm van een wetenschappelijk artikel dat bedoeld is voor het internationale wetenschappelijke congres Autonomous Agents en Multiagent Systems (AAMAS) dat ieder jaar op een andere locatie ergens op de wereld georganiseerd wordt. Zie ook: http://www.aamas-conference.org/ Op de cursussite vindt u een model en verdere aanwijzingen over hoe een artikel voor dit congres er uit ziet. De officiële taal voor het congres is Engels, maar u mag het artikel ook in het Nederlands schrijven. De vereiste lengte van het artikel is 6 tot 8 pagina's. 4. Lever uw artikel in bij de examinator. Bij een positief advies komt u vervolgens in aanmerking voor het mondelinge tentamen over de gehele stof en uw eindopdracht. TAAL Het boek van Wooldridge en het artikel van Ribeiro zijn beide Engelstalig. Dit werkboek is opgesteld in de Nederlandse taal. Echter om misverstanden te voorkomen zullen we in de leereenheden waar nodig gebruik maken van de Engelse termen zoals gebruikt door Wooldridge en Ribeiro in plaats van hun Nederlandse vertalingen. Zo gebruiken we 12 OU
bijvoorbeeld het begrip Prisoner s dilemma in plaats van de minder gebruikelijke Nederlandse variant het dilemma van de gevangene. FEEDBACK Dit is de eerste release van deze cursus en het is goed mogelijk dat er nog foutjes, slordigheden en/of onduidelijkheden in het cursusmateriaal aanwezig zijn. Het cursusteam stelt feedback van studenten hieromtrent zeer op prijs. Ook als studenten suggesties voor aanvullingen en/of verbeteringen van het cursusmateriaal hebben wordt dit zeer op prijs gesteld. Hartelijk dank alvast. BEGELEIDING Als student van deze cursus kunt u via Internet toegang krijgen tot de digitale leeromgeving van de Open Universiteit Nederland: Studienet (http://studienet.ou.nl). Op Studienet vindt u de cursussite met informatie over de cursus. U vindt daar actuele studie-informatie, cursusmateriaal of aanvullingen daarop (zoals colleges over de stof verzorgd door de auteur van het studieboek, Michael Wooldridge) en voorzieningen voor communicatie en discussie met docent en medestudenten. De begeleiding van de cursus vindt plaats op individuele basis via e- mail. Tevens zal er, daar waar nodig, begeleiding in de bij de cursus behorende discussiegroep plaatsvinden. OU 13