Formele zaken en structuur. Intelligente Interactie. Hoorcollege: onderwerpen. Formele zaken en structuur. Werkcollege: doel. Werkcollege Deliverables

Transcriptie

1 Formele zaken en structuur Frank Anna Floris Remco RJ Intelligente Interactie Frank Dignum(coördinatie en hoorcollege) Anna van der Zalm (hoorcollege en werkcollege) Floris Delmee(student assistent) Remco Snijders (student assistent) Robbert-Jan Beun (hoorcollege) Bachelor vak informatiekunde INFOB3II, 7.5 ECTS, Timeslot: B, Hoorcollege meestal op dinsdag (zie weekrooster) onderwerpen intelligente interactie oefenopgaven en tentamen(s) Werkcollege op dinsdag en donderdag (zie weekrooster) groepswerk (maximaal 4 personen) conceptueel ontwerp van intelligente interface posterpresentatie, wetenschappelijk artikel en procesrapportage Formele zaken en structuur Cijferverdeling: tussentijdse toets (20%), tentamen (40%), werkcollege (40%) tussentijdse toets en tentamen genormeerd minstens voldoende werkcollege voldoende Hoorcollege: onderwerpen 1. Cursusintroductie en intelligente agenten (RJ; 23/4) 2. Gebruikersmodellering (Anna; 7/5) 3. Context Awareness, Ubiquitous Computing(Frank; 14/5) 4. Natuurlijke taalsystemen (Frank; 16/5) 5. Dialoogsystemen (Frank; 28/5) 6. Embodied en sociale agents(frank; 4/6) 7. Multimodale interactie(rj; 11/6) 8. Persuasieve technologie (Anna; 18/6) 9. Coachingsystemen(RJ; 25/6) Werkcollege: doel Conceptueel ontwerp van een virtuele intelligente assistent op basis van de huidige technologie Werkcollege Deliverables Onderwerp Verplicht/keuze Deadline Taal Onderwerpkeuze Verplicht 1 mei, 9:00 uur Nederlands Tussentijdse presentatie Verplicht 6 juni, 9:00 uur Nederlands Tussentijdse rapportage Verplicht 6 juni, 9:00 uur Nederlands Posterpresentatie Verplicht 27 juni, 9:00 uur Nederlands Prototype Keuze 27 juni, 9:00 uur Nederlands Wetenschap. artikel Verplicht 5 juli, 18:00 uur Nederlands/Engels Procesrapportage Verplicht 5 juli, 18:00 uur Nederlands 1

2 Wetenschappelijk artikel Paper voor Intelligent User Interface conferentie 2014 Formaat zie Appendix 1 van de groepsopdracht Maximaal 8 pagina s (2 kolommen) Inhoudelijk Inkadering PACT- en requirementanalyse Ontwerp en gebruikte technologie Afsluiting Zowel op papier als digitaal inleveren Zie IUI2008, IUI2009, IUI2010, IUI2011, IUI2012 en 2013 als voorbeeld ( In ieder geval sociale rol van het systeem omgeving user groep scenario welk (basis)probleem moet de assistent oplossen functionaliteit en gedrag (maak bijv. een flowdiagram) interactie types (multimodaliteit) embodiment architectuur Onderwerpen IUI conferenties Personal assistants Hand held devices Interactieve characters Emotiedetectie Dialoogsystemen User profiling Context extractie Procesrapportage O.a. (zie groepsopdracht p. 8) Naam en logo systeem Planning van de werkzaamheden in Gantt chart Datum en notulen van de bijeenkomsten Overzicht bestaande applicaties en patenten Screenshots van de interface Schema s van het ontwerp Bronnen voor zover niet in artikel Poster op A4 formaat Onderlinge taakverdeling Reflectie groepsproces Digitaal inleveren Traditionele Interface Toekomstige interface Inbedding in omgeving Fysiek: tangible Sociaal: verschillende rollen en types gebruikers Sensormetingen Omgeving: locatie, licht, geluid, Gebruiker: gedrag, biosignalen, spraak, Actuatoren Verandering van omgeving (licht, geluid, ) Zelfstandige taken Adaptief Automatische aanpassing van communicatie aan omstandigheden en gebruiker 2

3 In dit college Niet: de achterliggende techniek of virtual reality (zie bijv. Interactietechnologie) Wel: gebruik in interactie conceptuele en functionele niveau Voorbeeld: The virtual sleeping coach Persoonlijke assistent die de kwaliteit van slapen ondersteunt Motivatie: 1.9 miljoen mensen nemen slaappillen in NL Systeem gebaseerd op: algemene coaching principes kennis over slaapstoornissen The virtual sleeping coach The virtual sleeping coach Interacteert op basis van vertrouwen en bestaande persuasieve technieken Heeft informatie over: gebruiker (leeftijd, gewicht, ziektes, hartslag, ) omgeving (licht, geluid, temperatuur, ) verschillende aspecten van slapen (medicatie, depressie, ) Biedt de gebruiker: oefening om het gedrag te veranderen inzicht in slaap en waakgedrag Adapteert communicatie en therapie aan: omgeving gebruikersmodel (profiel en interactie) Architectuur: verschillende soorten agenten en databases slaap agent, communicatie agent, usermodel agent, coachee mobile sleep coach enviro nment peer sleep expert centre therapist communication sensor information The virtual sleeping coach Werkcollege begeleiding coachee sensor agent communication agent mobile sleep coach enviro nment environmental agent personalization agent peer communication sensor information sleep expert centre therapist sleep agent sleepknowledgebase reasoningmechanism dialogue management Dinsdag ( ) opdrachten college, groepsbespreking Donderdag ( ) groepsbespreking Zie ook document groepsopdracht Coördinatie Anna van der Zalm: A.vanderzalm@uu.nl Studentassistenten Remco Snijders: R.Snijders@uu.nl Floris Delmee: F.M.Delmee@uu.nl 3

4 Werkcollege eerste bijeenkomst Eerste bijeenkomst (25 april) verplicht! Kennismaking wie is wie? wat is precies de opdracht? hoe verder? Deliverables Planning Onderwerp Notulen Startdocumenten BSCW Werkcollege overige bijeenkomsten Notulist houdt verslag bij zie pagina 6 groepsopdracht Voortgang Problemen Afspraken voor activiteiten Hints 1 Veel vrijheid: gevaarlijk! Lees de groepsopdracht goed door voor de 1 ste bijeenkomst Neem een onderwerp dat je interessant en belangrijk vindt (denk er goed over na, maar niet te lang) Deadline onderwerp: 1 mei, 9:00 uur. Haal je inspiratie uit de IUI conferentie onderwerpen en de literatuur op BSCW Plan activiteiten deadlines, hoeveelheid werk, ander werk, aantal bijeenkomsten, verdeel taken zoveel mogelijk (welke onderdelen wil je in je ontwerp?) zorg er voor dat het toch een geheel blijft Hints 2 Start top-down probeer vooraf een ruwe schets van het college te maken plaats de onderwerpen in een model voor interactie Probeer als je iets moet lezen of een college volgt de informatie zoveel mogelijk te plaatsen in het gekozen onderwerp Ga snel aan het werk en pas op voor de mid-termdip We stimuleren het maken van een prototype, maar het is niet verplicht. Geef relevante/leuke links aan Frank door. Hij zet ze op de website Nog vragen? En dan nu inhoudelijk 4

5 De interactie met computers zal in de toekomst volledig veranderen en veel meer aansluiten op menselijke cognitieve en sociale vaardigheden Hoe weten we waar het om gaat in deze bijeenkomst? Maar: We maken gebruik van taal. Intelligente interactie betekent veel meer dan een talige interactie Een talige interactie van vroeger We communiceren namelijk al lang talig met een computer system1% latex document.tex This is TeX, C Version 3.14t3 (document.tex LaTeX2e <1994/12/01> patch level 3 Hyphenation patterns for english, dutch, american, german, loaded. (/cadappl/tex/ver3.14/lib/tex/base/latex209.def Entering LaTeX 2.09 compatibility mode.) (see the transcript file for additional information) Output written on document.dvi (2 pages, bytes) Transcript written on document.log. To PostScript: dvitops document.dvi To preview with X: xdvi document.dvi system1% 5

6 OK, dat was geen gewone taal. Dan de volgende Wilt u meer informatie? Nee Ja Goede morgen. stop Dezelfde richting? Ja Nee Dezelfde dag? Ja Nee Informatiesysteem Eindhoven. U kunt informatie krijgen over vertrektijden van intercitytreinen. Intercitytreinen rijden van Eindhoven in vier richtingen: Den Bosch, Venlo, Weert, Tilburg. Van toepassing voor u is Den Bosch Nee Den Bosch! Vandaag? Ja Welke andere dag? Zondag Terug naar 1978 Vandaag! Eerstvolgende vertrektijden? Nee Ja Zondag! Ochtend, middag, avond? Avond De eerstvolgende vertrektijden zijn: en Jab: RJ: Jab: RJ: Jab: RJ: Jab: RJ: Jab: RJ: Jab: RJ: Jab: RJ: Jab: RJ: Jabberwacky: the chatbot Nobody expects the Spanish inquisition This is not an interesting conversation It s all intelligent from MY side of the conversation Are you intelligent? Not really The answer sounds intelligent Are human beings intelligent? Some are How smart are you? I am a university teacher Which university do you attend? Utrecht University Oh, that university Do you know where it is? It s in Turkey? No it s in the Netherlands Jabberwacky: the chatbot RJ: Does drinking alcohol influence my sleeping pattern Jab: It makes you witty RJ: What does witty mean? Jab: Witty means clever, ironic. RJ: Do you mean that drinking alcohol makes you witty? Jab: It is not this ones intention to understand you RJ: Who is this one? Jab: This man is this man RJ: But who is this man? Jab: This boy Waarom natuurlijke taal? Omdat we er zo vertrouwd mee zijn Omdat we er zoveel mee kunnen uitdrukken Omdat het zo snel is Waarom niet natuurlijke taal? Omdat het zo moeilijk is Omdat het zo ambigu/contextafhankelijk is Omdat we nog niet echt goede modellen hebben 6

7 Taal en dialoog: een case Mijn cursorsymbool in Word is per ongeluk veranderd van een streep in een punt en ik wil mijn streep terug! U: Ik wil het symbool voor de cursor veranderen. S: Hoe wilt u dan dat het er uitziet? U: Zoals dit:. S: OK, gebeurd. U: Ik wil het symbool voor de cursor veranderen. S: Neem een symbool uit de lijst hieronder: U: Ik wil het symbool voor de cursor veranderen. S: Sorry, het cursor-symbool kan niet worden veranderd. (U: Dat is jammer, bedankt.) Een gesprek I: Schiphol Inlichtingen, goedemorgen. S: Goedemorgen, U spreekt met J. Op dertig juni komt er s morgens een kennis van mij aan uit Dublin met het vliegtuig. Ik weet niet wat de aankomsttijd is van dat vliegtuig. Kunt u mij daar inlichtingen over geven? I: Ik zal even voor u kijken hoor. S: Ja (5 sec.) I: Om twaalf over negen komt dat vliegtuig. S: Twaalf over negen. I: Ja. S: Bedankt. I: Graag gedaan. S: Dag. I: Dag. 7

8 Natuurlijke Dialoog en Context Goedemorgen, u spreekt met Jansens. Ik (de spreker) heb een vraagje. Op 30 juni (2006) arriveert in de morgen een vriend van mij(de spreker) uit Dublin met het vliegtuig. Ik (de spreker) weet niet wat de aankomsttijd is van dat vliegtuig (het vliegtuig dat in de morgen arriveert vanuitdublin op 30 juni2006). Kunt u mij daar informatie over geven (de aankomsttijd van het vliegtuig vanuit Dublin op 30 juni in de morgen)? Mensen onderspeciferen hun informatie Context Voorafgaande Interactie (Discourse) Jan vroeg Piet hoe laat het is. Hij wist het niet. Jan vroeg Piet hoe laat het is, maar hij wist het niet. Jan vroeg Piet hoe laat het is, want hij wist het niet. A: Waar werkt Jan? B: Jan zit op de bank. Context Kennis van het systeem Context Doelen Ontologisch U1: Kunt u het internet herstarten? S1: Het is onmogelijk het internet te herstarten. U2: Is dit de motor van die auto? S2: Ja. U2: Is dit de sleutel die hem start? S2: Ja. U2: Loopt hij soepel? Verwijder het zwarte blok! Context Fysieke domein Taal en Context Verwijder deze! A: Ikhebeenzoon van 14 B: Da s prima A: En ikhebookeenhond. B: Nee sorry. 8

9 Kennis en doelen in productie Waar staat de nieuwe kleurenprinter? 1. Die staat op vloer Die staat hierboven. 3. Die staat naast de zwart/wit-printer. 4. U kunt beter de zwart/wit-printer nemen. 5. Die is nog niet verbonden aan het netwerk. 6. Bent u daar eindelijk. Dat ding is al dagen kapot. Hij staat op de verdieping hierboven. Dus: Taal is sterk contextafhankelijk! Context Locatie Wat er is gezegd (discourse) De gebeurtenissen (events) Onze perceptie (sensoren) Onze doelen Onze verwachtingen Wat we weten Wat we van de ander weten Maar: Interactie is veel ruimer dan alleen talige communicatie Basiscommunicatiemodel Partners (subjecten, gebruikers) Kanaal (medium, modaliteit) Omgeving (situatie, taakdomein) Boodschap (symbolen, taal) A B Kanaal Ogen schrift, plaatjes, gezichtsuitdrukkingen, gebaren, Oren spraak, interjecties, applaus, kloppen, muziek, Huid braille, aanraken, slaan, schoppen, kussen, handen schudden, masseren, omarmen, Neus/mond parfum, urine, zweet, wasmiddelen, winden, spuitbussen, eten, 54 9

10 Keuze voor de modaliteit Afhankelijk van: Gebruiker perceptie: doof/blind/ cognitie:verwachtingen/geheugen/doelen/ locatie/richting: hoofd/handen/lichaam/ Communicatieve situatie kanaal:ruis/weersomstandigheden/ setting: klas/conferentie/kerk/ Boodschap/Taak Inhoud: Dit is geen plaatje relevantie, urgentie: ontvangst van vs. help! Menselijke Communicatievaardigheden Mensen gebruiken al hun zintuigen als invoer Mensen gebruiken hun hele lichaam als uitvoer Mensen communiceren in een bepaalde context Mensen zijn interactief Mensen kunnen zich in elkaar inleven Huidcommunicatie Kunnen we deze vaardigheden inbouwen in mens-computer communicatie? de huid als zender en ontvanger ingewikkelde vormkenmerken waarmee: lippen, handen, voeten, waar: hoofd, lippen, schouder, bil, hoe: duur, intensiteit, herhaling, sterk contextafhankelijk cultuur locatie leeftijd 58 Huidcommunicatie Nonverbale communicatie 10

11 Hoe speelt intelligentie hier een rol? Wat is intelligentie eigenlijk? Duitsland 1911 Min. omvang hoogleraarhoofd: 52 cm De view van de alien: wat is intelligent op aarde? Marie Curie Wie is er intelligenter? Wie is er intelligenter? 11

12 Intelligentie (Psychologie) We duiken even de literatuur in. Malim& Birch(1998) : Originsand measurement Conclusies: Het is niet eenvoudig een definitie te geven Er bestaat heel wat controverse over IQ-tests Ons model van intelligentie bepaalt wat er uit de metingen komt Vraag: Nature of nurture? Intelligentie Labels: slim, helder, langzaam/snel denken, dom, verwerken, beoordelen, redeneren, cognitie, abstraheren, begrip, plannen, communicatie, leren, geheugen, voorstellingsvermogen, aandacht, Definities: Goed beoordelingsvermogen, goed begrip, goed redeneervermogen (B&S, 1905) De vaardigheid om abstract te denken (T, 1921) Aangeboren cognitieve vaardigheid (B, 1955) De essentie uit een situatie nemen en daarop adequaat reageren (H, 1970) Intelligentie Sternberg: inpassing van de culturele context Westers: je bent intelligent als je hoog op een IQ-test scoort vooral aandacht voor redeneren, verbale en mathematische vaardigheden IQ-tests De run op tests eind 19 de eeuw: meting van sensorische processen, reactietijden, schattingen, Franse psycholoog Alfred Binet& Theodore Simon (1905): tests om kinderen te identificeren die aparte hulp nodig hadden in het onderwijs referentie: het mentale niveau van het gemiddelde kind leeftijd gerelateerd: Marie is 7 jaar maar heeft een IQ van een kind van 8 IQ = (mentale_leeftijd/chronologische_leeftijd) X 100 LewisTerman(1916): Stanford Binet test (ook voor volwassenen) meet verschillen in performance types redeneren, korte termijn geheugen, Wechsler(1939): Wechsler Adult Intelligence Scale (WAIS) Wechsler Intelligence Scale for Children (WISC) meer nadruk op nonverbale performance, plaatjes Elliot(1983) Britisch Ability Scales (BAS) 2-17 jaar ook moreel redeneren A, D, G, M, 3968, 63, 8, 3, 12

13 IQ en intelligentie consistentie: meet ik straks weer hetzelfde? validiteit meet ik wel intelligentie? stabiliteit hoe verandert het over de jaren? voorspelling wat kan ik ermee? culturele aspecten sterk gericht op de blanke middle-class mens motivatieaspecten omgang met tijd Gardner(1983) Drie fundamentele principes 7 verschillende vormen van intelligentie linguïstisch, logisch/mathematisch, spatieel, muzikaliteit, lichamelijk, sociaal, zelfreflectie vormen zijn onafhankelijk van elkaar vormen werken samen als dat nodig is Kritiek moeilijk te meten (lijkt pareerbaar) Sternberg (1985/88) Triarchische theorie Intelligentie en de interne wereld mentale mechanismes (components) Intelligentie en de externe wereld mentale mechanismes om te adapteren aan de omgeving (contextual) Intelligentie en de ervaring de rol van het geleerde (experiential) Componentiëlesubtheorie: informatieverwerkingsprocessen Metacomponenten probleemidentificatie, bedenken van oplosstrategie, evaluatie Performance componenten lagere orde processen Kennis-acquisitiemodellen relevante vs. irrelevante informatie (43, 52, 140, 210?) Ontwerp Contextuele subtheorie hoe passen we de omgeving aan Adaptatie hoe passen we ons aan de omgeving aan Selectie hoe selecteren we een omgeving Nieuwheid Experientiële subtheorie oplossen van relatief nieuwe problemen Automatisering snelle automatisering van processen bijv. lezen, autorijden, taal, Gebruik van informatie (pragmatisch) 13

14 Aangeboren of geleerd? Familiestudies en adoptiestudies correlaties ouders, kinderen, broers, zussen, tweeeiige tweelingen, eeneiige tweelingen, adoptiekinderen bij elkaar, uit elkaar zie figuur 21.1 (Malim & Birch) Beide effecten zijn aanwezig Kritiek? Omgevingseffecten goede prenatale en postnatale voeding intellectuele stimulatie stabiel thuisklimaat aanmoediging door ouders/verzorgers Yo, también Definitie Intelligentie The variety of information-processing processes that collectively enable a being to autonomously pursue its survival. Artificiële Intelligentie Galatea van Pygmalion 14

15 Virtuele karakters: embodiment Gender representaties Belangrijk effect! Stem, beweging, kleding, Culturele verwachtingen Afhankelijk van de context en functionaliteit Soms kiezen voor geslachtloos Humanoids: Hiroshi Ishiguro Aibo icat Paro Hiroshi Ishiguro Galagama Kismet Turingtest: Can a machine think? Intelligente agents An agentis a computer system that is situated in some environment, and that is capable of autonomous actionin this environment in order to meet its design objectives. (Wooldridge, 2002) Agent Environment 15

16 Omgeving Toegankelijk vs. ontoegankelijk Deterministisch vs. non-deterministisch Statisch vs. dynamisch Discreet vs. continu Intelligente agenten Reactief De agent staat open voor de veranderingen in de omgeving en kan tijdig reageren Proactief De agent kan zelf initiatief nemen om doelen te halen of doelen te laten vallen Sociaal vaardig De agent kan met andere agenten interacteren (onderhandelen en samenwerken) Agents als Intentionele Systemen Mentale toestanden als beliefs, wants, desires, expectations, etc Piet gelooft dat, Marie verwacht dat Belangrijk bij het redeneren over de toestanden van anderen samenwerken en onderhandelen Communicatie 1 ste en 2 de -orde systemen 1 ste -orde: Piet gelooft dat het regent 2 de -orde: Piet gelooft dat Marie denkt dat het regent Hoofdstuk van Wooldridge tot 2.6! Driehoeksmodel Driehoeksmodel Twee types interactietussenagenten (software en/of menselijk): - Direct: - met (fysieke) omgeving - perceptie en actie - Indirect - met mensend.m.v. van taal - taalhandelingen Intelligente agent Omgeving taal/symbolisch directe observatie en manipulatie Gebruiker Kennis: Ontologie Privé Gedeeld Discourse: Zin Pending Dialoog Taak domein Gebruiker 16

17 Virtuele assistent Taak domein The virtual sleeping coach peer communication sensor information E- assistent Gebruiker coachee mobile sleep coach sleep expert centre enviro nment therapist Sensoren Context interpreter NL-parser Privé kennis Gedeelde kennis Respons generator Pending context NLproductie sensor agent communication agent environmental agent personalization agent sleep agent sleepknowledgebase reasoningmechanism dialogue management Intelligente Interactie Toegang tot perceptieve wereld sensoren en activatoren (7/5, 14/5) ambient intelligence (14/5) Verschillende communicatietypes (gesproken) taal (16/5) meerdere zintuigen (in-en output) (11/6) embodiment(4/6) Sociaal/intelligent gedrag gebruikersmodellering (7/5) regels voor communicatie en coöperatie (28/5, 18/6) affectie en emoties (4/6, 11/6) rollen (18/6, 25/6) 17