Evaluation. Ontwerpen van Interactieve Systemen. Christof van Nimwegen, 19 februari 2015

Transcriptie

1 Evaluation Ontwerpen van Interactieve Systemen Christof van Nimwegen, 19 februari 2015

2 Algemeen 2

3 Buzzzzzzzz..evidence based 3

4 Waar in proces? Expert Usability expert Interaction designer Proefpersonen Soms algemeen Eindgebruikers Summatief vs. Formatief Summatief : eind conclusie Formatief : ondersteun ontwerpproces 4

5 Evaluatie: in dit college Prototypes Expert evaluation Heuristic evaluation Cognitive walkthrough Participant-based evaluation Cooperative evaluation Participatory heuristic evaluation Co-discovery Controlled experiments Metrieken en andere issues 5

6 Waarmee? Prototypes: Verticaal of Horizontaal 6

7 Prototype: Wizard of Oz 7

8 Prototype: Wizard of Oz 8

9 Prototype: Wizard of Oz 9

10 Expert evaluation Voordelen Snel Soms goedkoper Logistiek simpel Herkennen beter inconsistenties dan gebruikers Gestructureerde resultaten Geschikt voor formatieve evaluatie Nadeel Expert is niet de eindgebruiker Essentiële problemen kunnen gemist worden Sommige problemen komen in praktijk niet voor Usefulness in particular context better identified by users 10

11 Expert evaluation: Heuristische evaluatie Een (of enkele) mensen beoordelen een systeem of service aan de hand van vuistregels, richtlijnen (heuristieken). Bv: Nielsen (10 heuristics) Schneidermann (8 golden rules) Benyon: 12 design principes helping people access, learn and remember the system (1-4) giving them sense of being in control, knowing what to do and how (5-7) safely and securely (8-9) in a way that suits them (10-12) 1. visibility 2. consistency 3. familiarity 4. affordance 5. navigation 6. control etc It debugs design! 11

12 Expert evaluation: Heuristische evaluatie Scoring: Severity rating (ernst van het probleem) 0 Geen usability probleem 1 Slecht cosmetisch probleem 2 klein usability probleem 3 groot usability probleem 4 usability ramp: fixen verplicht Overeenstemming soms matig Altijd complementeren met participant-based evaluaties 12

13 Expert evaluation: Heuristische evaluatie: rapport 13

14 Expert evaluation: Cognitive walkthrough Papier-gebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering (as in Human Factors) Gebaseerd op taakanalyse Snellere versies: Cognitive jog through Streamlined cognitive walkthrough 14

15 Expert evaluation: Cognitive walkthrough Inputs voor het proces: Begrip van de te verwachten gebruikers (mensen) Verzameling scenario s met vaak voorkomende en minder vaak voorkomende activiteiten Volledige interface beschrijving (schermontwerp, taakanalyse) Vier vragen voor iedere interactiestap: Zullen gebruikers proberen het correcte effect te bereiken? Zien ze of de correcte actie beschikbaar is? Zullen ze de correcte acties associëren met het effect dat ze proberen te bereiken? Zullen gebruikers voortgang zien naar het doel? 15

16 Participant based observation Onmisbaar Realistischer Vaak duurder Is erg leuk! Ecologisch waardevol 16

17 Participant based observation: Cooperative evaluation Cooperative evaluation Eenvoudige methode Participants (1-5) zijn co-evaluators Het voordeel van een teammaximale output voor een korte test Ontwikkeld door Andrew Monk et al. handleiding van Monk zelf: df 17

18 Participant based observation: Cooperative evaluation Taken voorbereiden: zo specifiek mogelijk zijn attach de 3 files die in de map files staan aan de mail Test eerst zelf, schat duur in Think aloud (laat mensen praten, zie ook H. 7), Inzicht krijgen in strategieën Soms is het moeilijk te zeggen wat je denkt Het is ook een mentale belasting Neiging tot beleefdheid Werkt alleen als pp op gemak Doe kort post-interview Schrijf bevindingen zo snel mogelijk op 18

19 Participant based observation: Cooperative evaluation Voorbeeld vragen tijdens evaluatie Wat dacht je dat er ging gebeuren? Wat vertelt het systeem je nu? Waarom denk je dat het systeem zo reageert? Voorbeeld vragen na evaluatie Wat was het beste/slechtste aan dit prototype? Wat moet er in elk geval veranderd worden? Hoe gemakkelijk waren de taken? 19

20 Participant based observation: Participatory heuristic evaluation Participatory heuristic evaluation Extensie van Heuristische evaluatie, participanten doen mee als work-domain experts 20

21 Participant based observation: Co-discovery Co-discovery Informeel, mensen gebruiken een systeem en worden geobserveerd Ook weer think-aloud Soms in koppels, men kan elkaar aanmoedigen dingen te doen / uit te proberen 21

22 Participant based observation: Living Labs 22

23 Participant based observation: Living lab wageningen 23

24 Participant based observation: Gecontroleerde experimenten 24

25 Gecontroleerde experimenten Handig om ontwerpen met elkaar te vergelijken Onafhankelijke variabele ( wat je wil onderzoeken ), bijv.: Twee verschillende website designs, functies, modaliteiten, persuasieve strategieën, Afhankelijke variabelen ( wat je meet ), bijv.: Aantal clicks, tijd om doel te bereiken, aantal fouten, tevredenheid, optimale oplossing, afwijking van ideaal pad Confounding variabelen: Verborgen invloed op afhankelijke variabele Pas op voor leer- en andere effecten: counter-balance Zie ook: Wetenschappelijke Onderzoeksmethoden (statistiek, onderzoeksopzet, etc.)

26 Gecontroleerde experimenten Experimenteel ontwerp: Within-subjects (iedere participant test alle condities) Between-subjects (iedere participant test slechts een conditie) (+) Geen leereffecten (-) Veel participanten Hoeveel participanten? Ligt aan target groep (denk aan personas in understanding ) Afhankelijk van evaluatie en doel

27 Gecontroleerde experimenten Meestal kwantitatieve data (anders kun je niet vergelijken): tijd, aantal, Statistische data Alleen bij (voldoende) grote getallen Nulhypothese (H0): wat je hoopt te verwerpen Alternatieve hypothese (H1): wat de conclusie is als H0 verworpen wordt Gemiddelden en standaard deviatie Statistische significantie 27

28 Gecontroleerde experimenten: vb 1-) Social Conformity 28

29 Gecontroleerde experimenten: vb 1-) Social Conformity Onderzoek naar Social conformity in online media Onafhankelijke variabele: rijkheid medium (video vs. foto) Afhankelijke variabele conformity op (perceptie vs. feiten vs. meningen) 29

30 Gecontroleerde experimenten: vb 1-) Social Conformity Pilot studie 14 pp Niet echt genoeg voor formele statistiek Type of question Perception Facts Opinions Degree of social presence Photo-only 0% 10% 21% Live-video 0% 8% 22% 30

31 Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Vraag Wat is de invloed van geëxternaliseerde info in interfaces (hulp) Snelheid taak uitvoering Opgedane kennis Als een taak onderbroken wordt Conference planner (EXT) Conference planner (INT) 31

32 Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Onafhankelijke variabele : INT vs. EXT Afhankelijke variabele : Score op taak, 5X Zware interruptie : tijdens 4 e trial 32

33 Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie 33

34 Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Verticaal: afwijkingsscore (van ideaal pad): laag is goed 34

35 Pauze 35

36 Gecontroleerde experimenten: Metrieken Wat kan ik meten? Effectiviteit % succesvolle taken, % gebruikers dat taak volbrengt, Efficiency tijd om taak uit te voeren, aantal fouten, Tevredenheid. schaal die tevredenheid/gemak van leren aangeeft, frequentie van gebruik, stressniveau,

37 Gecontroleerde experimenten: Metrieken en doelen 37

38 Gecontroleerde experimenten: data Biosignalen en fysiologische metingen: huidweerstand, temperatuur, hartslag, warmte, oogbeweging, adrenaline, EEG, ECG, Gedrag: taakuitvoering, fouten, wijzen, beweging, nadenken, tijd, gezichtsuitdrukkingen, Symbolen en taal: interviews, vragenlijsten, think-aloud,

39 Gecontroleerde experimenten: lichaams data GSR Facereader 39

40 Gecontroleerde experimenten: eye tracking 40

41 Gecontroleerde experimenten: Eye tracking 41

42 Gecontroleerde experimenten: Waar? informal pre-pilot thuis controlled: lab onderweg remote liever thuis 42

43 Gecontroleerde experimenten: cruciale zaken Stel op gemak Vertel wat er gaat gebeuren Vertel over privacy data Zeker als je filmt/opneemt! We testen het systeem, niet u Maak jezelf bekend Indien mogelijk, deel resultaten 43

44 Vragen? Dan nu test 1! 44