Evaluation Ontwerpen van Interactieve Systemen Christof van Nimwegen, 01 maart 2018
Algemeen 2
Buzzzzzzzz..evidence based 3
Evaluatie Expert Usability expert Interaction designer Proefpersonen (participant) Soms algemeen Eindgebruikers Summatief vs. Formatief Summatief : eind conclusie Formatief : ondersteun ontwerpproces 4
Evaluatie: in dit college Prototypes Expert evaluation Heuristic evaluation Cognitive walkthrough Participant-based evaluation Cooperative evaluation Participatory heuristic evaluation Co-discovery Controlled experiments Metrieken en andere issues 5
Waarmee? Prototypes: Verticaal of Horizontaal 6
Prototype: Wizard of Oz 7
Prototype: Wizard of Oz 8
9
Prototype: Wizard of Oz 10
Expert evaluation Voordelen Snel Soms goedkoper Logistiek simpel Herkennen beter inconsistenties dan gebruikers Nadeel Gestructureerde resultaten Geschikt voor formatieve evaluatie Expert is niet de eindgebruiker Essentiële problemen kunnen gemist worden Sommige problemen komen in praktijk niet voor Usefulness in particular context better identified by users 11
Expert evaluation: Heuristische evaluatie Een (of enkele) mensen beoordelen een systeem of service aan de hand van vuistregels, richtlijnen (heuristieken). Bv: Nielsen (10 heuristics) Schneidermann (8 golden rules) Benyon: 12 design principes 1. visibility 2. consistency 3. familiarity 4. affordance 5. navigation 6. control etc 12
Expert evaluation: Cognitive walkthrough Papier-gebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering (as in Human Factors) Gebaseerd op taakanalyse Snellere versies: Cognitive jog through Streamlined cognitive walkthrough 13
Expert evaluation: Cognitive walkthrough 14
Expert evaluation: Cognitive walkthrough Inputs voor het proces: Begrip van de te verwachten gebruikers (mensen) Verzameling scenario s met vaak voorkomende en minder vaak voorkomende activiteiten Volledige interface beschrijving (schermontwerp, taakanalyse) 15
Expert evaluation: Cognitive walkthrough Vier vragen voor iedere interactiestap: Zullen gebruikers proberen het correcte effect te bereiken? Zien ze of de correcte actie beschikbaar is? Zullen ze de correcte acties associëren met het effect dat ze proberen te bereiken? Zullen gebruikers voortgang zien naar het doel? 16
Expert evaluation: Cognitive walkthrough Voorbeeld: pinautomaat 17
Expert evaluation: Cognitive walkthrough Voorbeeld: pinautomaat 18
Expert evaluation: Cognitive walkthrough Voorbeeld: pinautomaat 19
Expert evaluation: Cognitive walkthrough Voorbeeld: pinautomaat 20
Participant based observation Onmisbaar Realistischer Vaak duurder Is erg leuk! Ecologisch waardevol 21
Participant based observation: Cooperative evaluation Cooperative evaluation Eenvoudige methode Participants (1-5) zijn co-evaluators Het voordeel van een team Maximale output voor een korte test Ontwikkeld door Andrew Monk et al. handleiding van Monk zelf: http://wwwusers.york.ac.uk/~am1/coopevalapp.p df 22
Participant based observation: Cooperative evaluation Taken voorbereiden: zo specifiek mogelijk zijn attach de 3 files die in de map files staan aan de mail Test eerst zelf, schat duur in Think aloud (laat mensen praten, zie ook H. 7), Inzicht krijgen in strategieën Soms is het moeilijk te zeggen wat je denkt Het is ook een mentale belasting Neiging tot beleefdheid Werkt alleen als pp op gemak Doe kort post-interview Schrijf bevindingen zo snel mogelijk op 23
Participant based observation: Cooperative evaluation Voorbeeld vragen tijdens evaluatie Wat dacht je dat er ging gebeuren? Wat vertelt het systeem je nu? Waarom denk je dat het systeem zo reageert? Voorbeeld vragen na evaluatie Wat was het beste/slechtste aan dit prototype? Wat moet er in elk geval veranderd worden? Hoe gemakkelijk waren de taken? 24
Participant based observation: Participatory heuristic evaluation Participatory heuristic evaluation Extensie van Heuristische evaluatie, participanten doen mee als work-domain experts 25
Participant based observation: Co-discovery Co-discovery Informeel, mensen gebruiken een systeem en worden geobserveerd Ook weer think-aloud Soms in koppels, men kan elkaar aanmoedigen dingen te doen / uit te proberen 26
Participant based observation: Living Labs 27
Participant based observation: Living lab wageningen 28
Participant based observation: Gecontroleerde experimenten 29
Gecontroleerde experimenten Handig om ontwerpen met elkaar te vergelijken Onafhankelijke variabele ( wat je wil onderzoeken ), bijv.: Twee verschillende website designs, functies, modaliteiten, persuasieve strategieën, Afhankelijke variabelen ( wat je meet ), bijv.: Aantal clicks, tijd om doel te bereiken, aantal fouten, tevredenheid, optimale oplossing, afwijking van ideaal pad Confounding variabelen: Verborgen invloed op afhankelijke variabele Pas op voor leer- en andere effecten: counter-balance Zie ook: Wetenschappelijke Onderzoeksmethoden (statistiek, onderzoeksopzet, etc.)
Gecontroleerde experimenten Experimenteel ontwerp: Within-subjects (iedere participant test alle condities) Between-subjects (iedere participant test slechts een conditie) (+) Geen leereffecten (-) Veel participanten Hoeveel participanten? Ligt aan target groep (denk aan personas in understanding ) Afhankelijk van evaluatie en doel
Gecontroleerde experimenten Meestal kwantitatieve data (anders kun je niet vergelijken): tijd, aantal, Statistische data Alleen bij (voldoende) grote getallen Nulhypothese (H0): wat je hoopt te verwerpen Alternatieve hypothese (H1): wat de conclusie is als H0 verworpen wordt Gemiddelden en standaard deviatie Statistische significantie 32
Gecontroleerde experimenten: vb 1-) Social Conformity 33
Gecontroleerde experimenten: vb 1-) Social Conformity Onderzoek naar Social conformity in online media Onafhankelijke variabele: rijkheid medium (video vs. foto) Afhankelijke variabele conformity op (perceptie vs. feiten vs. meningen) 34
Gecontroleerde experimenten: vb 1-) Social Conformity Pilot studie 14 pp Niet echt genoeg voor formele statistiek Type of question Perception Facts Opinions Degree of social presence Photo-only 0% 10% 21% Live-video 0% 8% 22% 35
Gecontroleerde experimenten: Metrieken Wat kan ik meten? Effectiviteit % succesvolle taken, % gebruikers dat taak volbrengt, Efficiency tijd om taak uit te voeren, aantal fouten, Tevredenheid. schaal die tevredenheid/gemak van leren aangeeft, frequentie van gebruik, stressniveau,
Gecontroleerde experimenten: Metrieken en doelen 37
Gecontroleerde experimenten: data Biosignalen en fysiologische metingen: huidweerstand, temperatuur, hartslag, warmte, oogbeweging, adrenaline, EEG, ECG, Gedrag: taakuitvoering, fouten, wijzen, beweging, nadenken, tijd, gezichtsuitdrukkingen, Symbolen en taal: interviews, vragenlijsten, think-aloud,
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Vraag Wat is de invloed van geëxternaliseerde info in interfaces (hulp) Snelheid taak uitvoering Opgedane kennis Als een taak onderbroken wordt Conference planner (EXT) Conference planner (INT) 39
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie No difference in average time needed Time before first move (s) Time between moves (s) 25 20 15 10 19,8 15,3 6 5 4 3 2 4,8 3,9 5 1 0 NO FEEDBACK DESTINATION FEEDBACK 0 NO FEEDBACK DESTINATION FEEDBACK NO FEEDBACK waits longer then DESTINATION FEEDBACK (p<.05) NO FEEDBACK takes longer between moves than DESTINATION FEEDBACk (p<.05)
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie No difference in average time needed between the NO FEEDBACK and DESTINATION FEEDBACK NO FEEDBACK takes more time before first move NO FEEDBACK takes more time between moves
Casus: Efficiency (path) Geen verschil in gemiddelde totale tijdsduur!! Superfluous moves 4,5 5 3,5 4 2,5 3 1,5 2 0,5 1 0 2,5 NO FEEDBACK 4,3 DESTINATION FEEDBACK DESTINATION FEEDBACK make more superfluous moves than NO FEEDBACK (p<.05) DESTINATION FEEDBACK: M=2.5 NO FEEDBACK: M=4.3
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Use of "smartest strategy" (per 5 trials) 3 2,4 2 1,5 1 0 NO FEEDBACK DESTINATION FEEDBACK NO FEEDBACK uses smart strategy MORE than DESTINATION FEEDBACK (p<.05)
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Onafhankelijke variabele : INT vs. EXT Afhankelijke variabele : Score op taak, 5X Zware interruptie : tijdens 4 e trial 44
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie 45
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Verticaal: afwijkings score (van ideaal pad): laag is goed 46
Gecontroleerde experimenten: lichaams data GSR Facereader 47
Gecontroleerde experimenten: eye tracking 48
Gecontroleerde experimenten: Eye tracking 49
Gecontroleerde experimenten: Waar? informal pre-pilot thuis controlled: lab onderweg remote liever thuis 50
Gecontroleerde experimenten: cruciale zaken Stel op gemak Vertel wat er gaat gebeuren Vertel over privacy data Zeker als je filmt/opneemt! We testen het systeem, niet u Maak jezelf bekend Indien mogelijk, deel resultaten 51
Vragen? 52