Evaluation Ontwerpen van Interactieve Systemen Christof van Nimwegen, 19 februari 2015
Algemeen 2
Buzzzzzzzz..evidence based 3
Waar in proces? Expert Usability expert Interaction designer Proefpersonen Soms algemeen Eindgebruikers Summatief vs. Formatief Summatief : eind conclusie Formatief : ondersteun ontwerpproces 4
Evaluatie: in dit college Prototypes Expert evaluation Heuristic evaluation Cognitive walkthrough Participant-based evaluation Cooperative evaluation Participatory heuristic evaluation Co-discovery Controlled experiments Metrieken en andere issues 5
Waarmee? Prototypes: Verticaal of Horizontaal 6
Prototype: Wizard of Oz 7
Prototype: Wizard of Oz 8
Prototype: Wizard of Oz 9
Expert evaluation Voordelen Snel Soms goedkoper Logistiek simpel Herkennen beter inconsistenties dan gebruikers Gestructureerde resultaten Geschikt voor formatieve evaluatie Nadeel Expert is niet de eindgebruiker Essentiële problemen kunnen gemist worden Sommige problemen komen in praktijk niet voor Usefulness in particular context better identified by users 10
Expert evaluation: Heuristische evaluatie Een (of enkele) mensen beoordelen een systeem of service aan de hand van vuistregels, richtlijnen (heuristieken). Bv: Nielsen (10 heuristics) Schneidermann (8 golden rules) Benyon: 12 design principes helping people access, learn and remember the system (1-4) giving them sense of being in control, knowing what to do and how (5-7) safely and securely (8-9) in a way that suits them (10-12) 1. visibility 2. consistency 3. familiarity 4. affordance 5. navigation 6. control etc It debugs design! 11
Expert evaluation: Heuristische evaluatie Scoring: Severity rating (ernst van het probleem) 0 Geen usability probleem 1 Slecht cosmetisch probleem 2 klein usability probleem 3 groot usability probleem 4 usability ramp: fixen verplicht Overeenstemming soms matig Altijd complementeren met participant-based evaluaties 12
Expert evaluation: Heuristische evaluatie: rapport 13
Expert evaluation: Cognitive walkthrough Papier-gebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering (as in Human Factors) Gebaseerd op taakanalyse Snellere versies: Cognitive jog through Streamlined cognitive walkthrough 14
Expert evaluation: Cognitive walkthrough Inputs voor het proces: Begrip van de te verwachten gebruikers (mensen) Verzameling scenario s met vaak voorkomende en minder vaak voorkomende activiteiten Volledige interface beschrijving (schermontwerp, taakanalyse) Vier vragen voor iedere interactiestap: Zullen gebruikers proberen het correcte effect te bereiken? Zien ze of de correcte actie beschikbaar is? Zullen ze de correcte acties associëren met het effect dat ze proberen te bereiken? Zullen gebruikers voortgang zien naar het doel? 15
Participant based observation Onmisbaar Realistischer Vaak duurder Is erg leuk! Ecologisch waardevol 16
Participant based observation: Cooperative evaluation Cooperative evaluation Eenvoudige methode Participants (1-5) zijn co-evaluators Het voordeel van een teammaximale output voor een korte test Ontwikkeld door Andrew Monk et al. handleiding van Monk zelf: http://wwwusers.york.ac.uk/~am1/coopevalapp.p df 17
Participant based observation: Cooperative evaluation Taken voorbereiden: zo specifiek mogelijk zijn attach de 3 files die in de map files staan aan de mail Test eerst zelf, schat duur in Think aloud (laat mensen praten, zie ook H. 7), Inzicht krijgen in strategieën Soms is het moeilijk te zeggen wat je denkt Het is ook een mentale belasting Neiging tot beleefdheid Werkt alleen als pp op gemak Doe kort post-interview Schrijf bevindingen zo snel mogelijk op 18
Participant based observation: Cooperative evaluation Voorbeeld vragen tijdens evaluatie Wat dacht je dat er ging gebeuren? Wat vertelt het systeem je nu? Waarom denk je dat het systeem zo reageert? Voorbeeld vragen na evaluatie Wat was het beste/slechtste aan dit prototype? Wat moet er in elk geval veranderd worden? Hoe gemakkelijk waren de taken? 19
Participant based observation: Participatory heuristic evaluation Participatory heuristic evaluation Extensie van Heuristische evaluatie, participanten doen mee als work-domain experts 20
Participant based observation: Co-discovery Co-discovery Informeel, mensen gebruiken een systeem en worden geobserveerd Ook weer think-aloud Soms in koppels, men kan elkaar aanmoedigen dingen te doen / uit te proberen 21
Participant based observation: Living Labs 22
Participant based observation: Living lab wageningen 23
Participant based observation: Gecontroleerde experimenten 24
Gecontroleerde experimenten Handig om ontwerpen met elkaar te vergelijken Onafhankelijke variabele ( wat je wil onderzoeken ), bijv.: Twee verschillende website designs, functies, modaliteiten, persuasieve strategieën, Afhankelijke variabelen ( wat je meet ), bijv.: Aantal clicks, tijd om doel te bereiken, aantal fouten, tevredenheid, optimale oplossing, afwijking van ideaal pad Confounding variabelen: Verborgen invloed op afhankelijke variabele Pas op voor leer- en andere effecten: counter-balance Zie ook: Wetenschappelijke Onderzoeksmethoden (statistiek, onderzoeksopzet, etc.)
Gecontroleerde experimenten Experimenteel ontwerp: Within-subjects (iedere participant test alle condities) Between-subjects (iedere participant test slechts een conditie) (+) Geen leereffecten (-) Veel participanten Hoeveel participanten? Ligt aan target groep (denk aan personas in understanding ) Afhankelijk van evaluatie en doel
Gecontroleerde experimenten Meestal kwantitatieve data (anders kun je niet vergelijken): tijd, aantal, Statistische data Alleen bij (voldoende) grote getallen Nulhypothese (H0): wat je hoopt te verwerpen Alternatieve hypothese (H1): wat de conclusie is als H0 verworpen wordt Gemiddelden en standaard deviatie Statistische significantie 27
Gecontroleerde experimenten: vb 1-) Social Conformity 28
Gecontroleerde experimenten: vb 1-) Social Conformity Onderzoek naar Social conformity in online media Onafhankelijke variabele: rijkheid medium (video vs. foto) Afhankelijke variabele conformity op (perceptie vs. feiten vs. meningen) 29
Gecontroleerde experimenten: vb 1-) Social Conformity Pilot studie 14 pp Niet echt genoeg voor formele statistiek Type of question Perception Facts Opinions Degree of social presence Photo-only 0% 10% 21% Live-video 0% 8% 22% 30
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Vraag Wat is de invloed van geëxternaliseerde info in interfaces (hulp) Snelheid taak uitvoering Opgedane kennis Als een taak onderbroken wordt Conference planner (EXT) Conference planner (INT) 31
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Onafhankelijke variabele : INT vs. EXT Afhankelijke variabele : Score op taak, 5X Zware interruptie : tijdens 4 e trial 32
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie 33
Gecontroleerde experimenten: vb 2) Externalisatie - Internalisatie Verticaal: afwijkingsscore (van ideaal pad): laag is goed 34
Pauze 35
Gecontroleerde experimenten: Metrieken Wat kan ik meten? Effectiviteit % succesvolle taken, % gebruikers dat taak volbrengt, Efficiency tijd om taak uit te voeren, aantal fouten, Tevredenheid. schaal die tevredenheid/gemak van leren aangeeft, frequentie van gebruik, stressniveau,
Gecontroleerde experimenten: Metrieken en doelen 37
Gecontroleerde experimenten: data Biosignalen en fysiologische metingen: huidweerstand, temperatuur, hartslag, warmte, oogbeweging, adrenaline, EEG, ECG, Gedrag: taakuitvoering, fouten, wijzen, beweging, nadenken, tijd, gezichtsuitdrukkingen, Symbolen en taal: interviews, vragenlijsten, think-aloud,
Gecontroleerde experimenten: lichaams data GSR Facereader 39
Gecontroleerde experimenten: eye tracking 40
Gecontroleerde experimenten: Eye tracking 41
Gecontroleerde experimenten: Waar? informal pre-pilot thuis controlled: lab onderweg remote liever thuis 42
Gecontroleerde experimenten: cruciale zaken Stel op gemak Vertel wat er gaat gebeuren Vertel over privacy data Zeker als je filmt/opneemt! We testen het systeem, niet u Maak jezelf bekend Indien mogelijk, deel resultaten 43
Vragen? Dan nu test 1! 44