Usability en User Experience 13/06/2014 Evaluatie en het DECIDE framework Joske Houtkamp
Overzicht van de module 1 Introductie UE & UX, interaction design Egon van den Broek 2 Paper prototyping, user testing Maartje de Vries 3 Ontwikkelen van (digitale) leermiddelen en usability Ellen Schuurink 4 Performance metrics, scales, self-reported metrics, physiological metrics Egon van den Broek 5 E-coaches Robbert-Jan Beun 6 vrij 7 UE methoden in het gehele proces Stijn Nieuwendijk 9 Evaluation, DECIDE framework Joske Houtkamp 8 UE in grote overheidsprojecten Margot Lagendijk 9 Rondleiding en gastcollege UX lab Rabobank Henriëtte van Vugt NB aanmelden via mail!
Inhoud evaluatie paradigma s methoden voor dataverzameling het DECIDE raamwerk Voor het tentamen: Interaction Design 2011, chapters 12, 13, 15 deze slides
Interactie ontwerp Het interaction design proces 1. vaststellen van requirements; 2. ontwerp van een of meer oplossingen; 3. prototyping; 4. evaluatie. Dit is een iteratief proces! Zie bijvoorbeeld Agile-softwareontwikkeling, http://nl.wikipedia.org/wiki/agile-software-ontwikkeling
Evaluatie van interactieve systemen Waarom Wat Waar Wanneer Toets requirements zodat het systeem bruikbaar is en gebruikers tevreden Een conceptueel model, vroege prototypes, later meer complete prototypes In natuurlijke en laboratorium omgeving Gedurende het gehele ontwerpproces. http://usabilityg eek.com/mainst reaming-website-usabilitythroughautomatedusabilityevaluation/
Wanneer? Evaluatie kan in alle stadia van de product lifecycle plaatsvinden. http://www.rachelilansimpson.com/what-is-it-that-you-do-exactly formatief, gedurende het ontwerp- en ontwikkelproces initiële schetsen low-fi of high-fi prototypes bijna af voldoet het (nog) aan de wensen van de gebruiker? summatief, van een afgerond product voldoet het aan normen en standaarden? (ISO, etc) wat kan beter in een volgende versie? Of in een nieuw product?
Evaluatie paradigma s en methoden I Keuze voor een evaluatiemethodiek 1 (potentiële) gebruikers: zijn er voldoende beschikbaar? is er tijd en budget om ze in te zetten? Alternatief: analytische evaluatiemethodes. Inspection methods, zoals Heuristic evaluation en Walkthroughs. Theoretical modelling.
Evaluatie paradigma s en methoden II 2 gecontroleerde setting versus realistische omgeving: nadruk op uitvoeren van taken of realistisch/natuurlijk gedrag? controle uitoefenen op de gebruikersactiviteiten? lab of andere gecontroleerde omgeving beschikbaar? te verzamelen data = kwantitatief? 1 ja? (controle realisme) Overweeg Usability Testing nee? (realisme controle) Overweeg een Field Study
Usability Testing Kenmerken In latere ontwerpstadia, met prototype of compleet Compleet product; ook voor vergelijking. Doel: vooral testen of de target users het product (in ontwikkeling) kunnen gebruiken voor de beoogde taken. Vroeger voornamelijk om onderdelen van interfaces te testen: aantal menu items geschikte icons... Nu veel breder: consistentie in navigatiestructuur terminologie vinden van juiste informatie... etc.
Usability Testing Kenmerken In usability lab of andere ruimte waar de omstandigheden beheersbaar zijn gelijke omstandigheden voor alle deelnemers duur: in lange sessies pauzeren; houd rekening met vermoeidheid (beïnvloedt uitkomsten) output: metingen omtrent uitvoering van representatieve taken door representatieve gebruikers aantal deelnemers: 5 12 gebruikers, afhankelijk van tijd beschikbaarheid gebruikers, kosten van tests, en onderzoeksopzet.
Usability testing data Voornamelijk kwantitatief meten van performance criteria; steeds vaker ook user-experience criteria (daarvoor nog weinig standaard methoden). (zie ook college 4) Performance metrics Issues based metrics Self-report measures (interviews, think aloud, questionnaires) Behavioral and physiological metrics (observatie, hartslagmeting, eye tracking) Soms in vorm van experiment (bijv. between subjects design) NB usability testing kan worden gecombineerd met field studies voor meer en completer inzicht
Facial Electromyography (femg)
Resultaten eye tracking
Usability Testing versus Wetenschappelijke Experimenten USABILITY TESTING Doel: verbeteren product Vaak weinig proefpersonen (kosten) Resultaten toepasbaar in ontwerp Meestal niet geheel reproduceerbaar Condities zoveel mogelijk gecontroleerd Procedure ligt vast Resultaten gerapporteerd aan ontwerpers/opdrachtgevers WETENSCHAPPELIJKE EXPERIMENTEN Doel: kennis vergroten Zo mogelijk veel proefpersonen Resultaten statistisch gevalideerd Moeten reproduceerbaar zijn Sterk gecontroleerde condities Strakke richtlijnen voor opzet Resultaten gerapporteerd aan wetenschappelijke wereld
Field Study Kenmerken In alle ontwerpstadia; ook daarvoor (requirements) en erna. Doel: begrijpen van gedrag van gebruikers in (en interactie met) hun natuurlijke omgeving; hoe producten hun activiteiten beïnvloeden. I.t.t. lab studies bepalen hoe context en omgeving gebruik beïnvloeden. mogelijkheden identificeren voor nieuwe technologieën requirements voor ontwerp bepalen uitvinden hoe het best een nieuwe technologie te introduceren evalueren van het gebruik van een technologie
Field Study Kenmerken http://www.gatesfoundati on.org/what-we- Do/Global- Development/Financial- Services-for-the-Poor Plaats: natuurlijke omgeving, zonder te verstoren Duur: enkele minuten tot meerdere maanden of jaren Output: geluids- en video-opnames, beschrijvingen, schetsen, citaten, objecten Aantal deelnemers: klein aantal (soms een) Variërende condities Rol van de evaluator: fly on the wall, participerend,
Field Study Data Voornamelijk kwalitatieve beschrijvingen op basis van objectieve of etnografische (participerende) observaties. Methoden voor dataverzameling: Observeren: video, interaction logging, geluidsopnamen, foto s, aantekeningen Bevragen: interviews, vragenlijsten, dagboeken Discussie: (bijv. focus groep), Experience sampling method (ESM) (Mappiness) Analyseren: gedragspatronen en frequentie coderen en categoriseren (bijv. op basis van Grounded theory of Activity theory) critical incidents
Mappiness.org.uk
Mappiness
Field studies and experiments Field study: on location, observer does not affect process provides rich description (not always relevant data) Field experiment: on location, but control (specific task, measuring tools) interpretation of results easier
Analytical evaluation Kenmerken Gedetailleerd evalueren van prototypes van een volledig werkend systeem, of specifieke aspecten ervan. Menselijke evaluatoren (experts) of modellen worden ingezet om beoogde gebruikers te simuleren en zo usability problemen op te sporen. Waar: Duur: Output: Aantal deelnemers: Variërende condities laboratorium of op locatie vaak erg tijdsintensief rapport met problemen en evt. oplossingen, of voorspellingen van model enkele, hangt af van kwaliteit experts, soort systeem
Analytical evaluation Data Kwalitatief (rapporten) of kwantitatief (modellen) Methoden voor dataverzameling: Inspecties: Heuristische evaluatie: inspectie aan de hand van heuristieken (vuistregels), gerelateerd aan ontwerpprincipes en richtlijnen Walkthroughs: gedetailleerde inspectie, vaak voor complexe taken cognitief; opdracht: voer taak uit; focus op ease of learning; pluralistisch: gebruikers(!), ontwikkelaars en usability experts betrokken; opdracht: loop elk door taak scenario s; focus op verschillende usability issues; bediscussieer. Voorspellende modellen: theoretische formules om maten van user performance af te leiden
Inspection method: heuristic evaluation Experts inspect a system or design using a set of heuristics or guidelines. Developed Jakob Nielsen in the early 1990s. Traditional set is based on heuristics distilled from an empirical analysis of 249 usability problems. Empirical evidence suggests that on average 5 evaluators identify 75-80% of usability problems Heuristics are developed for mobile devices, wearables, virtual worlds, games, and for information visualizations (Zuk et al 2006).
Nielsens Heuristics Visibility of system status Match between system and the real world User control and freedom Consistency and standards Help users recognize, diagnose and recover from errors Error prevention Recognition rather than recall Flexibility and efficiency of use Aesthetic and minimalist design Help and documentation (Nielsen 2001)
Examples of perceptual and cognitive heuristics Color perception varies with size of colored item Local contrast affects color & gray perception Consider people with color blindness Quantitative assessment requires position or size variation Consider Gestalt Laws Provide multiple levels of detail Integrate text wherever relevant
Examples of information seeking heuristics Overview first Zoom and filter Details on demand Relate Extract History Expose uncertainty Formulate cause & effect
Other inspection methods Cognitive walkthrough, stepping through a pre-planned scenario noting potential problems. Expert is told the assumptions about user population, context of use, task details, and a scenario.. Guided by 3 questions: Will the correct action be sufficiently evident to the user? Will the user notice that the correct action is available? Will the user associate and interpret the response from the action correctly?
Het DECIDE framework Hoe een evaluatie plannen en uitvoeren? Determine the goals. Explore the questions. Choose the evaluation methods. Identify the practical issues. Decide how to deal with the ethical issues. Evaluate, analyze, interpret and present the data.
DECIDE Determine the goals Wat zijn de high-level goals van de evaluatie? Wie wil de applicatie, en waarom? De doelstellingen bepalen de methodes
DECIDE Explore the questions De doelen worden vertaald naar vragen die de evaluatie sturen Bijvoorbeeld : het doel om uit te vinden waarom sommige klanten liever papieren vliegtickets kopen dan e-tickets kan worden opgedeeld in subvragen: Wat is de mening van klanten over e-tickets? Hebben zij twijfels over veiligheid? Is de interface om ze online te bestellen onvoldoende duidelijk?
DECIDE Choose the evaluation approach & methods De evaluatiemethode bepaalt hoe de data worden verzameld, geanalyseerd, en gepresenteerd. het type data dat antwoord op je vragen (= doel) kan geven (kwantitatief, kwalitatief) de methoden die dit type data opleveren budget en expertise beschikbaar voor evaluatie Bijvoorbeeld: field studies maken gebruik van observatie en interviews plaatsen gebruikers in natuurlijke context geen controlled tests. produceren vooral kwalitatieve data. NB verschillende methoden combineren!
Example: game for the ISRIC World Soil Museum Redesign of the exhibition in 2013 Nucleus of the collection: soil monoliths Objective: explain the relevance of soil to modern-day global challenges Interactive displays
Game requirements (museum) appeal to a young audience (1 st year students) use new technology to continue the look and feel of the exhibition offer some physical activity, preferably outdoors highlight the monoliths as main elements of the museum collection extend the length of the experience at the museum make the visit more memorable;
Understand the users: Personas Jesse, 17 years old Agricultural Science student Soccer, chilling with friends Shooters, laser gaming Daniëlle, 18 years old Landscape Design student Hanging out with friends, music Social media Representative of a typical, desired, user group Support informed design decisions Focus in development team Interests of the target user group, and the types of mobile devices and smartphones they own. Pruitt, J., & Grudin, J. (2003)
Design Idea: Mixed Reality Soil Golf Use smartphone to hit a virtual golf ball Virtual golf course projected on the campus Holes give view of soil profiles Points earned by strokes and questions Competitive
Soil Golf Course Four holes: distinctive geographic and geological features (in 3D) distinctive soil profiles
Technical requirements GPS receiver in smartphone detects the location and motion of the player Accelerometer and gyroscope detect velocity and direction of stroke First experiments reveal difficulties in implementation test design and gameplay.
Interface design: think aloud method Reveals mental models of users of an application or prototype Participant verbalizes expectations and thoughts about the interface, mistakes, confusion, nice elements, etc. Results: participants did not notice the animations, did not recognize some buttons and the starting point.
Gameplay: play testing Are the core game mechanics fun, engaging, easy to understand? Participants tested a physical prototype and thus a playable version of the core game mechanics Results: participants did not like the negative scoring system, restart after 6 faulty strokes, succession of throwing and asking questions is fun and engaging. Fullerton, T. (2008)
DECIDE Identify the practical issues. Hoe ga je geschikte deelnemers selecteren? experts (evaluatoren) vinden? binnen je budget blijven? op schema blijven? geschikte faciliteiten en apparatuur kiezen? Altijd een pilot study uitvoeren.
DECIDE Decide about ethical issues Deelnemers aan een studie hebben onder meer de volgende rechten: informed consent: ontwerp een formulier duidelijkheid over wat van hen verwacht wordt duidelijkheid over wat er met hen gebeurt en eventuele risico s weten wat het doel van de studie is weten wat er met de uitkomsten gebeurt bescherming van alle persoonlijke gegevens op ieder moment kunnen stoppen geciteerd te worden met uitdrukkelijke toestemming, anoniem, en inzage voorafgaand aan publicatie vriendelijke behandeling Bedenk vooraf: beloning voor de deelnemers? Feedback op de resultaten?
DECIDE Evaluate, interpret & present data De evaluatiemethode bepaalt de verkregen data, en de analyse, interpretatie en presentatie. Betrouwbaarheid: leidt een herhaling tot dezelfde resultaten? Validiteit: meet je wat je wilt weten? Biases: worden resultaten verstoord? Scope: zijn resultaten generaliseerbaar? Ecologische validiteit: heeft omgeving invloed op resultaten (lab vs natural)? Reageren deelnemers anders doordat ze bestudeerd worden (Hawthorn effect)
Experiments and validity Conclusion validity Internal validity - is an inductive estimate of the degree to which conclusions about causal relationships can be made (e.g. cause and effect), based on the measures used, the research setting, and the whole research design. Construct validity - seeks agreement between a theoretical concept and a specific measuring device or procedure. External validity can we generalize the study results to other people/places/times? Ecological validity - degree to which the experimental situation reflects the type of environment in which the results will be applied (McGrath: realism) (Sh. Carpendale, Evaluating Information Visualizations 2008)
Usability evaluation in short Approaches Usability testing Field studies Analytical evaluation Methods and techniques Quantitative or qualitative Formative or summative Laboratory or field Users or experts
Characteristics of approaches Usability testing Field studies Analytical Users do task natural not involved Location controlled natural anywhere When prototype early prototype Data quantitative qualitative problems Feed back measures & errors descriptions problems Type applied naturalistic expert [Interaction Design]
Evaluation approaches and methods Method Usability testing Field studies Observing x x Analytical Asking users Asking experts Testing Modeling x x x x x x [Interaction Design]