Usability Engineering & User Experience 2012/2013. Evaluatie. dr S. Renooij. De collegereeks

Transcriptie

1 Usability Engineering & User Experience 2012/2013 Evaluatie dr S. Renooij De collegereeks 1 (17): Introductie UE & UX, interaction design 2 (18): Paper prototyping, user testing (Maartje de Vries) 4 (20): Ontwikkelen van (digitale) leermiddelen en usability (Ellen Schuurink) 6 (22): Performance metrics, scales self-reported metrics, physiological metrics 7 (23): UE in grote overheidsprojecten (Margot Lagendijk) 8 (24): UE methoden in het gehele proces (Stijn Nieuwendijk) 9 (25): Evaluation, DECIDE framework 10 (26): Overzicht en ontwikkelingen 11 (27): Eindtoets 1 2 Vandaag evaluatie paradigma s (stijlen) methoden voor data vergaring het DECIDE raamwerk Literatuur: Sharp et al, 2011 verplicht: hoofdstukken 12 en 13 aanbevolen: hoofdstukken 14, 15 (verplicht bij andere colleges) deze slides Interaction design Het interaction design proces bestaat uit 4 basis activiteiten: vaststellen van requirements; ontwerpen van alternatieven; prototyping; evaluatie 3 4

2 Globale vraag: Evaluatie van interactieve producten kan en wil een (potentiële) gebruiker het product gebruiken? Focus: zowel op usability aspecten (effectiveness, efficiency, safety, utility, learnability, memorability) als op user experience aspecten (entertaining, satisfying, challenging, fun, etc.) volgen we usability principes en richtlijnen? less is more? begrijpen we elkaar? Waarom evalueren? 5 6 Wanneer evalueren? Evaluatie kan in verschillende stadia van de product lifecycle plaatsvinden. We onderscheiden twee soorten evaluatie: summatief: van een afgerond product voldoet het aan normen en standaarden? (ISO, EU etc) wat kan er verbeterd in een volgende versie? formatief: gedurende het ontwerp- en ontwikkelproces initiële schetsen low-fi of high-fi prototypes bijna af voldoet het (nog) aan de wensen van de gebruiker? Evaluatie paradigma s en methoden I Er bestaan verschillende evaluatie paradigma s (stijlen). De keuze voor een bepaalde stijl wordt mede bepaald door: 1 (potentiële) gebruikers: bij evaluatie betrekken? zijn er voldoende beschikbaar? is er tijd en geld om ze in te zetten? 1 nee? Kies de Analytic Evaluation stijl. VOORBEELD (METHODEN BINNEN DE ANALYTIC EVALUATION STIJL) Inspections, zoals Heuristic evaluation of Walkthroughs Theoretical modelling 7 8

3 Evaluatie paradigma s en methoden II De keuze voor een evaluatie stijl wordt mede bepaald door: 2 controle versus realisme: nadruk op uitvoeren van taken ipv realistisch/natuurlijk gedrag? controle uitoefenen op gebruikersactiviteiten? lab of andere gecontroleerde omgeving beschikbaar? te verzamelen data = kwantitatief? 1 ja? (controle realisme) Kies de Usability Testing stijl A common mistake that people make when trying to design something completely foolproof is to underestimate the ingenuity of complete fools. Douglas Adams Waarom gebruikers gebruiken? nee? (realisme controle) Kies een Field Study stijl 9 10 Usability Testing Kenmerken Nuttig: in latere ontwerp stadia, met prototype of compleet product; ook voor vergelijking. Doel: testen of het product (in ontwikkeling) bruikbaar is voor de doelgroep, om taken uit te voeren waarvoor het ontworpen is. VOORBEELD Vroeger voornamelijk om kenmerken van interfaces te testen: aantal menu items geschikte icons tegenwoordig is het breder: consistentie in navigatie structuur terminologie hoe reageert het systeem 11 Usability Testing Kenmerken Nuttig: in latere ontwerp stadia, met prototype of compleet product; ook voor vergelijking. Doel: testen of het product (in ontwikkeling) bruikbaar is voor de doelgroep, om taken uit te voeren waarvoor het ontworpen is. in: usability lab of andere gecontroleerde ruimte duur: maximaal 30 minuten per taak output: metingen omtrent uitvoering van representatieve taken door representatieve gebruikers aantal deelnemers: 5 10 gebruikers, afhankelijk van tijd, beschikbaarheid gebruikers, en kosten van tests; evt doorgaan tot er geen nieuwe inzichten boven tafel komen zelfde condities voor alle deelnemers 12

4 Crowd sourcing voor veel deelnemers Usability Testing Data DEFINITION Crowdsourcing: het uitbesteden (outsourcing) van taken aan een grote ongedefinieerde groep mensen, via open call. vaak via internet (zeker sinds Web 2.0); goedkoper dan lab studies, en potentieel veel deelnemers; kritiek: resultaten zijn onbetrouwbaar; uit een onderzoek blijkt echter grotere spreiding, maar zelfde globale resultaten (Heer & Bostock, 2010). Kern: kwantitatief meten van performance; steeds vaker ook user-experience criteria, maar nauwelijks standaard methoden. Methoden voor data vergaring: Observeren: mbv video en interaction logging (bijv van key strokes ); gebruikers worden ook getimed. Bevragen: mbv interviews en user satisfaction questionnaires, vaak ook think aloud. Soms in vorm van Experiment VOORBEELD (AMAZON S MECHANICAL TURK(MTURK)) requesters bieden simpele taken aan (Human Intelligence Tasks, zoals Identify cute animals, maar ook usability taken en allerhande vragenlijsten); workers selecteren een taak en voeren die uit, eventueel tegen vergoeding. 13 Te analyseren: tijd nodig voor volbrengen taak aantal gemaakte fouten soort fouten NB soms gecombineerd met observaties in t veld om een context te geven. 14 Usability Testing vs Wetenschappelijke Experimenten Bij wetenschappelijke experimenten gaat het meestal niet om verbeterpunten te vinden, maar om kennis over een relatie tussen twee of meer variabelen te ontdekken. Field Study Kenmerken Nuttig: in alle ontwerp stadia; tevens ervoor en erna. Doel: begrijpen wat gebruikers in hun natuurlijke omgeving doen en hoe producten hun activiteiten beïnvloeden. USABILITY TESTING WETENSCHAPPELIJKE EXPERIMENTEN doel: verbeteren producten weinig proefpersonen resultaten tbv ontwerp niet geheel reproduceerbaar condities zo gecontroleerd mogelijk procedure ligt vast resultaten gerapporteerd aan ontwerpers doel: kennis ontdekken veel proefpersonen resultaten statistisch gevalideerd moeten reproduceerbaar zijn sterk gecontroleerde condities strakke richtlijnen voor opzet resultaten gerapporteerd aan wetenschappelijke wereld VOORBEELD mogelijkheden voor nieuwe technologieën identificeren requirements voor ontwerp bepalen uitvinden hoe het best een nieuwe technologie te introduceren evalueren van het gebruik van een technologie 15 16

5 Field Study Kenmerken Nuttig: in alle ontwerp stadia, tevens ervoor en erna; Doel: begrijpen wat gebruikers in hun natuurlijke omgeving doen en hoe producten hun activiteiten beïnvloeden. in: natuurlijke omgeving, zonder te verstoren duur: enkele minuten tot meerdere maanden of jaren output: beschrijvingen, evt ondersteund met schetsen, scenario s, citaten, objecten aantal deelnemers: 1 of klein aantal variërende condities 17 Field Study Data Kern: kwalitatieve beschrijvingen op basis van objectieve of etnografische observaties. Methoden voor data vergaring: Observeren: mbv video, interaction logging, geluidsopnamen, foto s, aantekeningen Bevragen: mbv interviews, vragenlijsten, informele discussie (bijv focus groep), dagboeken Experience sampling method (ESM) Te analyseren: gedragspatronen en frequentie categoriën (bijv op basis van Grounded theory of Activity theory) critical incidents 18 Analytic Evaluation Kenmerken Nuttig: voor het gedetailleerd evalueren van prototypes van een volledig werkend systeem, of specifieke aspecten ervan. Doel: modellen of menselijke evaluators worden ingezet om echte gebruikers te simuleren en zo usability problemen op te sporen. in: laboratorium of op lokatie duur: vaak erg tijdsintensief output: rapport met problemen en evt oplossingen, of voorspellingen van model aantal deelnemers: more is more? variërende condities Analytic Evaluation Data Kern: kwalitatief (rapporten) of kwantitatief (modellen) Methoden voor data vergaring Inspecties: Heuristic evaluation: inspectie geleid door heuristieken (vuistregels), sterk gerelateerd aan ontwerp principes en richtlijnen Walkthroughs: op gedetailleerd niveau, vaak voor complexe taken cognitief; opdracht: voer taak uit; focus op ease of learning; vaak met think-aloud pluralistisch: gebruikers(!), ontwikkelaars en usability experts betrokken; opdracht: loop elk door taak scenario s; focus op verschillende usability issues; bediscussieer. Voorspellende modellen: theoretische formules om maten van user performance af te leiden 19 20

6 Voorspellende modellen Inspecties: expert simuleert gebruiker Geschikte experts hebben kennis van het toepassingsgebied en van de gebruikers. Voordelen Nadelen geen gebruikers nodig weinig ethische en praktische zaken te overwegen vinden van experts kan moeilijk en kostbaar zijn experts zijn ge- biased (bevooroordeeld) veel triviale problemen ontdekt en belangrijke gemist 21 Interactie tussen gebruiker en product wordt gereduceerd tot elementaire acties (fysiek, cognitief of zintuiglijk). Nadruk ligt op inschatten van uitvoertijd van taken en effectiefste strategieën. data = kwantitatief (tijd), maar goedkoper verkrijgbaar dan bij usability testing gebaseerd op expert error-free behavior modelleren is arbeidsintensief en slecht opschaalbaar kwantificatie van model is goedkoop en snel, mits juiste meetdata voor handen kan alleen voorspellingen doen over voorspelbaar gedrag met name geschikt voor vergelijken De elementaire acties kunnen geanalyseerd of voorspeld worden mbv het GOMS raamwerk. 22 Het GOMS raamwerk GOMS geeft een raamwerk voor het voorspellen van user performance op kleine, goed gedefinieerde taken. CMN-GOMS (Card, Moran, Newell, 1983) Oorspronkelijke GOMS model, nu gezien als een van de modellen binnen de GOMS familie. Goals: wat de gebruiker wil bereiken Operators: de abstracte acties (cognitief en fysiek) die gedaan moeten worden Methods: de aanpak, in concrete stappen Selection rules: regelt keuze van aanpak, als meerdere opties vind INFOUE website druk op toetsen, beweeg muis, klik muis typ keywords in Google en druk op search alternatief: typ adres in balk; kies deze optie, indien Het model neemt aan dat informatie als volgt wordt verwerkt: Methods-Time metingen (in ms): fixatie ogen: 230 bewegen ogen: 30 perceptual processor: 100 cognitive processor: 70 motor processor: 70 uitvoer motor functie na verwerking: Fitts Law 23 24

7 Fitts Law (1954) voor human psychomotor behaviour Fitts Law voorspelt de tijd T die nodig is om een object (bijv button) aan te wijzen met een pointing device. T = k log( D S + 1.0) waarbij: D = afstand tussen startpunt pointer en midden van object S = breedte van object gemeten in beweegrichting pointer k = constante, afhankelijk van pointing device, in ms/bit Keystroke level model De Keystroke level model (KLM) is een van eenvoudigste kwantitatieve modellen binnen de GOMS familie. Op. Toelichting Tijd (s) K key press P point mouse 1.10 B mouse button press or release 0.10 H hand keyboard mouse 0.40 M mental preparation 1.20 R(t) system response time t D draw line with mouse lengte afhankelijk De tijd die het uitvoeren van een taak kost wordt geschat aan de hand van de som van de tijden voor de individuele acties DECIDE Het DECIDE raamwerk: Het plannen van een evaluatie studie omvat meer dan de keuze van een stijl en bijbehorende methode. Een raamwerk kan houvast bieden. Determine the evaluation goals/purpose Explore the evaluation questions/issues Choose the evaluation paradigm and methods Identify the practical issues Decide how to deal with the ethical issues Evaluate, analyse, interpret, and present the data P I M P E D 27 28

8 Determine the goals/purpose of the evaluation Alle evaluatie studies hebben doelen en bijbehorende vragen nodig als leidraad, zodat geen tijd verspild wordt aan slecht opgezette studies. Door de doelen van de evaluatie te formuleren leg je de scope van de evaluatie vast. wat is het globale doel van de evaluatie? wie wil de evaluatie en waarom? VOORBEELD (DOELEN) Verbeter de bruikbaarheid van dit bestaande product Check of deze schets aan alle requirements voldoet Check of deze user interface consistent is NB de doelen bepalen mede de keuze voor evaluatie stijl! Explore the specific questions/issues to be answered/addressed Doelen worden op een vrij hoog niveau geformuleerd. Vertaal elk doel naar (sub)vragen om vast te leggen wat er concreet bestudeerd moet worden. De (sub)vragen dienen over zaken te gaan die min of meer meetbaar zijn. VOORBEELD (VAN DOEL NAAR (SUB)VRAGEN) Doel: Vind uit hoe mensen reageren op Back-channel Vragen: Merken mensen Back-channel op? Begrijpen ze waar ze naar kijken? Gaan ze ermee interacteren? Choose the evaluation paradigm and methods De keuze voor evaluatie stijl wordt mede bepaald door het type data dat antwoord op je vragen (= doel) kan geven (kwantitatief, kwalitatief) de methoden die dit type data opleveren tijd, geld en expertise die beschikbaar is voor evaluatie hoe de data geanalyseerd en gepresenteerd moet worden VOORBEELD (KEUZE VOOR EEN FIELD STUDY) De keuze voor een Field study benadering houdt o.a. het volgende in: mogelijke methoden: Observatie, Interviews, controle: realistische setting met gebruiker(s), dus geen gecontroleerde laboratorium tests data: kwalitatief, dus geen statistische analyses mogelijk Hoe ga je Identify practical issues geschikte deelnemers selecteren? binnen je budget blijven? op schema blijven? geschikte faciliteiten en apparatuur kiezen? geschikte evaluators vinden? Doe een pilot study om de ergste missers te ondervangen en zorg evt voor een noodplan. NB je kan ook verschillende stijlen en methoden combineren! 31 32

9 Decide about ethical issues Decide about ethical issues Deelnemers aan een studie hebben onder meer de volgende rechten: informed consent: ontwerp hiertoe een formulier duidelijkheid over wat van hen verwacht wordt duidelijkheid over wat er met hen gebeurt en eventuele risico s weten wat het doel van de studie is weten wat er met de uitkomsten gebeurt bescherming van alle persoonlijke gegevens op ieder moment kunnen stoppen geciteerd te worden met uitdrukkelijke toestemming, anoniem, en inzage vóór publicatie vriendelijke behandeling 33 Bedenk daarnaast of je deelnemers kan en wil belonen, en of ze feedback op de resultaten mogen leveren. 34 Evaluate, analyse, interpret and present data De evaluatie stijl en methoden hebben effect op de verkregen data, en hoe die geanalyseerd, geïnterpreteerd en gepresenteerd kan/moet worden. Hierbij dient het volgende in overweging genomen te worden: Betrouwbaarheid: leidt een herhaling tot dezelfde resultaten? Validiteit: meet je wat je wilt weten? Biases: worden resultaten verstoord? Scope: zijn resultaten generaliseerbaar? Ecologische validiteit: heeft omgeving invloed op resultaten (lab vs natural)? Reageren deelnemers anders doordat ze bestudeerd worden (Hawthorn effect) 35