Usability Learnability: Accuracy: Satisfaction: Usefulness:

Transcriptie

1 Masterproef: evaluatie 3 Evaluatie van het papieren prototype, kiezen welk fragment je wanneer kijkt. Niels Delestinne (nielsdelestinne.wordpress.com) 1. DOEL Nieuwe functionaliteiten, die het mogelijk maken om te communiceren van het second-screen toestel naar het televisietoestel en die de lineaire ervaring verbreekt die de TV zijn kijkers oplegt, zijn bedacht en dienen geëvalueerd te worden. In een eerste fase zal worden nagegaan of de nieuw geïntroduceerde functionaliteiten als nuttig worden ervaren, of ze duidelijk in elkaar zitten en of ze gebruiksvriendelijk zijn. Dit zal gebeuren tijdens deze evaluatie waarvoor een papieren prototype is ontwikkeld. Het verloop van de evaluatie staat in rubriek 3. Methode beschreven. In een tweede fase, en een andere evaluatie, zal geëvalueerd worden hoe de integratie van de nieuwe functionaliteiten in de reeds bestaande applicatie kan gebeuren. Wat deze nieuwe functionaliteiten precies inhouden kan u lezen op mijn blog. Meer concreet, op deze pagina: 1

2 2. Criteria Volgende criteria eisen een prominente rol op tijdens de evaluatie van het huidige papieren prototype: Usability o Learnability: De gebruiker zou zonder veel moeite snel de werking van de applicatie moeten kunnen doorgronden. o Accuracy: Nagaan in hoeverre alles duidelijk is voor de gebruiker en controleren welke acties hij correct of foutief probeert uit te voeren. Zo kan bijvoorbeeld aan het licht komen dat de gebruiker verwacht een bepaalde handeling anders uit te voeren dan effectief het geval is. o Satisfaction: Nagaan in hoeverre vindt de gebruiker de applicatie aangenaam om te gebruiken. Usefulness: Wordt de applicatie als nuttig ervaren, nagaan of de voorgestelde functionalitet een meerwaarde biedt bij het bekijken van een natuurdocumentaire. 2

3 3. Methode De nieuw geïntroduceerde functionaliteit is via twee verschillende manieren geïmplementeerd in het papieren prototype. Beiden manier zullen elk apart geëvalueerd worden door alle deelnemers. Voor elke manier zal een SUS Questionnaire ingevuld worden, zodat deze nadien met elkaar vergeleken kunnen worden. Voor de tweede manier zullen 2 verschillende lay-outs geëvolueerd worden. De gebruiker zal enkel de SUS Questionnaire moeten invullen voor de door hem best bevonden lay-out. Voor beiden manieren zal een apart scenario worden opgesteld dat overlopen zal worden tijdens de evaluatie. Tot slot zal elke deelnemer gevraagd worden een vragenlijst in te vullen die vragen zal bevatten om ons een beter beeld te geven van wat de meningen zijn over de voorgestelde functionaliteiten. Volgende methodes zullen gehanteerd worden tijdens de evaluatie van het huidige prototype: SUS Questionnaire: Elke gebruiker zal bij afloop 2 SUS questionnaires dienen in te vullen waarmee onderling kan vergeleken worden welke van beiden manieren het beste scoorde. Usability Testing: Voor elke gebruiker zal voor elke van de twee manieren een vooraf opgesteld scenario gebruikt worden. Tijdens de evaluatie zal op vooraf vastgelegde momenten aan de gebruiker gevraagd worden om een bepaalde handeling uit te voeren. Al deze handelingen staan beschreven in dit scenario (zie 3.1. Scenario manier 1 en 3.2 Scenario manier 2), dat identiek hetzelfde is voor elke gebruiker. Questionnaire: Elke gebruiker dient bij afloop een vragenlijst in te vullen die ons een beter beeld zal geven over de mening van de geïntroduceerde functionaliteiten Scenario voor manier 1 Bij aanvang zal aan de gebruiker uitgelegd worden dat het prototype dat hij voor zich heeft liggen hem in staat stelt om de flow van de natuurdocumentaire die hij (normaal gezien) zou bekijken op het televisiescherm kan beïnvloeden. Er zal uitgelegd worden dat de natuurdocumentaire gefragmenteerd is en de fragmenten voor hem beschikbaar zijn om doorheen te navigeren. Door een fragment te selecteren zal de TV aangestuurd worden dit fragment af te spelen. Indien hij niets doet zal de TV de fragmenten tonen in de normale volgorde, maar hij is vrij dit te beïnvloeden. Daarnaast wordt ook aan de gebruiker gevraagd zijn gedachten / frustraties / bevindingen luidop te ventileren in lijn met het think aloud protocol. 3

4 Afbeelding 1: manier Presenteer de gebruiker het scherm voor manier 1 (Afbeelding 1). U ziet 5 fragmenten. Hebt u door welk fragment momenteel afspeelt op de TV? Hebt u daarnaast ook door welk fragment nu geselecteerd is? Heeft gebruiker door dat label Active toont welk fragment wordt uitgezonden? Heeft de gebruiker door dat het fragment dat uitsteekt geselecteerd is? In totaal zijn er 8 fragmenten. Gelieve naar fragment 7 (The Redwood Forest) te gaan Heeft de gebruiker door dat hij naar rechts kan en moet scrollen hiervoor? Gelieve informatie op te vragen waarover het fragment The Redwood Forest zal gaan Heeft de gebruiker door dat hij daarvoor op de afbeelding moet klikken? [ Meer informatie pop-up] Wat zie je allemaal hierop? Nadien Sluit dit venster Heeft de gebruiker door wat hij hier allemaal kan vinden van informatie? Drukt de gebruiker op de X knop om te sluiten Gelieve naar fragment 8 (Hyperion) te gaan en zorg ervoor dat dit fragment afspeelt op de TV Scrolt de gebruiker naar rechts? Drukt hij op Toon dit fragment? Ga naar het hoofdscherm (Home) Drukt de gebruiker op het Home icoontje? 4

5 3.2. Scenario voor manier 2 Bij aanvang zal aan de gebruiker uitgelegd worden dat het prototype dat hij voor zich heeft liggen hem in staat stelt om de flow van de natuurdocumentaire die hij (normaal gezien) zou bekijken op het televisiescherm kan beïnvloeden. Er zal uitgelegd worden dat de natuurdocumentaire gefragmenteerd is en dat hij zelf kan samenstellen welke van de fragmenten hij wil zien, alsook de volgorde ervan. Er zijn twee verschillende lay-outs voorzien om dit te doen. De eerste (Afbeelding 2) is een drag-and-drop benadering terwijl de tweede lay-out (afbeelding 3) een multiple-select benadering volgt. Beiden zullen ongeveer hetzelfde scenario volgen, al zullen de handelingen verreist om een instructie te volbrengen wel verschillend zijn. Daarnaast wordt ook aan de gebruiker gevraagd zijn gedachten / frustraties / bevindingen luidop te ventileren in lijn met het think aloud protocol. Afbeelding 2: manier 2 lay-out Presenteer de gebruiker het scherm voor manier 2 lay-out 1 (Afbeelding 2). U ziet 3 fragmenten. In totaal zijn er 8. Momenteel ziet u fragment 5, 6 en 7. Hebt u door waarvoor het bovenste dient? Weet de gebruiker dat dit de tijdlijn is waarin hij fragment kan spelen? Voeg fragment 5 (The Red Crossbill) toe op positie Sleept de gebruiker dit fragment naar positie 1? Voeg fragment 1 (The Coast Redwood) toe op positie Heeft de gebruiker door dat hij hiervoor naar links moet scrollen? Sleept de gebruiker dit fragment naar positie 2? Voeg fragment 2 (The Arctic Fox) toe op positie 3. 5

6 Sleept de gebruiker dit fragment naar positie 3? Verwijder fragment 5 (The Coast Redwood) van positie Heeft de gebruiker door dat hij dit fragment terug naar onder moet slepen? Zorg dat de geselecteerde fragmenten afgespeeld worden op de TV Drukt de gebruiker op de Save & Play knop? Vraag aan de gebruiker naar de volgorde waarin de fragmenten afgespeeld zullen worden Is het antwoord correct? (Eerst fragment 5, dan fragment 1). Afbeelding 3: manier 2 lay-out Presenteer de gebruiker het scherm voor manier 2 lay-out 2 (Afbeelding 2). U ziet 4 fragmenten. In totaal zijn er 8. Momenteel ziet u fragment 1, 2, 3 en Weet de gebruiker dat dit de tijdlijn is waarin hij fragment kan spelen? Ga naar fragment 5 (The Red Crossbill) Heeft de gebruiker door dat hij hiervoor naar rechts moet scrollen? Voeg fragment 4 (Lynx) als eerste toe Klikt de gebruiker hiervoor op het + icoontje? Voeg fragment 2 (The Arctic Fox) toe als 2 de Klikt de gebruiker hiervoor op het + icoontje? Voeg fragment 5 (The Red Crossbill) toe als 3 de Klikt de gebruiker hiervoor op het + icoontje? Vraag de gebruiker naar de huidige volgorde van afspelen Heeft de gebruiker dit door? Lynx > Arctic Fox > Red Crossbill Verwijder de Arctic Fox. 6

7 Drukt de gebruiker op de knop? Vraag de gebruiker naar de nieuwe volgorde van afspelen Heeft de gebruiker dit door? Lynx > Red Crossbill Zorg dat de geselecteerde fragmenten afgespeeld worden op de TV Drukt de gebruiker op de Save & Play knop? 3.3. Questionnaire 1. Zou je dit nuttig vinden om te kunnen doen bij het TV kijken? (1-5) 2. In hoeverre vond je manier 1 (flow beïnvloeden tijdens uitzending) nuttig? (1-5) 3. In hoeverre vond je manier 2 (flow volledig aanpassen op voorhand) nuttig? (1-5) 4. Zou je dit zelf gebruiken? (ja, neen, misschien) 5. Welke werkwijze vond je de leukste? (drag-and-drop vs. Multiple select) 6. Welke werkwijze vond je de leukste (Manier 1 vs. Manier 2) 7. Als je kon kiezen, zou je dan liever Manier 1, Manier 2 of een combinatie van beiden kiezen? 8. Bijkomende opmerkingen (?) 4. Deelnemers Omdat er in deze evaluatie gefocust wordt op de usability van het prototype zal er gestreefd worden naar een 5-tal kandidaten. In totaal werden ook 5 deelnemers geëvalueerd. De leeftijden varieerden van 20 tot 56 jaar oud. Allen hadden enige affiniteit met smartphones / tablets en hadden al deelgenomen aan de evaluatie van het digitale prototype. 5. Praktisch verloop De deelnemers zullen plaatsnemen aan een tafel waarop het papieren prototype zal liggen. Tijdens elke stap van het scenario zal het papieren prototype aangepast worden naar behoren. De waarnemingen alsook de opmerkingen van de deelnemers zullen terloops uitgetypt worden op de computer. De hierboven beschreven scenario s zullen vrij strikt opgevolgd worden en een enkele evaluatie zou een 15- tal minuten in beslag moeten nemen. 7

8 6. Resultaten Een samenvatting van de evaluatie voor zowel het scenario als de bijkomende vragen, alsook de resultaten van de SUS questionnaire kunnen hieronder teruggevonden worden. Manier Presenteer de gebruiker het scherm voor manier 1 (Afbeelding 1). U ziet 5 fragmenten. Hebt u door welk fragment momenteel afspeelt op de TV? Hebt u daarnaast ook door welk fragment nu geselecteerd is? Heeft gebruiker door dat label Active toont welk fragment wordt uitgezonden? Alle 5 deelnemers hadden dit door. 1 deelnemer gaf wel de opmerking dat het niet echt heel duidelijk was Heeft de gebruiker door dat het fragment dat uitsteekt geselecteerd is? Alle 5 deelnemers hadden dit door. 1 deelnemer initieel niet, maar uiteindelijk wel In totaal zijn er 8 fragmenten. Gelieve naar fragment 7 (The Redwood Forest) te gaan Heeft de gebruiker door dat hij naar rechts kan en moet scrollen hiervoor? Ja, 5/5 had dit door. Ze hadden ook door dat ze helemaal moesten door-scrollen totdat fragment 7 geselecteerd werd Gelieve informatie op te vragen waarover het fragment The Redwood Forest zal gaan Heeft de gebruiker door dat hij daarvoor op de afbeelding moet klikken? 2 deelnemers hadden dit door. Een andere deelnemer dacht dat er eerst op de afbeelding moest geklikt worden en dan op de toon dit fragment knop. De resterende 2 deelnemers klikten hiervoor op de toon dit fragment knop [ Meer informatie pop-up] Wat zie je allemaal hierop? Nadien Sluit dit venster Heeft de gebruiker door wat hij hier allemaal kan vinden van informatie? 4/5 deelnemers had die meer dan voldoende door. 1 deelnemer gaf aan dat dit niet duidelijk was voor haar Drukt de gebruiker op de X knop om te sluiten. Ja, 5/ Gelieve naar fragment 8 (Hyperion) te gaan en zorg ervoor dat dit fragment afspeelt op de TV Scrolt de gebruiker naar rechts? Ja, 5/ Drukt hij op Toon dit fragment? 4/5 deden dit. 1 deelnemer drukte op het fragment zelf maar had nadien de fout door en drukte vervolgens op toon dit fragment Ga naar het hoofdscherm (Home) Drukt de gebruiker op het Home icoontje? Ja, 5/5 8

9 Manier 2: Lay-out Presenteer de gebruiker het scherm voor manier 2 lay-out 1 (Afbeelding 2). U ziet 3 fragmenten. In totaal zijn er 8. Momenteel ziet u fragment 5, 6 en 7. Hebt u door waarvoor het bovenste dient? Weet de gebruiker dat dit de tijdlijn is waarin hij fragment kan spelen? 4/5 heeft dit dadelijk door. Ook dat de fragmenten gesleept kunnen worden naar de tijdlijn. 1 deelnemer heeft dit ongeveer door maar dat dat de fragmenten eerst geselecteerd moeten worden en dat er vervolgens op de knop save & play gedrukt moet worden om deze toe te voegen en af te spelen Voeg fragment 5 (The Red Crossbill) toe op positie Sleept de gebruiker dit fragment naar positie 1? Ja, 5/5 deelnemers doet dit volledig correct Voeg fragment 1 (The Coast Redwood) toe op positie Heeft de gebruiker door dat hij hiervoor naar links moet scrollen? Ja, 5/5 deelnemers doet dit volledig correct Sleept de gebruiker dit fragment naar positie 2? Ja, 5/5 deelnemers doet dit volledig correct Voeg fragment 2 (The Arctic Fox) toe op positie Sleept de gebruiker dit fragment naar positie 3? Ja, 5/5 deelnemers doet dit volledig correct Verwijder fragment 5 (The Coast Redwood) van positie Heeft de gebruiker door dat hij dit fragment terug naar onder moet slepen? Ja, 5/5 deelnemers doet dit volledig correct Zorg dat de geselecteerde fragmenten afgespeeld worden op de TV Drukt de gebruiker op de Save & Play knop? Ja, 5/5 deelnemers doet dit volledig correct Vraag aan de gebruiker naar de volgorde waarin de fragmenten afgespeeld zullen worden Is het antwoord correct? (Eerst fragment 5, dan fragment 1). Ja, 5/5 deelnemers heeft dit correct. Manier 2: Lay-out Presenteer de gebruiker het scherm voor manier 2 lay-out 2 (Afbeelding 2). U ziet 4 fragmenten. In totaal zijn er 8. Momenteel ziet u fragment 1, 2, 3 en Weet de gebruiker dat dit de tijdlijn is waarin hij fragment kan spelen? Ja, 5/5 deelnemers heeft dit goed door Ga naar fragment 5 (The Red Crossbill) Heeft de gebruiker door dat hij hiervoor naar rechts moet scrollen? Ja, 5/5 deelnemers doet dit correct Voeg fragment 4 (Lynx) als eerste toe Klikt de gebruiker hiervoor op het + icoontje? Ja, 5/5 doet dit correct Voeg fragment 2 (The Arctic Fox) toe als 2 de Klikt de gebruiker hiervoor op het + icoontje? Ja, 5/5 doet dit correct. 9

10 1.5. Voeg fragment 5 (The Red Crossbill) toe als 3 de Klikt de gebruiker hiervoor op het + icoontje? Ja, 5/5 doet dit correct Vraag de gebruiker naar de huidige volgorde van afspelen Heeft de gebruiker dit door? Lynx > Arctic Fox > Red Crossbill Ja, 5/5 deelnemers heeft dit door Verwijder de Arctic Fox Drukt de gebruiker op de knop? Ja, 5/5 doet dit correct Vraag de gebruiker naar de nieuwe volgorde van afspelen Heeft de gebruiker dit door? Lynx > Red Crossbill Ja, 5/5 heeft dit door Zorg dat de geselecteerde fragmenten afgespeeld worden op de TV Drukt de gebruiker op de Save & Play knop? Ja, 5/5 deelnemers doet dit. Questionnaire 1. Zou je dit nuttig vinden om te kunnen doen bij het TV kijken? (1-5) Met een gemiddelde score van 3,7 scoort de functionaliteit goed op vlak van nuttigheid. 2. In hoeverre vond je manier 1 (flow beïnvloeden tijdens uitzending) nuttig? (1-5) Met een gemiddelde score van 3 scoort de nuttigheid van functionaliteit van manier 1 lager dan het gemiddelde van de nuttigheid van de algemene functionaliteit. Een mogelijke verklaring, buiten het feit dat deze manier simpelweg minder gesmaakt wordt, is dat het design zoals voorgesteld met het papieren prototype niet echt goed werd begrepen. 3. In hoeverre vond je manier 2 (flow volledig aanpassen op voorhand) nuttig? (1-5) Met een gemiddelde score van 4,4 scoort de nuttigheid van de functionaliteit van manier 2 enorm goed. 4. Zou je dit zelf gebruiken? (ja, neen, misschien) 3 deelnemers geven aan dit misschien te gebruiken, 2 deelnemers geven ja aan op deze vraag. Geen enkele deelnemer zou dit zeker niet gebruiken. 5. Welke werkwijze vond je de leukste? (drag-and-drop (lay-out1) vs. Multiple select (lay-out 2)) In totaal kiezen 3 deelnemers voor lay-out 2, waarvan 1 heel uitgesproken. De overige 2 deelnemers kiezen voor lay-out 1 maar beiden zijn minder uitgesproken. 6. Welke werkwijze vond je de leukste (Manier 1 vs. Manier 2) Alle 5 deelnemers kiezen voor manier Als je kon kiezen, dan liever Manier 1, Manier 2 of een combinatie van beiden kiezen? Alle 5 deelnemers kiezen hier wel voor een combinatie van beiden. Ze zien graag een uitbreiding van manier 2 met de functionaliteiten getoond in manier 1. 10

11 SYSTEM USABILITY SCALE Dx staat voor deelnemer nr. x MANIER 1 D1 D2 D3 D4 D5 I think that I would like to use this application frequently I found the application unnecessarily complex I thought the application was easy to use I think that I would need the support of a technical person to be able to use this application I found the various functions in this application were well integrated I thought there was too much inconsistency in this application I would imagine that most people would learn to use this application very quickly I found the application very cumbersome (inconvenient) to use I felt very confident using the application I needed to learn a lot of things before I could get going with this application SUS 60 82,5 87, SUS Gemiddeld 76 MANIER 2 (best bevonden lay-out) D1 D2 D3 D4 D5 I think that I would like to use this application frequently I found the application unnecessarily complex I thought the application was easy to use I think that I would need the support of a technical person to be able to use this application I found the various functions in this application were well integrated I thought there was too much inconsistency in this application I would imagine that most people would learn to use this application very quickly I found the application very cumbersome (inconvenient) to use I felt very confident using the application I needed to learn a lot of things before I could get going with this application SUS 87, ,5 92,5 SUS Gemiddeld 91,5 11

12 7. Interpretatie & besluit Hieronder volgt een opsomming van interpretaties en conclusies die gemaakt zijn aan de hand van de resultaten en waarmee aan de slag kan gegaan voor volgende iteraties. De knop toon dit fragment die gebruikt wordt voor het afspelen van een fragment op het televisietoestel in Manier 1 blijkt te onduidelijk te zijn. Indien manier 1 digitaal geïmplementeerd te worden, zal een andere benaming gekozen moeten worden. Door de hoge consistentie die in het papieren prototype aanwezig was (wat bevestigd wordt in de SUS scores) hadden gebruikers vaak snel door hoe alles werkte. Het feit dat Manier 2 veel beter geëvalueerd werd dan Manier 2 kan lichtjes gerelativeerd worden omdat het vanuit het duidelijk was dat de deelnemers zich al meer vertrouwd voelden met het papieren prototype en de functionaliteiten ervan toen ze aan de evaluatie van Manier 2 moesten beginnen. De implementatie van Manier 1 zoals voorgesteld in het papieren prototype werd veel minder goed begrepen dan oorspronkelijk verwacht. Het Coverflow principe werd gehanteerd om doorheen de verschillende fragmenten te gaan, waarbij steeds de middelste automatisch geselecteerd is. Maar dit werd dus niet goed begrepen. De reden dat Manier 1 beduidend lager scoorde dan Manier 2 (SUS) kan, onder andere, de mis-begrepen design keuze als reden hebben. De functionaliteiten van Manier 2 (dat wat mogelijk is) worden als veel nuttiger beschouwd dan die van Manier 1. Manier 2 wordt zonder enige twijfel gezien als een nuttigere, betere en fijnere functionaliteit dan die van Manier 1. De mate waarin de SUS scores van beiden uiteen liggen laat hierover geen twijfel bestaan. Al geven echter wel alle 5 deelnemers aan dat een combinatie van beiden functionaliteiten hun voorkeur zou genieten. Manier 2 uitbreiden met de functionaliteiten van Manier 1 lijkt daarom aangewezen. De wijze waarop Manier 2 is geïmplementeerd valt blijkbaar enorm in de smaak en is heel gebruiksvriendelijk. Daarnaast blijkt ook dat Manier 2 als een heel nuttige functionaliteit wordt beschouwd die de deelnemers zelf zouden gebruiken. 2 deelnemers gaven aan dat dit voor het onderwijs (waarin zij beiden geassocieerd mee zijn) een interessante toepassing zou kunnen zijn. Voor Manier 2 werden er 2 lay-outs geëvalueerd. Lay-out 1 volgens het drag-and-drop principe en lay-out 2 volgens het multiple-select principe. Beiden werden als gebruiksvriendelijk ervaren. Bij de vraag welke hun voorkeur kreeg, kozen 3 deelnemers voor lay-out 2. De overige 2 deelnemers kozen voor lay-out 1. Omdat de deelnemers die kozen voor lay-out 2 meer uitgesproken leken hierover, kan de conclusie gemaakt worden dat lay-out 2 de te verkiezen layout is. Besluit De voorgestelde functionaliteit van Manier 2 werd enorm goed onthaald en bevestigd dat het kan verwerkt worden in een applicatie die de mensen ook daadwerkelijk zouden willen gebruiken. Daarnaast toont de evaluatie ook aan dat Manier 2 goed uitgewerkt en gebruiksvriendelijk is. Manier 1 scoorde op dit vlak slechter en zal in zijn huidige vorm niet verder uitgewerkt worden. De deelnemers gaven wel aan dat een gecombineerde functionaliteit (van zowel Manier 1 en Manier 2) hun voorkeur genoot. Daarom 12

13 zal bekeken worden hoe Manier 2 uitgebreid kan worden met functionaliteit van Manier 1 zonder te moeten inboeten op het gebruiksgemak 13