Masterproef: evaluatie 2 Evaluatie van het eerste digitale prototype (Prototype V2) Niels Delestinne (nielsdelestinne.wordpress.com) 1. DOEL Na het ontwerpen en evalueren van het eerste prototype, wat omschreven kan worden als een hybride tussen een papieren en digitaal prototype, was het tijd om over te schakelen naar een volledig digitaal prototype. De keuze om relatief snel over te schakelen naar een volledig digitaal prototype is er gekomen omdat veel functionaliteit van het prototype onderhevig is aan vooraf ingestelde tijdgebonden events. Dit in combinatie met het feit dat het leveren van een realistische gebruikservaring een belangrijk iets is voor companion applicaties zoals het prototype er één is. De functionaliteiten van het digitale prototype staan hieronder opgesomd. Functionaliteiten die nieuw zijn ten opzichte van het papieren prototype zijn aangeduid als volgt: [NIEUW]. Onderaan de lijst worden ook de functionaliteiten beschreven die aanwezig waren in het vorige prototype maar niet in het huidige, digitale, deze zijn aangeduid met volgende label: [VERWIJDERD]. Volledig geautomatiseerde synchronisatie met een beschikbaar natuurdocumentaire. Informatie-blokken worden op vooraf ingestelde tijdstippen getoond. [NIEUW] De gebruiker kan tijdens het bekijken van een natuurdocumentaire navigeren doorheen de reeds ontvangen informatieblokken. Niet eerder getoonde informatieblokken kunnen niet vervroegd opgeroepen worden door de gebruiker. De gebruiker heeft de mogelijkheid om te bekijken wanneer de volgende informatieblok getoond wordt en waarover deze precies zal gaan. Een klok telt af en toont hoeveel seconden er nog resteren tot de volgende informatieblok getoond wordt. Er zijn 4 soorten informatieblokken o Feiten: Toont algemene of leuke weetjes. o Afbeeldingen + algemene informatie: Toont tot drie afbeeldingen vergezelt van algemene informatie over wat er afgebeeld staat. o Map: Toont een globale map van de wereld met daarop een bepaald gebied geselecteerd. De gebruiker kan hierop inzoomen. o [NIEUW] Quiz: Toont tot 3 keuzes en vraagt de gebruiker de juiste keuze te selecteren. [NIEUW] Te allen tijde kan de gebruiker de synchronisatie afbreken en terug gaan naar het home-scherm door op het huisicoontje te klikken dat zich rechtsboven het scherm bevindt. [NIEUW] Wanneer op het home-scherm kan de gebruiker naar het help-scherm navigeren door rechtsboven op het uitroepteken te klikken. [NIEUW] Een help-scherm is toegevoegd waarin beknopt uitgelegd en geïllustreerd wordt hoe de applicatie gebruikt kan worden. Het home-scherm bestaat uit 2 delen die elk toegankelijk zijn door op de corresponderen tabknop te drukken. Het Playing now gedeelte dat toont of en welke natuurdocumentaire er momenteel uitgezonden wordt en waarmee gesynchroniseerd kan worden. Een knop om de synchronisatie is dan ook beschikbaar, samen met algemene uitleg en een foto van de documentaire in kwestie. Indien er geen natuurdocumentaire beschikbaar is voor synchronisatie 1
op dat moment, zal getoond worden wanneer (en welke) de eerstvolgende natuurdocumentaire beschikbaar komt voor synchronisatie. Het Watched before gedeelte toont welke natuurdocumentaires are al eerder bekeken zijn geweest. De gebruiker kan te allen tijde raadplegen welke natuurdocumentaires hij al eens eerder heeft bekeken met de applicatie via het Watched before scherm. Hij kan een natuurdocumentaire selecteren en krijgt vervolgens een overzicht van alle informatieblokken gerelateerd aan die geselecteerde documentaire. Elke informatieblok kan zo opnieuw bekeken worden. [VERWIJDERD] Mogelijkheid tot het opslaan van bepaalde informatieblokken tijdens het bekijken van een natuurdocumentaire met als doel deze later te kunnen herbekijken. Enkel de opgeslagen informatieblokken kunnen herbekeken worden. Uit de evaluatie van het vorige prototype was gebleken dat de gebruikers graag wat meer interactiviteit hadden gehad. De controle om zelf te navigeren doorheen de informatieblokken alsook meer interactieve informatieblokken. Daarom is beslist om de gebruikers de mogelijkheid te geven om doorheen reeds ontvangen informatieblokken te navigeren tijdens het bekijken van een natuurdocumentaire. Om de integriteit van de applicatie te bewaren is het niet mogelijk om informatieblokken vervroegd te bekijken. Een keerzijde van het toevoegen van deze nieuwe functionaliteit in combinatie met de mogelijkheid om achteraf alle informatieblokken opnieuw te bekijken, is dat de functionaliteit voor het opslaan van bepaalde informatieblokken nutteloos is geworden. In het vorige prototype waar de gebruiker telkens maar 20 seconden had om een informatieblok te bekijken en enkel met het opslaan een mogelijkheid had om deze nadien te herbekijken was dit een heel handige functionaliteit, maar deze functionaliteit is in het huidig prototype overbodig geworden. Daarom is dit niet toegevoegd aan dit huidig prototype. Het doel van deze evaluatie is om na te gaan of dat het complete digitale prototype goed werkt en ook of dat de nieuw geïntroduceerde functionaliteiten duidelijk zijn, werken zoals ze horen te werken en gebruikt worden zoals ze gebruikt dienen te worden. Daarnaast is het ook belangrijk dat deze nieuwe functionaliteiten in harmonie werken met de reeds bestaande functionaliteiten en dat dit ook als zo wordt ervaren door de deelnemers. 2
2. Criteria Volgende criteria eisen een prominente rol op tijdens de evaluatie van het huidige prototype: Usability o Learnability: De gebruiker zou zonder veel moeite snel de werking van de applicatie moeten kunnen doorgronden. o Accuracy: Nagaan in hoeverre alles duidelijk is voor de gebruiker en controleren welke acties hij foutief probeert uit te voeren. Zo kan bijvoorbeeld aan het licht komen dat een bepaald icoon heel onduidelijk is of dat de gebruiker verwacht een bepaalde handeling anders uit te voeren dan effectief het geval is. o Satisfaction: Nagaan in hoeverre vindt de gebruiker de applicatie aangenaam om te gebruiken. Usefulness: Wordt de applicatie als nuttig ervaren, nagaan of het een meerwaarde biedt bij het bekijken van een natuurdocumentaire. Aesthetic qualities: Nagaan wat de gebruiker vindt over het algemeen uiterlijk van de applicatie. De opmaak, grootte, positie en kleur van tekst, afbeeldingen, knoppen, titels en meer. 3
3. Methode Volgende methodes zullen gehanteerd worden tijdens de evaluatie van het huidige prototype: SUS Questionnaire: Elke gebruiker zal bij afloop een SUS questionnaire dienen in te vullen waarmee de vooruitgang van het huidig prototype ten opzichte van het vorig prototype kan aangetoond worden. Indien er achteruitgang is zal dit hiermee ook aan het licht komen. Usability Testing: Voor elke gebruiker zal een vooraf opgesteld scenario gebruikt worden dat exact hetzelfde is voor elke gebruiker. Tijdens de evaluatie zal op vooraf vastgelegde momenten aan de gebruiker gevraagd worden om een bepaalde handeling uit te voeren. Al deze handelingen staan beschreven in een scenario (zie 3.1. Scenario) dat identiek hetzelfde is voor elke gebruiker. 3.1. Scenario Bij aanvang zal aan de gebruiker uitgelegd worden dat de applicatie die hij uitprobeert een zogezegde companion app is die extra informatie geeft bij het bekijken van een aflevering van Planet Earth. Daarnaast zal ook gevraagd worden om steeds te handelen naar eigen goeddunk en acties uit te voeren zoals hij denkt dat ze uitgevoerd kunnen worden. Daarnaast wordt ook aan de gebruiker gevraagd zijn gedachten / frustraties / bevindingen maar ook al zijn handelingen (drukken op een knop, scrollen naar beneden, ) luidop te ventileren in lijn met het think aloud protocol. 3.1.1. [Splash-Screen] Start de applicatie. 3.1.1.1. Vindt de gebruiker de start-knop? 3.1.2. [Home-Screen] Ga naar de help-pagina. 3.1.2.1. Vindt de gebruiker de help-pagina? 3.1.3. [Help-Screen] Lees alle informatie, en indien klaar ga terug naar het vorig scherm. 3.1.3.1. Heeft de gebruiker door dat hij naar beneden kan scrollen? 3.1.3.2. Weet de gebruiker hoe hij naar beneden moet scrollen? 3.1.3.3. Weet de gebruiker hoe hij terug naar het vorig scherm moet gaan? 3.1.4. [Home-Screen] Ga naar de WATCHED BEFORE rubriek. 3.1.4.1. Vindt de gebruiker de WATCHED BEFORE rubriek? 3.1.4.2. Klikt hij hierop (zoals het hoort) of probeert hij iets anders? 3.1.5. [Home-Screen: watched before] Waarvoor dient deze pagina, wat wordt er hier getoond? 3.1.5.1. Weet de gebruiker wat er te zien is op dit scherm, een waarvoor? 3.1.6. [Home-Screen: watched before] Ga naar Planet Earth Episode 9. 3.1.6.1. Weet de gebruiker hoe hij naar Planet Earth Episode 9 moet gaan? 3.1.7. [Planet Earth: Ep9] Waarvoor dient deze pagina, wat wordt er hier getoond? 3.1.7.1. Weet de gebruiker wat er te zien is op dit scherm, een waarvoor? 3.1.8. [Planet Earth: Ep9] Navigeer naar Pygmy seahorses maar open het nog niet. 3.1.8.1. Heeft de gebruiker door dat hij naar onder moet scrollen? 3.1.8.2. Moet de gebruiker geholpen worden om pygmy seahorses te vinden? 3.1.9. [Planet Earth: Ep9] Wat voor informatie zal Pygmy seahorses bevatten (icon) 3.1.9.1. Heeft de gebruiker door dat het icoon voor afbeeldingen staat? 3.1.10. [Planet Earth: Ep9] Toon de informatie van Pygmy seahorses op het scherm 4
3.1.10.1. Heeft de gebruiker door dat hij moet klikken om dit te doen? 3.1.11. [Pygmy seahorses] Ga terug 3.1.11.1. Heeft de gebruiker door dat hij hiervoor rechtsboven op het pijltje moet klikken? 3.1.12. [Planet Earth: Ep9] Ga terug 3.1.12.1. Heeft de gebruiker door dat hij hiervoor rechtsboven op het pijltje moet klikken? 3.1.13. [Home-Screen: watched before] Ga naar PLAYING NOW 3.1.13.1. Vindt de gebruiker de PLAYING NOW? 3.1.13.2. Klikt hij hierop (zoals het hoort) of probeert hij iets anders? 3.1.14. [Home-Screen: playing now] Start het synchroniseren. 3.1.14.1. Drukt de gebruiker op de knop? 3.1.15. [Eerste Next-Up scherm] Wat weet je dankzij dit scherm? 3.1.15.1. Heeft de gebruiker door dat over X seconden de informatieblok How tall are..those trees? zal worden getoond? 3.1.16. [How tall are those trees?] ENKEL OBSERVATIE 3.1.16.1. Scrolled de gebruiker naar beneden? 3.1.16.2. Drukt de gebruiker op de Show what is next up knop? 3.1.17. [The Taiga forest] ENKEL OBSERVATIE 3.1.17.1. Zoomt de gebruiker in? 3.1.17.2. Drukt de gebruiker op de previous knop? 3.1.17.3. Drukt de gebruiker op de Show what is next up knop? 3.1.18. [Spot the arctic Fox] ENKEL OBSERVATIE 3.1.18.1. Selecteert de gebruiker een vos? 3.1.18.2. Zoomt de gebruiker in op de afbeeldingen? 3.1.18.3. Drukt de gebruiker op de previous knop? 3.1.18.4. Drukt de gebruiker op de Show what is next up knop? 3.1.19. [Lynx] ENKEL OBSERVATIE 3.1.19.1. Drukt de gebruiker op de previous knop? 3.1.19.2. Drukt de gebruiker op de Show what is next up knop? 3.1.20. [The Red Crossbill] ENKEL OBSERVATIE 3.1.20.1. Scrolled de gebruiker naar beneden? 3.1.20.2. Drukt de gebruiker op de previous knop? 3.1.20.3. Drukt de gebruiker op de Show what is next up knop? 3.1.21. [Spot the female capercaillie] ENKEL OBSERVATIE 3.1.21.1. Selecteert de gebruiker een vogel? 3.1.21.2. Zoomt de gebruiker in op de afbeeldingen? 3.1.21.3. Drukt de gebruiker op de previous knop? 3.1.21.4. Drukt de gebruiker op de Show what is next up knop? 3.1.22. [The Redwood forest] ENKEL OBSERVATIE 3.1.22.1. Zoomt de gebruiker in? 3.1.22.2. Drukt de gebruiker op de previous knop? 3.1.22.3. Drukt de gebruiker op de Show what is next up knop? 3.1.23. [Hyperion: the tallest tree] ENKEL OBSERVATIE 3.1.23.1. Scrolled de gebruiker naar beneden? 3.1.23.2. Drukt de gebruiker op de previous knop? 3.1.23.3. Drukt de gebruiker op de Show what is next up knop? 3.1.24. [The Redwood forests are old] Na afsluiten documentaire op primair scherm: Ga verder 3.1.24.1. Drukt de gebruiker op de finish knop? 3.1.25. [Home-Screen] Wat zie je nu? 5
3.1.25.1. Heeft de gebruiker door dat er nu informatie wordt getoond over de..eerstvolgende aflevering die zal worden uitgezonden? 3.1.26. [Home-Screen] Herbekijk een Quiz van de aflevering die je net hebt gezien. 3.1.26.1. Doet de gebruiker dit correct? Vindt hij zijn weg? BIJKOMENDE VRAGEN: Learnability & Accuracy 1. Had je door dat je bij afbeeldingen naar beneden kon scrollen? 2. Had je door dat je bij maps kon inzoomen? 3. Had je door dat je bij een quiz kon inzoomen op de afbeeldingen? 4. Had je door dat je bij een quiz kon klikken op een afbeelding om deze te kiezen? 5. Had je door dat je op previous kon klikken? 6. Had je door dat je op next kon klikken? 7. Had je door dat je op Show what is next up kon klikken? BIJKOMENDE VRAGEN: Satisfactory 1. Vond je dat er voldoende interactiemogelijkheden waren? 2. Vond je de applicatie vlot werken? BIJKOMENDE VRAGEN: Usefulness 1. Vind je het nuttig dat je informatieblokken van kan herbekijken van eerder geziene natuurdocumentaires? 2. Vond je de mogelijkheid om doorheen de reeds ontvangen informatieblokken te gaan tijdens het bekijken van een documentaire nuttig? BIJKOMENDE VRAGEN: Aesthetic qualities 1. Vond je de algemene uitstraling mooi? 2. Was alles duidelijk leesbaar, waren de knoppen duidelijk en groot genoeg, waren de schermen te druk, etc? (Algemene bevindingen) 4. Deelnemers In totaal zullen er (minimum) 5 personen geëvalueerd worden. 2 (en eventueel 3) van de 5 deelnemers uit de vorige evaluatie zullen opnieuw deelnemen aan deze evaluatie. Dit is heel interessant omdat het een kans is om te achterhalen of de opmerkingen aangebracht door deze deelnemers succesvol zijn geïntegreerd in dit nieuwe prototype. Omdat de vorige deelnemers allemaal twintigers waren die ofwel recent afgestudeerd waren ofwel nog aan het studeren zijn, lijkt het mij ook interessant om enkele deelnemers te hebben uit een hogere leeftijdscategorie. 6
5. Praktisch verloop De deelnemers aan de evaluatie zullen steeds kunnen plaatsnemen in een zetel met een Android tablet op hun schoot waarop het prototype is geïnstalleerd. De waarnemingen alsook de opmerkingen van de deelnemers zullen dadelijk uitgetypt worden op de computer. Tijdens de evaluatie zal een natuurdocumentaire gestart worden, namelijk Planet Earth Episode 10, waarmee het prototype is gesynchroniseerd. Deze natuurdocumentaire zal getoond worden op een (tv) scherm dat gericht is naar de zetel waarop de deelnemers zullen plaatsnemen. De bedoeling is dat de deelnemers zich op hun gemak voelen en het zichzelf comfortabel kunnen maken, net alsof ze in hun eigen woonkamer zouden zitten. Het hierboven beschreven scenario zal vrij strikt opgevolgd worden en een enkele evaluatie zou een 20-tal minuten in beslag moeten nemen. 6. Resultaten Deze zullen nadien worden toegevoegd. 7