Usability Test ANWB Onderweg Thomas Dijkman: 11026057 Michael van der Zwet: 11047925 Ferdi Zwamborn: 10995927
TESTPLAN Voor deze opdracht wordt de ANWB Onderweg app getest. Het doel is om de usability van de app te testen met een aantal verschillende methodes. Er wordt vooral gekeken of de app snel te gebruiken is, omdat een gebruiker automobilist of bijrijder is. Een automobilist wilt niet lang stilstaan om de app de gebruiken en een bijrijder wilt snel de informatie vinden zodat de bestuurder geen afslag mist. Er zijn vijf hoofdpunten waarnaar wordt gekeken. Dit zijn: 1. Learnability 2. Efficiency 3. Errors 4. Memorability 5. Satisfaction De learnability wordt getest door te observeren hoe snel de gebruiker het navigeren van de app onder de knie krijgt tijdens de andere tests. De efficiency van de app wordt getest door de minimale handelingen te meten die de tester nodig heeft om zijn doel te bereiken. Om de errorfactor van de app te testen wordt er gekeken hoe veel fouten de tester maakt. De memorability van de app wordt getest door de tester na afloop van de tests te vragen of hij één van de testopdrachten kan herhalen. De satisfaction van de test wordt gemeten door de tester nauwkeurig te observeren en zo zijn tevredenheid af te lezen. TESTMETHODES Voor het testen van de app is een combinatie van testmethodes opgesteld. Question Test: Bij deze test wordt er een vraag over de website aan de test gesteld. Zo kunnen snel enkele sleutelwoorden verzameld worden. Click Test: Bij een click test wordt gekeken waar een tester op klikt als hij gevraagd wordt een bepaalde handeling te verrichten op de site. Zo worden de efficiency, learnability en errors van de app. NavFlow Test: Bij een NavFlow test wordt gekeken welke stappen een tester neemt om een opdracht te voltooien. Ook dit geeft een goed beeld van de efficiency, learnability en errors van de app. Thinking Aloud: De tester wordt gevraagd om zijn ervaring tijdens het gebruik te beschrijven. Zo kan de satisfaction gemeten worden.
VERWACHTE RESULTATEN Er wordt een mix van meetbare en sociale resultaten verwacht omdat de tester zowel live feedback geeft als opdrachten uitvoert. Deze resultaten worden opgeschreven door een notulist zodat ze na afloopt geanaliseerd kunnen worden. TESTSCRIPT Goedenmiddag meneer/mevrouw, wij doen een usertest voor de ANWB Onderweg app, mogen wij u wat vragen? Rijdt u wel eens auto? Heet u wel eens van de ANWB Onderweg app gehoord? Bent u bereid om een korte test met de app te ondernemen? Dit duurt maximaal vijf minuten. 1. Stel u heeft een elektrische auto, en deze moet opgeladen worden. Probeer of u de postcode van een oplaadstation kunt vinden. 2. Probeer de prijs te vinden van een liter Euro 95 benzine langs de door u meest gebruikte snelweg. 3. Zoek een parkeergarage in een 4 tot 5 zone per uur. 4. Zoek bij een parkeergarage hoeveel plekken er nog beschikbaar zijn 5. Zoek de beste parkeeradvies voor jou in de buurt. 6. Zoek een A of N weg waar een file staat. Zijn er geen files? Geef dat dan aan. 7. Zoek een verkeersverwachting. 8. Zoek een A of N weg waar geflitst wordt. Word er nergens geflitst? Geef dat dan aan. 9. Zoek een andere ANWB app binnen de ANWB onderweg app. 10. Zoek op hoeveel kilometer het rijden is van een willekeurig punt A naar een willekeurig punt B. 11. Wat is de verwachte aankomsttijd volgens deze route? 12. Hoe vaak moet u overstappen als u met het OV zou gaan?
USER TESTS SAMENVATTING INTERVIEW 1 VRAAG 1: HIJ KLIKT OP TANKEN EN OPLADEN, HIJ ZIET EEN KAARTEN DAAROP EEN STEKKER- TJE, DAAR KLIKT HIJ OP. HIJ KLIKT OP EEN POPPETJE EN HIJ HEEFT EEN POSTBODE. VRAAG 2:HIJ KLIKT OP TANKEN EN OPLADEN, HIJ GAAT ZIJN ADRES INVOEREN, 2496HW, ZOEKT. HIJ KIJKT OP DE KAART, OP ZOEK NAAR TANKSTATIONS, HIJ KLIKT RECHTSBOVEN OP MENU. DAAR STAAT BRANDSTOFKEUZE, HIJ KLIKT ELEKTRICITEIT UIT EN KLIKT EURO 95 AAN. HIJ KLIKT OP MENU EN GAAT NAAR TANKEN EN OPLADEN. HIJ HEEFT ZIJN TANKSTATION NAAST DE A12 GEVONDEN EN DE PRIJS IS 1 EURO 51 PER LITER. VRAAG 4: HIJ KLIKT OP HULP BIJ SCHADE, DAT IS HET NIET, HIJ GAAT TERUG. HIJ GAAT NAAR WEGENWACHT, DAT IS HET OOK NIET, HIJ GAAT WEER TERUG. HIJ GAAT NAAR PARKE- REN, HIJ KLIKT OP EEN PARKEERGARAGE. VRAAG 5: HIJ KLIKT OP PARKEREN, HIJ GAAT NAAR ZOEKEN, VOERT ZIJN POSTCODE IN, HIJ KLIKT OP ZOEKEN EN HIJ KLIKT OP MENU EN DAN OP PARKEERADVIES, MOET ZIJN POSTCODE OPNIEUW INVOEREN EN OP ZOEKEN EN VERVOLGENS KRIJGT HIJ ZIJN BESTE PARKEERADVIES. VRAAG 6: HIJ KLIKT OP VERKEERSINFORMATIE, HIJ KLIKT OP DE A1 EN DAAR ZIJN DRIE FILES. VRAAG 7: HIJ KLIKT OP VERKEERSINFORMATIE, HIJ KLIKT OP A1, HIJ ZIET NIKS, GAAT NAAR MENU EN DRUKT DAN OP VERKEERSVERWACHTING EN ZIET DE VERKEERSVERWACHTING. VRAAG 8: HIJ KLIKT OP VERKEERSINFORMATIE, HIJ KLIKT OP A1, GEEN FLITSERS, A2 OOK NIET, A4 OOK NIET, A6 OOK NIET, A7 NIET, A10 NIET, A12 WEL, 1 FLITSER. VRAAG 9: HIJ KLIKT OP HULP BIJ SCHADE, GAAT TERUG, GAAT NAAR WEGENWACHT, EN DONE. VRAAG 10,11 EN 12: HIJ KLIKT OP VERKEERSINFORMATIE, OP MIJN ROUTES, HIJ KLIKT OP KAART/PIJLTJE, DOET NIKS, KLIKT OP MENU. HIJ GAAT NAAR AUTO S/OV PLANNER, HIJ VOEGT DE ROUTE IN EN BEREKENT DE ROUTE. EN DONE. VERWACHTE AANKOMSTTIJD EN OVERSTAPTIJD STAAT AANGEGEVEN. QUOTE: HET IS BEST WEL EEN SLECHTE APP. INTERVIEW 2 VRAAG 1: HIJ GAAT NAAR TANKEN EN OPLADEN, HIJ VINDT OP HET MOMENT ALLEEN MAAR TANKSTATIONS, HIJ GAAT NAAR MENU EN NAAR BRANDSTOFKEUZE. DAAR ZIET HIJ ELEKTRI- CITEIT STAAN EN DAT VINKT HIJ AAN. HIJ DRUKT OP HET HOME MENU EN GAAT TERUG NAAR TANKEN EN OPLADEN, HIJ DRUKT OP ELEKTRISCH, EN HIJ ZOEKT NU HET KAARTJE DOOR, MAAR VINDT NOG NIKS. HIJ ZOOMT IN EN VINDT NOG STEEDS NIKS. HIJ HEEFT EEN ELEK- TRISCH OPLAADPUNT GEVONDEN AAN DE OPLAADSTRAAT (HAD TIJD NODIG OM TE LADEN). DRUKT OP HET ICOONTJE VAN DE OPLAADPUNT EN KRIJGT HET ADRES. VRAAG 2: HIJ GAAT TERUG NAAR EURO 95 EN ZOOMT UIT ZODAT HIJ SNELWEGEN KAN VIN- DEN EN HIJ PAKT DE A4, DAN ZIET HIJ LANGS DE A4 ER EENTJE STAAN IN DE ROZENBUURT. DE EURO 95 WAS 1,37 LAATST GEMETEN 11 FEBRUARI. VRAAG 3: HIJ GAAT TERUG NAAR HOME, DAN NAAR PARKEREN, DAN SWITCHT HIJ NAAR ZO- NE-LIJST. DAT KAN NIET. HIJ STAAT AL OP ZONE-LIJST, DAN ZOEKT HIJ NU NAAR EEN ORANJE ZONE, AANGEZIEN DAT 4-5 EURO PER UUR IS EN DAN HEEFT HIJ ER EEN GEVONDEN. VRAAG 4: HIJ BLIJFT OP DEZELFDE PAGINA EN VINDT EEN PARKEERGARAGE MET HET AANTAL. VRAAG 5 : HIJ GAAT NAAR PARKEREN, HIJ DRUKT OP MENU, HIJ GAAT NAAR PARKEERAD- VIES. HIJ DRUKT OP MIJN LOCATIE. ZIJN PARKEERADVIES IS BIJ SCIENCEPARK PARK VOOR 2,4 P/UUR. VRAAG 6: HIJ GAAT NAAR VERKEERSINFORMATIE, DAN VINDT HIJ DRIE FILES OP DE A1, 1 OP DE A2. EERSTE WAT JE ZIET VOLGENS DE GEBRUIKER. VRAAG 7 : HIJ GAAT NAAR HET MENU BIJ VERKEERSINFORMATIE, HIJ ZIET BIJ ALLE MENU S ICOONTJES STAAN MET CAMERA S EN DAAR ZIET HIJ DAT ER FLITSERS STAAN. BIJ N-WEGEN STAAN ER GEEN, DUS HIJ GAAT ERVAN UIT DAT DAAR NOOIT GEFLITST WORDT. VRAAG 8: HIJ DRUKT OP DE MENU BOVENIN, HIJ DRUKTE OP VERKEERSVERWACHTING, APP CRASHT. HIJ LAADT DE OPNIEUW, DRUKT WEER OP DE MENU EN OP VERKEERSVERWACHTING EN HIJ KRIJGT EEN KAARTJE MET EEN VERKEERSVERWACHTING. VRAAG 9: HIJ GAAT TERUG NAAR HET HOME-MENU, DAN DRUKT HIJ OP HET ANDERE MENUUTJE, DAN GAAT HIJ NAAR ANWB APPLICATIE, DE APP CRASHT (HIJ KOMT DAAR NIET TERECHT). VRAAG 10, 11 EN 12: HIJ GAAT NAAR AUTO/OV PLANNER, HIJ DRUKT OP VERTREK- PUNT-NAAR, ZOOMT UIT EN KLIKT EEN WILLEKEURIG PUNT AAN. DRUKT OP DÜSSELDORF, HIJ HEEFT NOGAL MOEITE MET EEN PUNT UITKIEZEN. ER IS EEN KIES KNOP MAAR DAAR GEBEURT HEEL WEINIG. HIJ VOERT UIT ELLENDE EEN POSTCODE IN EN HIJ SELECTEERT IETS. NU BEREKENT HIJ DE ROUTE, KRIJGT DE TIJD, KILOMETER EN DE VERWACHTE AANKOMSTTIJD OP DEZELFDE PAGINA EN DE REISTIJD MET DE OV EN DE AANTAL KEREN OVERSTAPPEN. INTERVIEW 3 VRAAG 1: HIJ GAAT NAAR TANKEN EN OPLADEN, HIJ ZIET ALLEEN TANKSTATIONS. HIJ KLIKT OP ELEKTRISCH, HIJ VINDT OP DE KAART VERSCHILLENDE STEKKERS, KLIKT OP HET ICOONTJE, NOGMAALS, ZIET DE DETAILS VAN HET OPLAADPUNT EN HET ADRES INCLUSIEF POSTCODE. VRAAG 2: HIJ GAAT TERUG NAAR BENZINE, ZIET GEEN BENZINEPOMPEN, ZOOMT UIT ZODAT SNELWEGEN ZICHTBAAR WORDEN, SCROLT NAAR DE A27 BIJ UTRECHT, ZOOMT IN, ZIET EEN BENZINE- POMP, KLIKT OP HET ICOONTJE, ZIET HET BEDRAG 1,35 STAAN. VRAAG 3: HIJ GAAT NAAR MENU, VERKEERDE OPTIE, GAAT TERUG NAAR HOME, GAAT NAAR PLANNER, VERKEERDE OPTIE, TERUG NAAR HOME, NAAR PARKEREN, LEEST IN LEGENDA DAT ORANJE VOOR 4-5 STAAT, ZOEKT BIJ UTRECHT NAAR ORANJE ZONE, ZOOMT IN, KLIKT OP EEN GARAGE VRAAG 4: HIJ BLIJFT OP DEZELFDE PAGINA, KLIKT OP VERSCHILLENDE PARKEERGARAGES, GEEN NUMMER AANGEGEVEN, MERKT OP DAT DIT RAAR IS, VINDT EEN GARAGE MET QPARK, KLIKT HIER EN VINDT HET AANTAL. VRAAG 5: BLIJFT BIJ PARKEREN, KLIKT OP ZOEKKNOP, ZIET DAT DIT NIET KLOPT, KLIKT OP MENU, HIJ GAAT NAAR PARKEERADVIES. HIJ DRUKT OP MIJN LOCATIE. ZIJN PARKEERADVIES IS BIJ SCIENCE PARK VOOR 2,4 P/UUR. VRAAG 6: GAAT NAAR HOME, GAAT NAAR VERKEERSINFORMATIE, KLIKT OP A1, VINDT NIKS, A2 HETZELFDE, MERKT DAN OP DAT ER EEN VAAG ICOONTJE MET FILE IS DAT NIET INGEVULD IS, SCROLT VERDER, VINDT EEN FILE OP DE A22 EN A28. VRAAG 7: HIJ KIJKT GOED NAAR DE ICOONTJES, ZIET OOK EEN CAMERA, GAAT ER VAN UIT DAT DIT DE FLITSERS ZIJN. BEGINT WEER TE SCROLLEN, VINDT EEN INGEVULDE BIJ DE A77. ER WORDT GEFLITST BIJ DE DUITSE GRENS VRAAG 8: HIJ GAAT NAAR HOME, ZOEKT EEN TIJDJE BIJ WELK KOPJE HET ZOU STAAN, GAAT DAN TERUG NAAR VERKEERSINFORMATIE, SCROLT HELE PAGINA NOG EEN KEER DOOR, VINDT NIKS, DRUKT OP DE MENU BOVENIN, ZIET VERKEERSVERWACHTING STAAN, KRIJGT EEN KAART MET DE VERKEERSVERWACHTING. VRAAG 9 : HIJ GAAT TERUG NAAR HOME, KIJKT WEER EEN TIJDJE OF HIJ HET ERGENS ZIET STAAN, GAAT NAAR PARKEREN, ZEGT TE KIJKEN OF DAAR IETS VOOR IS BEDACHT, KLIKT MENU OPEN, VINDT NIKS, TERUG NAAR HOME, OPENT MENU, ZIET ANWB APPLICATIES STAAN, KLIKT, APP CRASHT. VRAAG 10, 11 EN 12: HIJ GAAT NAAR AUTO/OV PLANNER, STELT ALS VERTREKPUNT SCIENCE PARK IN EN ALS BESTEMMING UTRECHT CENTRAAL, KLIKT OP BEREKENEN EN KRIJGT DE TIJD EN KILOMETERS TE ZIEN NET ALS DE VERWACHTE AANKOMSTTIJD EN DE REISTIJD MET DE OV EN DE AANTAL KEREN OVERSTAPPEN.
CONCLUSIE Wat wij uit deze user tests kunnen halen is dat de app Onderweg van de ANWB nog de nodige fouten bevat. Sommige functionaliteiten zoals het opzoeken van andere ANWB apps werken helemaal niet of amper. Ook is de indicatie van het aantal beschikbare parkeerplaatsen in een parkeergarage maar voor een select aantal garages beschikbaar, namelijk de Qpark-garages. Binnen de navigatie van de app zijn de nodige fouten gevonden, zo is er vaak geen of alleen een onduidelijke manier om terug te gaan, dit is voor een app als deze toch wel essentieel. Daarnaast is bij de routeplanner de mogelijkheid aanwezig waarbij de gebruiker een locatie op een kaart kiest waar hij/zij naartoe wil reizen, het duurt echter even voordat de app het adres van de gekozen plek heeft geladen, hier wordt nergens voor gewaarschuwd. Uit onze user tests is dan ook gebleken dat deze functionaliteit als niet werkend wordt beschouwd. Buiten deze kritiekpunten om kwam uit onze user tests wel naar voren dat deze app potentie heeft. Er zijn een hoop functionaliteiten aanwezig die voor velen handig zijn, door de fouten in het design en de werking van de app zijn deze echter vaak nog niet geoptimaliseerd. Wij concluderen uit deze user tests dan ook dat de app erg handig zal zijn, als er meer tijd in wordt gestoken om onder andere de cruciale fouten die zorgen voor onduidelijkheden te verhelpen.