Eindverslag MMIO, onderzoek bij Tinker.

Transcriptie

1 Eindverslag MMIO, onderzoek bij Tinker. Door: Jan van Eck Joris Bruil Quinten Oostdam Youri Gillissen Robbert Keijzer

2 Inleiding Tinker is een bedrijf dat er naar streeft om vervoer van en naar vliegvelden efficiënter te laten verlopen. Dit doen zij door de taxiritten lang van te voren aan te vragen, en zo een efficiënt mogelijke planning te realiseren. Dit gebeurt in sommige gevallen door ritten van mensen te combineren, wanneer de klant voor de Economy Class kiest. De rit zal natuurlijk wel langer duren, maar de kostprijs zal lager liggen. De klant kan kan ook nog voor de Comfort Class kiezen, om er voor te zorgen dat de klant geen gecombineerde ritten krijgt, of Luxury Class voor een luxueuzer voertuig. De website van Tinker is toe aan vernieuwing. Daarom heeft Tinker voordat ons project begonnen was, een herontwerp gemaakt. Aan het begin van dit project is de desbetreffende redesign opgestuurd, zodat hier kritiekpunten op geleverd konden worden. In dit verslag zal uitleg geleverd worden over de gevonden kritiekpunten van het nieuwe ontwerp, en zullen er extra ideeën worden gegeven voor de site. Ook is er een herontwerp gemaakt van de boekingsbalk. De nieuwe website van Tinker is nog lang niet af, dus wellicht zullen ze elementen uit ons ontwerp overnemen. Naast dit nieuwe ontwerp is er ook gekeken of er verbeteringen toegepast konden worden op de huidige versie van de website. Hiervoor zijn er A/B tests uitgevoerd. Het doel van deze tests was om de huidige conversie te verbeteren door kleine aanpassingen in de huidige landingspage.

3 Inhoudsopgave Doelgroep/user cases Vooronderzoek Demoversie AB test SPSS Conclusie

4 Vooronderzoek Wij hebben van Tinker geen demo versie van hun redesign tot onze beschikking gekregen. Om alsnog met behulp van user tests nuttige informatie te vergaren stelden wij vragen aan gebruikers over het redesign van de Tinker website. Omdat er geen demo beschikbaar is konden wij geen test doen met zelfstandig uit te voeren taken, een zelfstandige vragenlijst was ook niet geschikt omdat er veel toelichting nodig is bij de pdf bestanden en daarom besloten wij om de vragen persoonlijk te stellen. Onze opstelling was dus als volgt, het proefpersoon zat samen met één van ons achter de computer en werd vragen gesteld over het redesign. Een derde persoon was aanwezig om al de antwoorden en opmerkingen van het proefpersoon te noteren. In totaal hebben wij 22 proefpersonen op deze manier gesproken, met behulp van deze resultaten hebben wij aan Tinker een hoop wijzigingen voorgesteld. Aller eerst kreeg het proefpersoon de instructie om de pdf bestanden rustig door te nemen. Zodra dit klaar was stelden wij enkele vragen, naar eigen inzicht werden er ook vervolg vragen gesteld. Deze vervolg vragen hadden wij van te voren deels in kaart gebracht. Iedere keer als wij een vraag stelde kreeg de proefpersoon nog even de tijd om naar de website te kijken, tijdens het kijken kon het proefpersoon ook gewoon vragen stellen over de werking. Wat is Tinker voor bedrijf? Vond je het lastig om daar achter te komen en vond je datt te lang duren? Waar had jij verwacht antwoord op deze vraag te vinden? Vind je de website betrouwbaar overkomen? Waarom niet/wel? Wat zijn dingen voor jou die de betrouwbaarheid verhogen? Hoe kan je zien wat de prijs is van een rit Amsterdam Schiphol? Kunnen er stappen weg gelaten worden? Wat betekent het kopje met zojuist geboekte ritten? Vind je dit nuttig? Komt de website overzichtelijk en rustig over? Heb je enig idee waar dat aan ligt? Wat is een Business taxi rit? Heb je zelf nog opmerkingen? Naast deze user test hebben wij ook gebruik gemaakt van persona s. De eerste Persona is Mark van 46 jaar. Mark is een consultant bij Rabobank en moet daarom veel reizen. Voor Mark is het daarom van belang dat het reizen efficiënt gaat en er niet te veel regelwerk bij komt kijken. Hij gebruikt Tinker daarom regelmatig om de taxi te regelen van huis naar vliegveld en van vliegveld naar hotel.

5 De tweede persona is Simone, ze is 32 jaar en gaat met vriendinnen op vakantie. Bij toeval komt ze Tinder tegen en ontdekt dat ze zo eenvoudig het transport in Athene kan regelen vanaf het vliegveld. Voor Simone is het van belang dat ze zekerheid heeft, de afgelopen tijd is het onstuimig geweest in Griekenland en daarom vindt ze het fijn om alles aan haar vakantie zeker te weten. Kijkend naar de resultaten van onze user test en de doelgroep, zijn wij met een aantal punten gekomen die te verbeteren zijn: Zo konden wij concluderen dat het vluchtnummer niet meteen gevraagd hoefde te worden. Dit is nog niet noodzakelijk voor het vast stellen van de prijs. Wat bedoeld was als een menu knop was niet voor iedereen duidelijk. Er moest door ons vaak toegelicht worden dat het een menu is. Op de content pages staan slider bolletjes die aan moeten geven waar je in de tekst bent. Bijna geen van de gebruikers begrepen waar ze voor waren, en ook na toelichting kregen we te horen dat ze niet veel toevoegden. Het zojuist geboekt kopje was niet helemaal duidelijk en is dus aan verandering onderhevig. Dit is wat wij hebben kunnen halen uit ons vooronderzoek.

6 Demoversie De demoversie van het nieuwe ontwerp van Tinker richt zich op een bepaald scenario. De depth en breadth zijn allebei laag. Er is bewust voor deze aanpak gekozen omdat er te weinig tijd was. Als er nog meer functies in de demo waren meegenomen bestond de kans dat de depth te laag zou zijn om de demo duidelijk te laten overkomen komen (Lecture 17: Prototyping, MIT). In dit scenario is de boekingsbalk verwerkt. Ook is er is de de navigatiebalk en de achtergrondfoto iets veranderd om een minder rommelige indruk te krijgen. Het volledige menu is nu zichtbaar wanneer men op het hamburger icoontje links bovenin de hoek klikt. In het originele design van Tinker waren twee verschillende menu s gebruikt. Één van die menu s werd op dezelfde manier gebruikt als het hamburger menu maar was half verstopt achter de hoofd content. Ook verschilde het icoontje van dit menu. Tinker gebruikte een icoontje met 9 blokken die in rijen van drie waren gepositioneerd. Door het bovengenoemde is dit menu waarschijnlijk voor de meeste gebruikers lastig te vinden. Een ander voordeel van deze aanpak is het verkleinen van de verschillen tussen de mobiele en de web versie van de site. Gebruikers zullen eerder bekend zijn met één van de twee wanneer ze de andere versie al een keer hebben gebruikt. Wat betreft de achtergrondfoto van de website is er gekozen voor een minder drukke achtergrond. De huidige bevatte een foto met duizenden vogels die door elkaar heen vlogen. Ook bevatte de foto nauwelijks huisstijl kleuren zodat deze uit de toon viel bij de rest van de website. De foto die in het nieuwe design is aangebracht heeft veel verbeterpunten op deze gebieden. Er zit veel paars in, de foto oogt een stuk rustiger en het onderwerp van de foto heeft meer te maken met het streven van Tinker. Cooper, A. (1999), The Inmates are Running the Asylum. Sams Pearson Education Samenvouwen Persona's

7 De manier van het invullen van tijd en datum is ook aangepast. Bij het eerdere ontwerp was het de bedoeling dat men bij het aanklikken van dit veld een pop up kalender te zien kreeg. Wanneer de juiste datum was aangeklikt kon men op doorgaan drukken om de tijd in te vullen. Dit bracht het probleem met zich mee dat het minder makkelijk was om afzonderlijk de tijd en datum te veranderen (Luke Wroblewski, Web form design: filling in the blanks). Hiervoor is een oplossing bedacht die ook in de demoversie is verwerkt. Dit houdt in dat men in 1 pop up de datum en tijd instellen. Het gebruik van een slider bij het instellen van de tijd is niet noodzakelijk. Deze demoversie is te zien op jan.bekijkvoorbeeld.nl/tinker. Tot slot is er bij het openen van de homepage een fade in van 0.5 seconde op de boekingsbalk en berekenknop toegevoegd. Mensen zullen zich eerder focussen op deze twee onderdelen omdat ze deze als laatste zien veranderen. Omdat er alleen papieren prototypes waren konden wij geen rekening houden met de laadtijd van de pagina (Lecture 17: Prototyping, MIT). Wanneer de achtergrondfoto langer dan 0.5 seconde laat heft het dit positieve effect op.

8 A/B Test Een A/B test is een manier om verschillende versies van een website te testen en te bepalen werken versie het beste werkt. Ons doel is om een versie te maken die een hogere conversie behaalt. De conversie van een website is het percentage klanten dat overgaat tot een bepaald conversiedoel. Het uiteindelijke doel bij Tinker is om de bezoeker een rit te laten reserveren. De eerste stap hier naartoe is dat de gebruiker een prijs te laten zien. Hiervoor moet de gebruiker zijn gegevens invullen in het formulier op de website. Vervolgens drukt de gebruiker op bereken mijn ritprijs. Een bepaald percentage van de gebruikers drukt daadwerkelijk op bereken mijn ritprijs. Uit onze a/b test is gebleken dat ongeveer 58% van de mensen dit doet. Echter kwamen er bij andere a/b tests andere cijfers uit. Het is dus niet precies duidelijk hoeveel mensen er daadwerkelijk op bereken mijn ritprijs drukken. Om daar een betrouwbaar getal van te krijgen, is langer de tijd nodig. Onze a/b test krijgt namelijk maar 5% van het verkeer van de website van Tinker. De reden dat we geen a/b test doen met al het verkeer, is dat de conversie ook omlaag zou kunnen gaan. Hierdoor zou Tinker veel omzet kunnen mislopen. Wij hebben twee versies gemaakt van de website, waarin kleine wijzigingen zijn gemaakt. Ten eerste staat er rechts onderin naast het formulier een vak met een Facebook button. We vonden dit vak echter linksboven naast het formulier beter staan. Het vak viel namelijk buiten beeld. Wellicht zal het vak door meer mensen bekeken worden hier, en hierdoor wordt het imago van het bedrijf verbeterd. Mensen zien dan dat het bedrijf op Facebook actief is en redelijk wat likes heeft. Daarom zou het kunnen dat de conversie hier hoger van wordt. Als tweede staat er bovenaan het formulier een vak waarin de stappen geteld worden. Als men de site bezoekt staat deze op stap 1/5. Wij vonden dit vrij overbodig. Het is misschien wel fijn voor mensen om te zien bij welke stap ze zijn, maar door meteen te laten zien dat het pas de eerste van 5 stappen is, zullen mensen misschien eerder afhaken. Het suggereert namelijk dat er nog 4 stappen komen en dat het dus best veel werk is om een reservering te maken. Wij denken dat het weghalen van deze stappencounter daarom voor conversieverhoging kan zorgen. Dit zorgt er namelijk voor dat het makkelijker lijkt om het formulier in te vullen, dus zullen mensen dit eerder doen. De a/b test voeren we uit met Visual Website Optimizer. Dit is een web based programma waarmee gemakkelijk verschillende versies naast elkaar getest kunnen worden. Het programma laat zien hoeveel bezoekers een versie van de website hebben bezocht, en hoeveel bezoekers over zijn gegaan tot het berekenen van hun ritprijs. Met behulp van een statistische analyse kan dan worden gekeken of de conversieverandering significant is.

9 Analyse van de verkregen data We hebben uit de a/b test de volgende data verkregen: Naam groep Bezoekers Conversies Conversie percentage Controlegroep ,82% (±6.09) Facebook herlocatie ,24% (±5.66) Geen stappencounter ,55% (±5.25) Gemiddeld ,35% (±3.27) Nulhypothese: Het aantal conversies van de verschillende variaties is gelijk verdeeld. Alternatieve hypothese: Het aantal conversies van de verschillende variaties is significant ongelijk verdeeld. Met de software van Visual Website Optimizer zijn een aantal verschillende data in te zien. Om te betrouwbaarheid van deze data evalueren kan er gekeken worden naar de conversion range rate en confidence. De confidence geeft de kans aan dat de variatie werkelijk een hogere conversie zal behalen de control versie. De conversion ranges van de berekende conversie percentages zijn te hoog, waardoor er geen bruikbare conclusies uit de data te maken is. Het is namelijk met de deze data nog mogelijk dat de variatie van geen stappencounter in werkelijkheid een hogere conversie zal behalen dan de control versie. De variaties van Facebook herlocatie en Geen stappencounter hebben een confidence level van respectievelijk 11% en 3%. Dit geeft dus een zeer lage kans aan dat de variaties een hogere conversie zullen behalen. Deze data is echter vertekend, omdat er ook een hoge conversion range rate is. Naast de gegevens van Visual Website Optimizer zijn de data nog getest met behulp van SPSS. Hiervoor is de chi kwadraattoets gebruikt. Met deze toets kan bij verdelingen berekend worden of er bepaalde voorkeur is. De toets gaat na of waargenomen aantallen systematisch afwijken van verwachte aantallen. Er is gekozen voor een significantieniveau bij een alfa van 5%, wat bij een vrijheidsgraad van één een kritische chi kwadraat geeft van De berekende chi kwadraten staan hieronder aangegeven. Zoals te zien is liggen alle kwadraten onder het kritische niveau dat gesteld is aan de test. Dit houdt dus in dat alle verkregen data niet significant is en er dus geen statistisch correcte conclusies uit gemaakt kunnen worden.

10 Doelgroep Tinker wilt graag een doelgroep aanboren die een taxi naar het vliegveld nog te duur vindt, maar wel graag met de taxi zou willen reizen. Zij willen wel de luxe van een taxi, maar kunnen deze luxe echter normaliter niet betalen. Het doel van Tinker is dus om het vervoer per taxi zo efficiënt mogelijk te maken, zodat het voor deze groep ook mogelijk wordt om per taxi naar het vliegveld te gaan. Omdat het vervoer per taxi over het algemeen prijziger is dan het gebruik van openbaar vervoer, valt een aantal mensen al af voor de doelgroep. Reizigers die minder te besteden hebben, zullen waarschijnlijk eerder de trein pakken om naar het vliegveld te gaan. Pas zodra Tinker het vervoer zo efficiënt kan maken dat zij qua prijs kunnen concurreren met het openbaar vervoer, zullen zij hun doelgroep nog verder kunnen verbreden. Op dit moment bestaat het hoofdzakelijke gedeelte van de doelgroep uit volwassen reizigers en klanten uit de zakenwereld. Taxiritten kunnen via Tinker al tot 80% goedkoper geboekt worden, waardoor een groot gedeelte van de gewenste doelgroep al aangeboord is. Er worden voornamelijk via bedrijven meerdere ritten tegelijk geboekt.

11 Conclusie Voor Tinker hebben wij een aantal werkzaamheden verricht. De user test op het herontwerp van Tinker bracht een aantal problemen naar voren. Tinker kan met deze feedback hun design verbeteren. Ons eigen ontwerp werd goed ontvangen door de medewerkers van Tinker. Dit kan voor hun weer een inspiratiebron zijn voor de nieuwe website waar op dit moment aan wordt gewerkt. Ons eigen ontwerp konden we helaas niet implementeren in de website van Tinker. Ook was de nieuwe website nog niet af, dus konden we alleen experimenteren met de oude website. We hadden ons echter niet gefocust op de oude websites met de user tests, dus we moesten zelf met verbeteringen komen. Uiteindelijk zijn er een twee ideeën ontstaan. We hebben hier a/b tests mee gedaan. Helaas was het uiteindelijk niet gelukt om de conversie omhoog te krijgen. Aan de andere kant moet hierbij wel gezegd worden dat er te weinig data is verzameld om hier met zekerheid iets over te zeggen. Om dit aan te tonen is er een statistische toets gedaan met SPSS. Ook was de software voor het a/b testen vrij onhandig. Indien we namelijk een tekst aan pasten, dan verscheen deze tekst ook op de buitenlandse versie van de website van Tinker. De a/b test werkte dus alleen met de front end, en hield geen rekening met de achterliggende systemen.

12 Referenties Cooper, A. (1999). The inmates are running the asylum:[why high tech products drive us crazy and how to restore the sanity] (Vol. 261). Indianapolis: Sams. Nielsen, J. (1994, April). Usability inspection methods. In Conference companion on Human factors in computing systems (pp ). ACM. Nielsen, J. (1999). Designing web usability: The practice of simplicity. New Riders Publishing. Nielsen, J. (1994). Usability engineering. Elsevier. Shneiderman, B. (1992). Designing the user interface: strategies for effective human computer interaction (Vol. 2). Reading, MA: Addison Wesley. Wroblewski, L. (2008). Web form design: filling in the blanks. Rosenfeld. MIT. (2011). Lecture 17: Prototyping. MIT.