1 DOEL 2 CRITERIA 3 METHODE. Evaluatie 1. Datum Vital D'haveloose. ( URL )

Transcriptie

1 Evaluatie 1 Datum Auteurs Project Vital D'haveloose Masterproef ( URL ) 1 DOEL Dit is de eerste iteratie voor het prototype van het deel coördinatie. Ik wil vooral achterhalen of de aangeboden functionaliteit als waardevol wordt aanzien ( usefulness ). Daarnaast wil ik een paar onderdelen van het prototype evalueren, waaronder de profielfoto naast notificaties en de eventuele lijn tussen de notificaties van het laatste uur en die daarna. 2 CRITERIA usability o learnability (time to learn the application) Ik wil weten welke onderdelen er nog onduidelijk zijn. usefulness Ik wil weten of de aangeboden functionaliteit nuttig is. Enkel indien gebruikers meerwaarde zien zullen ze die gebruiken, en enkel dan heeft ontwikkeling zin. 3 METHODE questionnaire Er wordt een zelf opgestelde vragenlijst gebruikt om de usefulness te evalueren. Daarnaast wordt de SUS vragenlijst gebruikt om de usability te meten. Omdat het prototype weinig tot niet interactief is, wordt aan testers gevraagd om to use te interpreteren als to read. De zelf opgestelde vragen: Vind je de functionaliteit waardevol? Waarom wel/niet? o Indien je OneNote al zou gebruiken, zou je dan ook deze extra functie gebruiken? o Hoe volg je momenteel wat er gebeurt in projecten? Werkt dit goed? Welke informatie moet getoond worden en welke moet weg? Welke (soorten) tools wil je het liefste toevoegen? Idee: lijn om aan te geven welke notificaties van het laatste uur zijn. Wat vind je hiervan? Wat is beter: een groot tool-logo met een of meerdere kleine profielfoto s, of een grote profielfoto met een klein tool-logootje? 1

2 4 DEELNEMERS Ik zal testers zoeken in mijn persoonlijke vriendenkring en op mijn kot. Ik zal deze mensen contacteren via Facebook. De bedoeling is om 6 of meer testers te hebben. Een belangrijke vereiste is dat de deelnemers al in aanraking kwamen met groepswerk en dat ze daarbij bepaalde tools hebben gebruikt. 5 PRAKTISCH VERLOOP De eigenschappen van de deelnemers staan in onderstaande tabel: NR. GESLACHT OPLEIDING 0 man CW 1 man CW 2 man CW 3 man ELT 4 man Informatica 5 vrouw rechten De interviews gingen vooral door in het departement Computerwetenschappen of op kot. Ze duurden elk ongeveer 10 minuten. 6 RESULTATEN De resultaten zijn beschikbaar in een online.xlsx bestand. Ze zijn hieronder in tabelvorm en grafisch herhaald. 6.1 INTERVIEW De antwoorden tijdens het interview staan in Tabel 1. Tabel 1: Antwoorden op vragen van het interview Vind je deze functionaliteit waardevol? 1 tester gebruikt geen OneNote, wel waardevol, gebruikt vooral FB groups, nuttig om filesharing (Dropbox) daarin te integreren 2 meldingen zijn interessant, afh. van het aantal tools (>1), kan interessant zijn 3 eigenlijk wel 4 overtuigd ja 5 handig om alles samen te hebben, wel spijtig dat je niet altijd weet WAT er verander is 6 ja, zeker 7 ja, anders onpraktisch: all over the place, op gsm ook, maar dan vluchtig Zou je het gebruiken indien je OneNote al gebruikt? 1 wel, zelfs indien andere teamleden het niet gebruiken (nuttige toevoeging aan OneNote) 2 wss wel (gewoon een paginaatje verder, bij opstarten) 3 ja zeker, helaas geen interactie, handig dat het centraal is, 'spamming' van bv. Dropbox vermijden 4 ja indien weinig config 5 waarschijnlijk wel, anders geen overzicht 6 ja, zeker 7 waarschijnlijk wel 2

3 Hoe volg je vandaag wat er allemaal gebeurt in een project? 1 FB groups, met bestand bij bericht, indien veel bestanden -> veel berichten, vind je dat een probleem? -> ja, mss uitbereiding op FB zelf 2 meldingen van FB, in Dropbox -> zou wss niet gemakkelijk zien (mss dat Dropbox aan het syncen is) 3 te lastig om naar Dropbox te gaan, wel notificaties van Google + 4 Dropbox in taakbalk, FB: Feed, Notifications 5 GitHub, momenteel een google doc met changelog, Facebook groepen 6 Facebook groep, Dropbox -> aankondigen op Facebook (file lock) 7 proberen te channelen naar een ding: alles op Fb of alles op Git Welke informatie moet getoond worden in een notificatie? Welke mag weg? 1 liever het hele bericht? ja, liever wel. foto -> niet zeker, mss thumbnail, scrollen lijkt geen probleem, handig om te zoeken naar content (visueler) 2 goeie start voor comm., GitHub issues en dergelijke 3 aantal reacties, aantal vind-ik-leuks, eigenlijk alles zodat je niet meer naar FB zelf moet, afbeelding mee toevoegen, openklappen 4 niet meteen, knop 'show more" als link, foto zelf ook niet maar wel link op woord 'photo' 5 volledig FB bericht erin? ja, maar niet meteen laten zien (want te veel content), 'see more', foto's: mss soms handig, visuele clue => snel scrollen, langs de andere kant: neemt veel plaats in 6 geen problemen 7 voldoende, enerzijds wel voor korte stukken tekst, 'read more', foto's maken het bulky Welke (soorten) tools wil je het liefst toegevoegd zien? 1 Dropbox 4/5 GitHub 4/5 ShareLatex 3/5 Google Calendar 3/5 Toggle 3/5 OneNote zelf (zit er al in, mss handig gecentraliseerder) 2/5 2 Dropbox, omdat geen duidelijk notificatiesysteem (maar volspammen vermijden), GitHub en FB: eigen notificatiesysteem 3 Google+ 4/5 Dropbox 2/5 GitHub commits, issues 4/5 4 Google Calendar Google Drive en OneDrive Google+ Communities en WhatsApp (groupschat) 5 Google Drive voor bepaalde afzenders, eventueel afzonderen op andere pagina wegens 'persoonlijk', delen met groep 6 Google Docs 7 git (commit, issues, ), dropbox mss Idee: lijn om aan te geven welke notificaties van het laaste uur/de laatste dag zijn. 1 niet in het vet zetten, lijntje ok (niet te opvallend), grayscale voor datum en tijd lijntje (subtiel), mss een zwart lijntje rond het accountfotootje 2 verder dan een lijn: zoals in outlook: vandaag, deze week, deze maand, ouder 3 mss beter aan de zijkant ipv. een lijn, mss beter per dag 4 goed idee, laatste dag ('vandaag') 5 goed idee, maar handiger: lijn per persoon tot waar die heeft gelezen 6 inderdaad overzichtelijker, granulariteit afh. van aantal groepsleden, eerder dag 7 ja wss wel, een paar lijntjes 3

4 Grafisch: grote profielfoto met klein tool-icoontje ok? 1 overzichtelijker, accountfotootje groter dan tool icoontje 2 account foto grootst 3 beter grote account picture en klein tool logootje 4 groot accountfotootje, kleiner icoontje 5 groter acount foto, want icoontjes van tools zijn herkenbaar als ze klein zijn itt account foto's 6 grote profielfoto, kleine tool 7 groot icoon van service, kleine profielfoto 6.2 SUS Figuur 1 toont de behaalde SUS resultaten. De uiteindelijke SUS score is 85.4 met een standaardafwijking van 6.7. Figuur 1: SUS scores 7 INTERPRETATIE Uit het interview trek ik de volgende lessen: Testers zijn unaniem positief over de bruikbaarheid van de tool. Indien ze OneNote zouden gebruiken voor teamwerk, zouden ze ook allemaal deze functionaliteit toevoegen. Alle testers melden dat ze Facebook gebruiken om op de hoogte te blijven van de vooruitgang van hun projecten. Twee vermelden dat ze in Facebook expliciet posten wat ze hebben gedaan, één zelfs met het aangepaste bestand in bijlage. Twee testers klagen dat het moeilijk is om op de hoogte te blijven van de wijzigingen in Dropbox (de log is te fijn gegranuleerd). De notificaties van Dropbox worden wel vermeld. Er is onenigheid over de vraag of volledige Facebook posts moeten worden getoond. 2 testers zijn pro, 2 zijn contra en één zegt enkel indien ze kunnen toegeklapt worden (dit wordt ook vermeld door een van de pro-stemmers). Afbeeldingen toevoegen maakt het zoeken sneller (gemakkelijker om de post die je zoekt eruit te pikken) volgens 2 testers, maar een derde vindt dat dat teveel plaats inneemt. 3 testers geven het idee om een soort see more (/read more/show more) link in de afgekorte posts te zetten. 4

5 Vooral Dropbox wordt vermeld als toe te voegen tool (4 testers). Op de tweede plaats komen Github en Google Drive (elk 3) gevolgd door Google+ en Google Calendar (elk 2). ShareLatex, Toggl, OneNote, OneDrive en WhatsApp werden elk één keer vermeld. Eén tester gaf het idee om mail van een bepaald adres ook te notifieren. Testers vonden het toevoegen van een lijn tussen recente en oudere notificaties een goed idee (3). Ze zouden eerder een lijntje plaatsen voor de laatste dag dan voor het laatste uur (3). Er kwamen ook voorstellen voor meerdere lijntjes (2) of een voor elk teamlid (1). 6/7 Testers prefereerde de grote profielfoto met het klein tool-icoontje, éénte zag het liever andersom. De SUS score was zeer hoog (85.4). Het slechtste resultaat was voor de 3 de stelling (I thought the system was easy to use.), met een verwerkte score van 2.6. De 2 de slechtste stelling was I found the various functions in this system were well integrated. met 2.8. De beste beantwoorde stellingen waren I found the system unnecessarily complex. (4.0) en I think that I would need the support of a technical person to be able to use this system. (3.9). 8 BESLUIT De functionaliteit werd zeer positief onthaald. In volgende iteraties zullen volgende tools toegevoegd worden: 1. Dropbox 2. GitHub 3. Google+ Communities 4. Google Drive 5. OneNote Er zullen verschillende lijnen toegevoegd worden om aan te geven welke notificaties van het voorbije uur, de voorbije dag, de voorbije week, de voorbije maand en vroeger zijn. Ook zullen profielfoto s en toollogo s worden toegevoegd zoals ze in het concept al stonden. 9 APPENDIX Tijdsbesteding: zie groot logboek. 5