1 DOEL 2 CRITERIA 3 METHODE. Evaluatie 6. Datum Vital D'haveloose. ( URL )

Transcriptie

1 Evaluatie 6 Datum Auteurs Project Vital D'haveloose Masterproef ( URL ) 1 DOEL Ik wil de mening van studenten weten over: de usefulness van OneNote als centrale tool voor projectwerk, de usability van het configureren van gebruikers, projecten en gesprekken, de usability van het voeren van een gesprek in OneNoteTeamChat, de usefulness van de tags en de antwoord-op relatie tijdens een gesprek en de usefulness van het transcript van het gesprek in OneNote. 2 CRITERIA usability o learnability (time to learn the application) o satisfaction (subjective feeling) usefulness Ik wil usability problemen identificeren om op te lossen in de volgende iteratie. Het lijkt laat om nog te focussen op usefulness. Dit is echter de eerste semi-realistische evaluatie (met groepen testers die zelf mogen kiezen wat ze zeggen in de chat). Vragen naar usefulness is dus interessanter nu. 3 METHODE questionnaire o SUS o usefulness questionnaire retrospective think aloud Voor usability heb ik de beproefde SUS vragenlijst gebruikt aangevuld met een veld voor opmerkingen. Om een beeld te krijgen van wat men denkt over usefulness ging ik oorspronkelijk een soort groepsdiscussie houden meteen na het uittesten van de software (retrospective think aloud). Dit bracht echter niet de verwachtte resultaten op doordat er gewoon te veel mensen aanwezig waren voor een goede discussie. De volgende dag heb ik daarom een aangepaste vragenlijst opgesteld. 1

2 4 DEELNEMERS Ik zal proberen 2 of 3 groepen van elk 3 testers bijeen te krijgen. Daarvoor zal ik mijn kotgenoten aanspreken. Om ze te overtuigen zal ik ze trakteren op pizza. 5 PRAKTISCH VERLOOP Er waren 9 testers (7 jongens, 2 meisjes), verdeeld in 3 groepen van 3. 6 testers studeren ingenieurswetenschappen of informatica. De evaluatie ging door in de keuken op kot en een paar kamers van studenten die hun desktop gebruikten. In totaal duurde de evaluatie (incl. installatie, eten, briefing, ) 2 uur (van 20:00 tot 22:00). 5.1 VOORBEREIDING Voor het testen werd voor elke tester een Microsoft account aangemaakt dat ook werd ingeschreven in het Slack domein. Voor elke groep werd een OneNote notitieboek voorzien dat alle nodige informatie bevatte voor de evaluatie (o.a. de informatie die ze moesten invullen bij de gebruikers- en projectevaluatie, links naar de in te vullen vragenlijsten en onderwerpen waarover ze mochten chatten). Dit notitieboek werd gedeeld met de juiste Microsoft-accounts. 5.2 VERLOOP Eerst werden de beloofde pizza s opgegeten, terwijl iedereen OneNote installeerde. Daarna ging ik bij iedereen langs om mijn eigen software (OneNoteTeam) te installeren. Toen moesten alle testers op basis van de informatie in hun notitieboek hun gebruikersconfiguratie invullen. Daarna werd aan 3 testers, één van elke groep, gevraagd de projectconfiguratie in te vullen. De fase configuratie werd besloten met een SUS vragenlijst. Daarna kon het chatten beginnen. Eén persoon in elk team moest het gesprek aanmaken, de rest moest het openen vanuit OneNote. Er werd een gesprek gevoerd van 20 à 30 min. Daarna werd een tweede SUS vragenlijst ingevuld. De evaluatie werd afgesloten met een discussie over de usefulness van de extra features van het chatten (antwoorden op en tags) en de transscript van het gesprek in OneNote. Deze discussie verliep echter veel chaotischer dan ik had verwacht. Ik had moeite om alle opmerkingen op te schrijven, en veel deelnemers hebben niets gezegd. Daarom heb ik achteraf een vragenlijst online gezet om alsnog de meningen goed te kennen. Deze vragenlijst is ingevuld door 6 van de 9 testers. Elke vraag was een stelling waarop de tester kon antwoorden met een cijfer van 1 (niet akkoord) tot 5 (helemaal akkoord). Dit zijn de stellingen: 1. Het is waardevol om digitale informatie in een project (tekst, afbeeldingen, bestanden, ) in een centrale tool te bundelen, in plaats van die verspreid te laten over verschillende tools (oa. communicatietools, cloud storage, online agenda's, ). 2. OneNote kan waardevol zijn voor teamwerk. 3. Aangeven waarop je bericht een antwoord is zou waardevol zijn als het tijdens het gesprek ook werd getoond op een duidelijke manier. 4. Je berichten taggen als 'idee', 'vraag', 'pro-argument', etc. is waardevol tijdens het gesprek. 2

3 5. Het is beter om één gesprek te hebben dat heel het project gebruikt word dan aparte gesprekken over verschillende onderwerpen. 6. De samenvatting die OneNoteTeam Chat in OneNote plaatst kan waardevol zijn na het chatten. 7. De samenvatting van het gesprek achteraf heeft beter een "antwoord structuur" (bericht meteen onder beantwoord bericht, een tab meer naar rechts) dan een chronologische structuur (berichten chronologisch onder elkaar, geen tabs). 8. De samenvatting achteraf en de extra functies van OneNoteTeam Chat (taggen en antwoorden op) zijn waardevol genoeg om het te gebruiken, ook al kost het meer moeite (tags invoegen, antwoorden op). 6 RESULTATEN 6.1 SUS De SUS data zijn zoals gewoonlijk online beschikbaar in xlsx formaat. De score voor configuratie is 52.5 (standaardafwijking 10.6), die voor chat is 48.3 (standaardafwijking 10.4). In Figuur 1 staan de verwerkte SUS data (tussen 0 en 4, hoger is beter) voor de gebruikers- en projectsconfiguratie. In Figuur 2 staan die data voor chat. Figuur 1: Verwerkte SUS scores voor configuratie in boxplots 3

4 Figuur 2:Verwerkte SUS scores voor chat in boxplots 6.2 COMMENTAREN BIJ DE SUS VRAGENLIJSTEN Elke SUS vragenlijst was uitgebreid met een veld voor commentaren. Voor de gebruikers- en projectconfiguratie werd deze feedback ingevuld: Nogal ingewikkeld om te gebruiken, met de slack die we moesten toevoegen, en het was ook niet meteen duidelijk dat ik vanboven op de Team knop moest noemen, maar bij frequent gebruik weet je dat natuurlijk wel "Errors, onhandige installatie (kopiëren en plakken), vastlopen bij bepaalde handelingen,... In ""Early Alpha"";-)" "* Way too much errors* Too much clicking in menus and sub menus and pop-ups, the best user interfaces just say what you need to do and are idiot-proof (no errors, no need to reboot,...) ".NET misschien meeleveren Voor chat: Als je op de tag's klikt en je voegt er één toe, dan blijft het venster van de tags openstaan, ik zou liever hebben dat het dan automatisch sluit. Ik vond het wel cool dat je kon klikken op de andere berichtjes en zo reageren. Verder is het verslag dat je aan de linkerkant van je scherm ziet, nogal buggy, ik zag alleen mijn eigen tekst + soms kwam de nieuwe tekst die ik typte in het midden van de eerdere tekst te voorschijn Misschien duidelijker maken als je aan het antwoorden bent op een thread, bvb laatste bericht highlighten? Verwarrend, niet helemaal duidelijk hoe je tags aan berichten geeft in het one note gedeelte. Het werkte eigenlijk gewoon niet. Ik weet niet wat de D betekent De icoontjes in het menu om te antwoorden op een bericht zijn niet helemaal duidelijk. Het zou handig zijn om namen of foto's bij de tekstballonnen te kunnen zetten, zodat je weet wie wat zegt. Een geluidje zou ook handig zijn als iemand iets zegt. 4

5 6.3 DISCUSSIE De opmerkingen tijdens de discussie (snel opgeschreven, dus nogal cryptisch): Nuttig? als aan houden onduidelijk leider? ON & ONC onduidelijk wie wat zend -> kleur icoontjes berichtenmenu onduidelijk tooltips tags nuttig o indien consistent/correct gebruikt berichten liken tags-knop vervangen door knopjes voor tags zelf antwoorden volatiel, wel nuttig, maar sneller routen achteraf tags aanpassen bug: berichten niet hoog genoeg voor tekst OneNote? niemand gebruikt OneNote, of vind het zelfs maar nuttig 6.4 VRAGENLIJST ACHTERAF Een overzicht van de resultaten van de vragenlijst achteraf staat online. In Figuur 3 staan de resultaten grafisch weergegeven. Figuur 3: Resultaten van de vragenlijst achteraf in boxplots 7 INTERPRETATIE 7.1 SUS VRAGENLIJST EN OPMERKINGEN De SUS scores zijn zeer slecht. Een deel hiervan kan verklaard worden door de grote hoeveelheid bugs die aan het licht kwamen tijdens het testen. Uit de opmerkingen blijkt echter ook dat het niet altijd duidelijk was welke handelingen moesten uitgevoerd worden bij configuratie van een gebruiker 5

6 of project. Voor het chatten vond men bepaalde acties te omslachtig, en bepaalde icoontjes niet duidelijk (er was maar één knop in het berichtenmenu die echt geïmplementeerd was, de rest stond er wel maar deed niets). De highlights van de SUS scores voor configuratie: Slecht resultaat voor I think that I would like to use this system frequently. : 1.44/4. o Dit is niet abnormal: configuratie komt normaal maar één keer per project voor. Slecht resultaat voor I think that I would need the support of a technical person to be able to use this system. : 1.56/4 o wellicht een gevolg van het feit dat ik de hele tijd rondliep om bugs te omzeilen Goed resultaat voor I thought there was too much inconsistency in this system. : 2.67/4. Goed resultaat voor I needed to learn a lot of things before I could get going with this system. : 2.56/4. En voor chat: Slecht resultaat voor I found the system unnecessarily complex. : 1.6/4. o Dit is onverwacht: het aantal mogelijke acties in chat is beperkt (4 knoppen in het berichtmenu, 2 in het invoerpaneel) Goed resultaat voor I found the various functions in this system were well integrated. : 2.5/4. Goed resultaat voor I thought there was too much inconsistency in this system. : 2.38/ DISCUSSIE EN VRAGENLIJST ACHTERAF De opmerkingen die gegeven werden tijdens de discussie zijn vooral ideetjes voor de toekomst, die ik hier niet ga herhalen. Van de vragenlijst overloop ik de stellingen Stelling 1: Het is waardevol om digitale informatie in een project (tekst, afbeeldingen, bestanden, ) in een centrale tool te bundelen, in plaats van die verspreid te laten over verschillende tools (oa. communicatietools, cloud storage, online agenda's, ). Het resultaat is overwegend positief (gemiddeld 4, standaardafwijking 1.26). Men merkt op dat: dit persoonsafhankelijk is (georganiseerde mensen vs. chaotische mensen), dat een groepsleider die alles op orde houdt en de belangrijkste dingen naar voor laat komen belangrijk is en dat een reeks aangepaste tools, elk met hun specifiek nut, waarschijnlijk beter zal werken dan één tool die alles probeert te voorzien maar minder goed. Een soort portaal is wel handig Stelling 2: OneNote kan waardevol zijn voor teamwerk. Het resultaat is licht positief: gemiddeld 3.67 (standaardafwijking 1.2). Veel mensen vermelden dat ze OneNote niet goed kennen en weinig gebruikers kennen. 3 mensen vermeldden dat ondanks het lage gebruik het programma wellicht wel waardevol is Stelling 3: Aangeven waarop je bericht een antwoord is zou waardevol zijn als het tijdens het gesprek ook werd getoond op een duidelijke manier. Het resultaat is zeer hoog: 4.67 met een standaardafwijking van

7 7.2.4 Stelling 4: Je berichten taggen als 'idee', 'vraag', 'pro-argument', etc. is waardevol tijdens het gesprek. Ook hier is het resultaat vrij hoog: 4.17 met een standaardafwijking van Men vermeldt dat consequent gebruik belangrijk is, en dat dit kan bereikt worden met een teamleider die de tags achteraf kan aanpassen Stelling 5: Het is beter om één gesprek te hebben dat heel het project gebruikt word dan aparte gesprekken over verschillende onderwerpen. Deze vraag is omgekeerd gesteld: lager is (in principe) beter. Het gemiddelde is 2.5, met een standaardafwijking van Men vind meerdere gesprekken beter gestructureerd/overzichtelijk Stelling 6: De samenvatting die OneNoteTeam Chat in OneNote plaatst kan waardevol zijn na het chatten. Hier weer een vrij hoog resultaat: 4, standaardafw Men vermeldt dat: het systeem (tags) dan wel ten volle moet benut worden de samenvatting achteraf moet gemodereerd kunnen worden de samenvatting nog iets visueler moet zijn Stelling 7: De samenvatting van het gesprek achteraf heeft beter een "antwoord structuur" (bericht meteen onder beantwoord bericht, een tab meer naar rechts) dan een chronologische structuur (berichten chronologisch onder elkaar, geen tabs). Hier is positief consensus over: 4.83, standaardafwijking Stelling 8: De samenvatting achteraf en de extra functies van OneNoteTeam Chat (taggen en antwoorden op) zijn waardevol genoeg om het te gebruiken, ook al kost het meer moeite (tags invoegen, antwoorden op). Deze stelling is cruciaal: als ze verworpen wordt betekend dat dat ik heel veel tijd en moeite heb gestoken in iets dat niet waardevol bevonden wordt. Gelukkig is het resultaat redelijk: gemiddeld 3.5 met een standaardafwijking van Men vermeldt dat het taggen sneller zou moeten gaan, en dat muisgebruik tot een minimum beperkt zou moeten blijven. 8 BESLUIT Uit deze evaluatie trek ik de volgende conclusies: De achilleshiel van OneNote als centrale tool is dat weinig mensen het programma kennen of gebruiken. Het is niet de bedoeling van mijn Masterproef om mijn software of OneNote te promoten of te verspreiden. Moest dit wel het geval zijn, zou ik de voordelen van OneNote duidelijk in de verf moeten zetten. Daarvoor zou ik kunnen verwijzen naar het werk van Grierson et al. De usability van het configureren van gebruikers en projecten laat de wensen over. Dit is echter geen focus van mijn thesis; voor toekomstige testen kan ik deze configuratie op voorhand doen. De lage usability van het chatten zelf is wel problematisch. Voor de volgende iteratie zijn de volgende zaken belangrijk: o Stabiliteit: minder bugs o Snelheid: taggen moet sneller, minder muisgebruik 7

8 o Duidelijkheid: de knoppen van het berichtenmenu (het menu dat bij klikken onder een bericht verschijnt) zijn onduidelijk. Misschien kan ik ze verwerken in het bericht zelf en het menu weglaten. Het taggen en antwoorden op vinden de testers zeer usefull tijdens het chatten. o Ik zal dus alsnog de antwoord-op structuur moeten weergeven in het chatvenster. De samenvatting in OneNote vinden de testers zeer usefull. Voor de volgende evaluatie zal ik proberen de antwoord-op structuur duidelijk weer te geven en het chatten sneller en stabieler te maken. Ik zal herzien hoe ik de berichtsgebonden functionaliteit aanbied, met controls geïntegreerd in het bericht in plaats van in een menu (waar de knoppen onduidelijk blijken). 9 APPENDIX Tijdsbesteding: groot logboek 8