1 DOEL 2 CRITERIA 3 METHODE 4 DEELNEMERS. Evaluatie 8. Datum Vital D'haveloose. ( URL )

Transcriptie

1 Evaluatie 8 Datum Auteurs Project Vital D'haveloose Masterproef ( URL ) 1 DOEL In deze iteratie werd geprobeerd het taggen van berichten en het selecteren van een bericht om te beantwoorden te stroomlijnen. Daarnaast werd een helpvenster toegevoegd dat gebruikers uitlegt hoe bepaalde dingen werken. Het doel van deze evaluatie is de effecten van deze wijzigingen meten door te vergelijken met de vorige iteratie. 2 CRITERIA usability o learnability (time to learn the application) o efficiency (time to perform task) o accuracy (number and kind of errors) De bedoeling van het helpvenster is gebruikers sneller bepaalde acties aan te leren, zodat ze sneller kunnen chatten. Ik wil dus learnability meten. Daarnaast wil ik weten of de aanpassingen voor het taggen en beantwoorden tot een beter resultaat leiden. 3 METHODE Questionnaire (SUS) usage tracking SUS is de standaard questionnaire voor het kwantificeren van usability en learnability. Om accuracy en efficiency te meten zal ik het gebruik van de applicatie filmen en achteraf de tijden meten om berichten te plaatsen. Op die manier kan ik mij tijdens het evalueren concentreren op het voorlezen van de opdrachten die de testers moeten uitvoeren en kan ik achteraf nog andere dingen meten die ik vooraf niet in gedachten had. 4 DEELNEMERS De deelnemers zijn weerom persoonlijke vrienden en kotgenoten die ik gecontacteerd heb via Facebook. Dit maal zijn het er vijf. 1

2 5 PRAKTISCH VERLOOP De relevante eigenschappen van de deelnemers zijn te vinden in Tabel 1. Tabel 1: Deelnemers NR. GESLACHT OPLEIDING VOORGESCHIEDENIS 1 man Ba. IW papieren prototype 2 vrouw Ba. Bio ing dig. prototype it.5 3 man Ma. CW dig. prototype it.6 4 man Ma. CW dig. prototype it.4 5 man Ma. ELT dig. prototype it.5 De evaluaties vonden plaats op verschillende locaties, waaronder mijn kot en de foyer van het departement CW. Ze duurden elk ong. 10min en bestonden uit 4 delen die hieronder een per een worden toegelicht. 5.1 HELPVENSTER De deelnemers mochten voor het testen de inhoud van het helpvenster doorlezen. Figuur 1 toont een print screen van dit helpvenster. Figuur 1: Helpvenster 2

3 5.2 BERICHTEN INGEVEN De gebruikers werden gevraagd 11 berichtjes in te geven die telkens bestonden uit één letter, al dan niet een tag (of twee) en die antwoorden waren op het vorige, een ander of geen bericht. In twee gevallen moest de tag nog aangepast worden voor het verzenden. Figuur 2 toont deze berichten. Figuur 2: Te posten berichten Het scherm werd gefilmd terwijl de deelnemers de berichten ingaven. 5.3 VRAGEN OVER GESPREKSVERSLAG Na het ingeven van de berichten kregen de deelnemers wat vragen over het gespreksverslag van een ander gesprek. Er waren twee types vragen: Hoeveel antwoorden zijn er op bericht X. (X in {z,i,a,c} ) Waarop is bericht X een antwoord. (X in {e,b,g,t} ) 5.4 SUS+OPMERKINGEN Ten slotte moesten de deelnemers een SUS questionnaire invullen. Op het einde van deze questionnaire konden ze nog opmerkingen kwijt. 6 RESULTATEN Alle resultaten zijn beschikbaar als een online.xlsx bestand. Hieronder worden ze grafisch of in tabelvorm herhaald. 6.1 BERICHTEN INGEVEN In Tabel 2 staat hoe vaak elke combinatie van methodes voor het toevoegen van tags en antwoorden werd gebruikt. In Tabel 3 staat de gemiddelde duur voor het posten van een bericht voor elke combinatie van methodes. Hiervoor werden enkele uitschieters uit de data weggelaten die irrelevante oorzaken hadden, zoals een tester die iets wilde uittesten dat niets te maken had met het huidige bericht. Tabel 2: Voorkomens van methodes voor toevoegen van tags en antwoorden tag methode\antwoord met. berichtenmenu boom icoontje pijltjes schaartje (leeg) Eindtotaal ascii berichtenmenu 4 4 tags paneel (leeg) Eindtotaal

4 Tabel 3: Gemiddelde duur voor het posten van een bericht, in seconden tag met.\antw. met. berichtenmenu boom icoontje pijltjes schaartje (leeg) totaal ascii 5,74 8,12 7,32 berichtenmenu 11,825 11,8 tags paneel 11,1 14,87 9,73 11,1 (leeg) 4,81 4,675 5,03 3,39 4,52 totaal 11,825 8,28 11,5 5,03 7,94 8, VRAGEN OVER GESPREKSVERSLAG In Tabel 4 staan de antwoorden op de vraag Hoeveel antwoorden zijn er op bericht X?. In Tabel 5 staan dan de antwoorden op de vraag Waarop is bericht X een antwoord?. Tabel 4: Antwoorden op de vraag "Hoeveel antwoorden zijn er op bericht X? X antwoord pers.1 pers.2 pers.3 pers.4 pers.5 % juist z i a c % juist Tabel 5: Antwoorden op de vraag "Waarop is bericht X een antwoord?" X antwoord pers.1 pers.2 pers.3 pers.4 pers.5 % juist e i i b i b? 40 b ? 80 g c c c c c c 100 t c c s c s? 40 s ? 80 % juist SUS In Figuur 3 staan de SUS resultaten als boxplots weergeven. De gemiddelde SUS score is

5 Figuur 3: SUS resultaten in boxplots 6.4 OPMERKINGEN De volgende opmerkingen werden gegeven: Duidelijke structuur antwoorden misschien laten inspringen in het formulier? veel om te onthouden? -> valt nog mee, geen visuele feedback bij klikken op icoontje -> meerdere keren geklikt niet alle berichten hebben een icoontje -> gewoon voor alle berichtjes tonen (duidelijk dat het losse berichtjes zijn) twijfelt over indentatie, tekentje gebruiken om vorig bericht aan te geven zoals voor een antwoord op bericht c Antwoorden van berichten in het verslag zijn niet duidelijk. 7 INTERPRETATIE 7.1 BERICHTEN INGEVEN 7.2 VRAGEN OVER HET GESPREKSVERSLAG 7.3 SUS De SUS score is geklommen van 60 in evaluatie 7 naar 72.5 in deze evaluatie. Er werd vooral winst geboekt bij de vragen support of a technical person ( ), cumbersome ( ) en need to learn a lot of things ( ). De slechtste resultaten zijn voor de vragen confident using the system (3.0), most people would learn quickly (3.4), would use frequently (3.4) en ten slotte easy to use (3.6). 7.4 OPMERKINGEN De belangrijkste conclusies bij de opmerkingen zijn: Dat er visuele feedback moet komen na het klikken op een bericht icoontje. Dat alle berichten een icoontje moeten hebben in de berichtenboom, niet enkel die berichten die er verbonden zijn met anderen. Dat de structuur in het gespreksverslag nog altijd onduidelijk is. 5

6 8 BESLUIT Het goede nieuws is dat de SUS score terug boven de grens van 67 is gekomen. Het slechte nieuws is dat het helpvenster niet heeft geholpen om de structuur van het gespreksverslag duidelijk te maken. Daarnaast zijn twee kleine probleempjes aan het licht gekomen: de afwezigheid van icoontjes in de berichtenboom voor berichten die geen antwoord zijn of antwoorden hebben, en het gebrek aan visuele feedback bij het selecteren van een bericht om op te antwoorden. 9 APPENDIX Tijdsbesteding: zie logboek 6