Evaluatie 3 Datum Auteurs Project <datum> Vital D'haveloose Masterproef ( URL ) http://vitalsmapro15.wordpress.com 1 DOEL Een belangrijke voorwaarde voor de toepassing is dat hij snel communiceren niet belemmert. In versie 2.1 van het paper prototype zijn daarom een aantal extra knoppen toegevoegd om sneller de structuur van het gesprek aan te geven, berichten te markeren en de combinatie van de twee: antwoorden met een gemarkeerd bericht (bv. Antwoorden op een idee met een pro-argument in één klik). Gesprekken splitsen zich soms op in deelgesprekken (bv. Een vraag waarop verschillende antwoorden gegeven worden, die elk apart besproken worden). In een gewoon chatgesprek is er echter maar één kolom met berichten. Ik wil weten of het kleuren van berichten kan gebruikt worden om de structuur van het gesprek duidelijker te maken. Een andere manier om dit te doen is het gebruik van meerdere kolommen. Ook dit idee wil ik aftoetsen. Ten slotte heb ik tips toegevoegd aan het prototype, die nieuwe gebruikers moeten helpen met het ontdekken van functionaliteit. Ik wil weten voor welke functies er tips moeten bijkomen en of de bestaande tips duidelijk zijn. 2 CRITERIA usability o learnability (time to learn the application) o efficiency (time to perform task) essentieel, maar niet zo goed meetbaar met paper prototype usefulness Als men vindt dat men te veel moeite moet doen (toevoegen van structuur en annotaties) voor wat men terugkrijgt (samenvatting van het gesprek), zal men de toepassing niet gebruiken. Meaning Het niet begrijpen van icoontjes kan leiden tot het niet gebruiken van bepaalde functies. Dit kan leiden tot trager gebruik, wat een probleem is in de context van een chatgesprek.
3 METHODE Questionnaire Ik gebruik de SUS questionnaire om mijn vooruitgang te tracken en om problemen te laten signaleren. usability testing Met think aloud probeer ik specifieke problemen te identificeren. 3.1 MEDIUM Omdat er kleinere elementen moeten toegevoegd worden aan het prototype, en omdat ik het hoveren van de muis over een element gebruik, heb ik even onderzocht of ik het prototype digitaal kon maken. Omdat dit hoveren weinig ondersteund is en omdat de bekeken tools niet flexibel genoeg waren heb ik toch besloten om met papier te blijven werken. Ik zal het hoveren van de muis mondeling toelichten. 3.2 THINK ALOUD SCRIPT Voor de think aloud sessies maakte ik dit script, zodat ik tijdens de sessies niet zou vergeten te vragen. 3.2.1 Smal venster Tips Bovenbalk: icoontje duidelijk? o Menu: duidelijk? Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering Duidelijkheid van de icoontjes? Handigheid van de features (score op 5) o Wat gebeurt er als je op de markering van het bericht klikt? Kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Menu bij invoervenster o Handigheid van de features (score op 5) Aankondigingen o Geavanceerde aankondigingen handig?
3.2.2 Breed venster Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? o Is manueel beter? 3.2.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? 4 DEELNEMERS Voor deze evaluatie waren er 5 deelnemers. Allemaal mannelijk, 3 x Ma CW, 1 x Ma Energie, 1 x Ba Informatica. 5 PRAKTISCH VERLOOP De think aloud sessies vonden plaats op verschillende locaties, telkens zij aan zij. Ik typte de opmerkingen in op mijn laptop. De 3 CW studenten zijn persoonlijke vrienden, de twee anderen zijn kotgenoten. Ze werden mondeling, via SMS en via Facebook gecontacteerd. De evaluaties duurden tussen de 30 en de 60 minuten, afhankelijk van hoe diep we doorspraken over de verschillende concepten. Sommige deelnemers begonnen spontaan te brainstormen over problemen in het prototype. Dat is natuurlijk het voordeel van testen met technisch ingestelde mensen. De sessies bleven vrij dicht bij het script. 6 RESULTATEN 6.1 PERSOON 1 6.1.1 Think aloud 6.1.1.1 Smal venster Tips o Waar moeten er nog tips komen (niet meteen antwoorden, in achterhoofd tijdens testen) o Sterretje: favoriet, iets nieuws Beter: gloeilamp, info-icoontje Bovenbalk: icoontje duidelijk? Mannetjes: deelnemers, plusje duidelijk OneNote icoontje: terug naar onenote o Menu: duidelijk? Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht
Scrollen Scrolbalk toevoegen De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Eerste: naar bovenliggende Tweede: naar antwoord gaan Idee: knopje om antwoorden op een bericht te zien Derde: opties Denkt dat een bericht "immutable" is Icoontje: potloodje is duidelijker Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering Duidelijkheid van de icoontjes? Handigheid van de features (score op 5) Navigatie: handig Direct antwoorden: handig Bewerken: onverwacht o Wat gebeurt er als je op de markering van het bericht klikt? Geen idee Logischer om zo te bewerken dan via bewerk knop Structuur: voorgangers en antwoorden, bekijken en bewerken Kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Aantal verschillende kleuren: 2 (rood en paars) Lichter: ouder Kan werken Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Menu bij invoervenster o Handigheid van de features (score op 5) Antwoorden met Ctrl+pijltje is handig Meerder markeringen: goed dat het bestaat Sneltoetsen voor markeringen: als het echt snel zou gaan Niet vaak sneltoetsen in Skype Aankondigingen o Geavanceerde aankondigingen handig? Leuk 6.1.1.2 Breed venster Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? o Stabiel: kolom waarin je typt mag niet veranderen o Semantisch: openklappen vanuit main thread o Te snel switchen is niet goed Gevaar voor zelf interageren Pijlen tussen threads met 'notificaties'
o Wat betekenen de getalletjes? correct Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? Met de kleur? Geen visuele verbinding tussen groen bericht en donkerpaars bericht o Is manueel beter? Als het automatisch systeem goed genoeg is niet nodig Bovenaan kolom: menu om thread te selecteren Entries aanvullen met aantal nieuwe berichten Ev. "persoon" volgen 6.1.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? o Link naar gesprek duidelijk o Springen naar thread, want tijd kwijt in samenvatting Goede deal: want geen 'secretaris' die achteraf meeting samenvat 6.1.2 SUS I think that I would like to use this system frequently. 5 I found the system unnecessarily complex. 2 I thought the system was easy to use. 4 I think that I would need the support of a technical person to be able to use this system. 1 I found the various functions in this system were well integrated. 4 I thought there was too much inconsistency in this system. 2 I would imagine that most people would learn to use this system very quickly. 3 I found the system very cumbersome to use. 1 I felt very confident using the system. 4 I needed to learn a lot of things before I could get going with this system. 4 6.2 PERSOON 2 6.2.1 Think aloud 6.2.1.1 Smal venster Tips o Sterretje: favorieten? Bovenbalk: icoontje duidelijk? o Mannetjes: andere personen o Plusje : mensen toevoegen o OneNote icoontje: exporteren Alles? Wat wordt er geëxporteerd o Menu: duidelijk? Ja Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Pijltjes: onbekend Lijkt handig Wist niet dat antwoord functionaliteit beschikbaar Tweede knop: wel duidelijk
Eventueel: invoervak openen onder bericht (wel: bericht komt beneden te staan ) Indien de knop antwoorden toont: handig Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering Duidelijkheid van de icoontjes? Tekst aanpassen? Markeringen: ander woord (icoontjes) Antwoorden met markering vervangen door "andere" Checkboxes voor markeringen: komen die in het menu? Probleem: bij aanvinken: hoe naar antwoordvenster? Handigheid van de features (score op 5) Handig om te zien waarop een bericht antwoord Belangrijk: snel genoeg, niet te cumbersome Momenteel te cumbersome (vooral bij meerdere markeringen) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht correct De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Wat gebeurt er als je op de markering van het bericht klikt? Uitleg over de markering? Markering bewerken Belangrijk: een geschiedenisknop om te controlleren wie wat zoal aanpast. Kleuren o Telt 2 kleuren, wel twee tinten paars o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Ziet dat het over de threads gaat Oppassen: kleur zou ook spreker kunnen aanduiden (duidelijker maken door ook eigen avatar te tonen) Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Menu bij invoervenster o Menu schrappen: leeg icoontje waarop geklikt kan worden Analoog aan bestaande berichten o Ev. ander icoontje voor menu, iets dat aangeeft dat je er dingen kan aan toevoegen (bestanden bv) o Handigheid van de features (score op 5) Liever een andere locatie voor de features Aankondigingen o Geavanceerde aankondigingen handig? Niet echt handig Komt erbij wie wat al heeft gelezen 6.2.1.2 Breed venster Geen fan: ziet logica, maar minder duidelijk dan reddit (geen compliment :p)
Meerder invoervensters: lelijk, redundant Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? o Chronologisch Ev met time out voor het switchen, om te snel switchen te vermijden o Apart nog vaspinnen Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? Verwarrend, structuur, maar verspreidde informatie o Is manueel beter? Handiger (meer controle -> beter verstaan) 6.2.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? o Duidelijk 6.2.2 SUS I think that I would like to use this system frequently. 3 I found the system unnecessarily complex. 3 I thought the system was easy to use. 3 I think that I would need the support of a technical person to be able to use this system. 4 I found the various functions in this system were well integrated. 3 I thought there was too much inconsistency in this system. 4 I would imagine that most people would learn to use this system very quickly. 2 I found the system very cumbersome to use. 4 I felt very confident using the system. 4 I needed to learn a lot of things before I could get going with this system. 4 6.3 PERSOON 3 6.3.1 Think aloud 6.3.1.1 Smal venster Tips o Sterretje: favorieten, laatste chat, Bovenbalk: icoontje duidelijk? o Menu: duidelijk? o ja Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht Antwoord -> identatie De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes
Eerste: springen naar parent Tweede: antwoorden Evn knopjes die in het eerste menu staan weglaten uit het tweede Meerdere icoontjes: contradictie (bv pro-contra) Derde: opties, annotaties veranderen Cursor binnenin Dubbelklikken op bericht Admin rechten: oprichter gesprek kan berichten aanpassen (policy) "markering": markeerstift (kleur) Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering Duidelijkheid van de icoontjes? Niet akkoord met TODO Beslissing raar Handigheid van de features (score op 5) Invoervak plaatsen onder beantwoord bericht (forum-style) Evantueel knoppen om te filteren op subthread Knoppen door nieuwe berichten te bladeren o Wat gebeurt er als je op de markering van het bericht klikt? Links: filteren op markering Rechts: aanpassen Klein 'opmaakbalkje' zoals in Office Kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Personen? Nee, die staan erbij Topics die bijeen horen Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Menu bij invoervenster o Antwoord-button raar: meestal beginnen bij te antwoorden bericht o Ctrl + pijltje niet gebruikt o Handigheid van de features (score op 5) Aankondigingen o Geavanceerde aankondigingen handig? Kan weinig schelen 6.3.1.2 Breed venster Té, overkill o Mss beter: "gefilterd resultaat" in een aparte o Zo ingewikkeld: beter bellen Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? o Is manueel beter?
6.3.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? o ja 6.3.2 SUS I think that I would like to use this system frequently. 4 I found the system unnecessarily complex. 4 I thought the system was easy to use. 5 I think that I would need the support of a technical person to be able to use this system. 1 I found the various functions in this system were well integrated. 3 I thought there was too much inconsistency in this system. 1 I would imagine that most people would learn to use this system very quickly. 5 I found the system very cumbersome to use. 1 I felt very confident using the system. 3 I needed to learn a lot of things before I could get going with this system. 1 6.4 PERSOON 4 6.4.1 Think aloud 6.4.1.1 Smal venster Tips o Sterretje: uitnodigend, maar onduidelijk Bovenbalk: icoontje duidelijk? o +: nieuw gesprek? o Mannetjes: deelnemers o Menu: duidelijk? Icoontjes media niet duidelijk Edit icoon duidelijk Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht Aanduiden als antwoord De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Eerste: prioriteit? Tweede: archiveren? Na menu tonen: antwoorden Admin: geeft aan wat belangrijk is Aanvinkvakjes: slecht consistent met eerste menu Derde: instellingen Aanpassen van iemand anders zijn tekst: admin rights + 'spoor' Andere voorganger: waarom? Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering
Duidelijkheid van de icoontjes? Handigheid van de features (score op 5) Niet niet handig Gebruiksvriendelijk (4) o Wat gebeurt er als je op de markering van het bericht klikt? Kleuren o Ziet 3 kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Kleuren onduidelijk Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Nog onduidelijk Een sibling heeft dezelfde kleur als de parent, verwarrend Intensiteit die daalt met niveau Handmatig nieuwe kleur voor hele branch (te bepalen vanaf root) Menu bij invoervenster o Shift om voorganger te selecteren -> WoW o Zou wel gebruiken (shortcutfan) o Handigheid van de features (score op 5) Ja, shortcuts zijn handig Aankondigingen o Geavanceerde aankondigingen handig? Handig Moeilijk structuur zien in één kolom 6.4.1.2 Breed venster Handig Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? o Chronologisch: te snel switchen o Handmatig: niet gebruiksvriendelijk o Most recently used: vervelend als ge typt: veranderen van kolom o Semantische: beter dan handmatig Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? duidelijk Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? Siblings anders behandeld Groen: ok o Is manueel beter? Automatisch is beter, logischer (er is al een manuele fase) Manueel goed als er veel antwoorden zijn Ev kijken naar 'belangrijke' antwoorden Idee: upvotes om te bepalen wanneer iets een nieuwe kolom krijgt 6.4.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)?
o Niet meer chronologisch Zou wel gebruiken, handig Structuur > markeringen 6.4.2 SUS I think that I would like to use this system frequently. 3 I found the system unnecessarily complex. 1 I thought the system was easy to use. 4 I think that I would need the support of a technical person to be able to use this system. 1 I found the various functions in this system were well integrated. 4 I thought there was too much inconsistency in this system. 3 I would imagine that most people would learn to use this system very quickly. 5 I found the system very cumbersome to use. 1 I felt very confident using the system. 5 I needed to learn a lot of things before I could get going with this system. 1 6.5 PERSOON 5 6.5.1 Think aloud 6.5.1.1 Smal venster Tips o Sterretje: favorieten Bovenbalk: icoontje duidelijk? o Personen en +: correct o OneNote: correct o Menu: duidelijk? Icoontjes van Skype en FB: gelinkte accounts Edit-icoontjes: duidelijk Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht Antwoorden op: correct De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Eerste: naar parent gaan Tweede: reageren Submenu: checkboxes: twee tegelijk (kan wel) Derde: instellingen Andere mensen berichten aanpassen: ok zolang er geschiedenis wordt bijgehouden Markeringen aanpassen: raar Nog een parent hoger Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering
Duidelijkheid van de icoontjes? Handigheid van de features (score op 5) Handig (onmiddellijk zien of iemand pos; of neg remarks geeft) o Wat gebeurt er als je op de markering van het bericht klikt? Geen verwachtingen Kleuren o 2 kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen (kleuren horen bij annotaties) Bewerkt door iemand anders Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Antwoorden: andere kleur Menu bij invoervenster o Sneltoetsen wel gebruikt (shortcutfan) o Crtl + pijltje ook wss gebruikt o Handigheid van de features (score op 5) Handig: sneltoetsen staan bij de opties Aankondigingen o Geavanceerde aankondigingen handig? Leuk, maar weinig verschil 6.5.1.2 Breed venster Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? o Semantisch: deze kiezen o Alternatief: meeste antwoorden Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? Aantal kolommen dat ernaast staan Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? o Is manueel beter? Handmatig: want meer gevoel van controle 6.5.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? o Goeie deal o Want indien niet: zoeken 6.5.2 SUS I think that I would like to use this system frequently. 4 I found the system unnecessarily complex. 1 I thought the system was easy to use. 2 I think that I would need the support of a technical person to be able to use this system. 1 I found the various functions in this system were well integrated. 5 I thought there was too much inconsistency in this system. 1 I would imagine that most people would learn to use this system very quickly. 3 I found the system very cumbersome to use. 2 I felt very confident using the system. 4
I needed to learn a lot of things before I could get going with this system. 4 7 INTERPRETATIE <Interpreteer de resultaten: wat besluit je eruit? wat valt op? wat vind je onduidelijk of verrassend? wat zou je achteraf bekeken anders doen? wat zijn de belangrijkste vragen die je in een volgende evaluatie wil onderzoeken en waarom?> 7.1 THINK ALOUD 7.1.1 Smal venster Tips o Het sterretje is niet duidelijk, in het volgende prototype zal ik een info-icoontje gebruiken. Bovenbalk: icoontje duidelijk? o De icoontjes in de bovenbalk waren over het algemeen duidelijk. o Menu: duidelijk? Het menu is over het algemeen duidelijk. Knopjes berichten (eerst doen zodat "antwoorden" al behandeld is) o De gebruiker beweegt zijn 'muis' over de berichten Ik toon hem dat de cursor veranderd in een handje Ik vraag wat de gebruiker verwacht dat er gebeurt als hij klikt, sleept en loslaat op een ander bericht Slechts één persoon had dit verkeerd, hij dacht scrollen. Ik moet nog een schuifbalk toevoegen. De gebruiker doet dit, het versleepte bericht heeft nu het onderste bericht als beantwoordde Alternatieve benaming voor "beantwoordde"? voorganger, parent, o Bij het hoveren kwamen ook knopjes tevoorschijn Vragen naar de betekenis van de icoontjes Eerste: Duidelijk voor 4/5 Tweede: 3/5 hadden het juist, één iemand dacht archiveren, aan ander had geen idee Opmerking: de eerste knop is om te inspecteren, de tweede om een antwoord te geven. Alternatief kan de tweede knop dienen om de antwoorden op het bericht te bekijken. Derde: duidelijk Knopjes overlopen Niet vergeten: voorgestelde markeringen zijn afhankelijk van aangeklikte markering Duidelijkheid van de icoontjes? Probleem: bij het selecteren van meerdere annotaties voor een antwoord is er geen mogelijkheid om daarna naar het invoervenster te gaan Handigheid van de features (score op 5) Over het algemeen werden de features als handig onthaald. Twee mensen spraken over een administrator die de berichten kon bewerken, en dat er een geschiedenis zou blijven bestaan.
o Wat gebeurt er als je op de markering van het bericht klikt? Onduidelijk dat men zo de markering kon bewerken. Kleuren o De gebruiker leest een deel van de berichten o Ik vraag of hij weet wat de kleuren betekenen Door gebruik van kleurpotloden was het niet duidelijk dat de twee tinten paars expres verschillend waren. Slechts één persoon had door dat de kleuren de verschillende subthreads aanduiden. Eén persoon merkte op dat het eerste antwoord anders behandeld wordt dan het tweede. Dit is de bedoeling, zodat een reeks opeenvolgende berichten dezelfde kleur krijgen. Langs de andere kant is het ook onduidelijk. Indien nee: ik zeg dat de kleuren de structuur van het gesprek aanduiden, en vraag aan de gebruiker wanneer een kleur wordt hergebruikt en wanneer een nieuwe kleur wordt gebruikt. Menu bij invoervenster o Handigheid van de features (score op 5) Twee mensen waren enthousiast over de sneltoetsen. Aankondigingen o Geavanceerde aankondigingen handig? Leuk, maar niet zo speciaal. 7.1.2 Breed venster Volgorde van de kolommen: chronologisch, handmatig, most recently used of semantische volgorde? o 3/5 meldden dat snel switchen zeker te vermijden is o 3/5 zouden voor semantische volgorde kiezen (dus eerste kolom het begin van het gesprek, tweede die met het recentst geplaatste antwoord van de gebruiker, de derde het meest recente bericht). Pijlen tussen threads met 'notificaties' o Wat betekenen de getalletjes? 2 mensen hadden door dat dat het aantal ongelezen berichten is, één persoon dacht dat het het aantal kolommen was Automatisch systeem voor mappen van berichten op kolommen o Kunnen gebruikers achterhalen hoe het werkt? o Is manueel beter? Twee personen vonden van wel, aangezien er dan meer controle is. Maar als het automatisch systeem goed genoeg is, is het in principe niet nodig. 7.1.3 Samenvatting in OneNote Duidelijk hoe het correspondeert met het gesprek (chronologisch vs. semantisch)? o Er waren geen problemen hiermee. 3 personen gaven aan dat ze dit effectief zouden gebruiken. 7.2 SUS In deze tabel staan de gemiddelden en standaardafwijkingen van de resultaten. I think that I would like to use this system frequently. 3.8 0.84 I found the system unnecessarily complex. 2.2 1.3 I thought the system was easy to use. 3.6 1.14 I think that I would need the support of a technical person to be able to use this 1.6 1.34 system. I found the various functions in this system were well integrated. 3.8 0.84
I thought there was too much inconsistency in this system. 2.2 1.3 I would imagine that most people would learn to use this system very quickly. 3.6 1.34 I found the system very cumbersome to use. 1.8 1.3 I felt very confident using the system. 4 0.71 I needed to learn a lot of things before I could get going with this system. 2.8 1.64 Het uiteindelijke resultaat is 70.5. Dit is minder dan het vorige prototype (waarvan de evaluatie echter minder betrouwbaar was). De hoge score van de eerste vraag komt overeen met de opmerkingen in de think aloud sessies. Er is blijkbaar wat onenigheid over de complexiteit van het systeem, maar dat het gemakkelijk te gebruiken is is duidelijk. Het resultaat van de vierde vraag moet bekeken worden in het licht van de achtergronden van de testers: 3/5 CW-ers. Integratie blijkt in orde te zijn. Over inconsistentie is er geen consensus. De deelnemers denken dat mensen het systeem vrij snel kunnen leren gebruiken. Eén persoon vind het systeem cumbersome, de rest vind van niet. Iedereen voelde zich zelfzeker bij het gebruiken van het papieren prototype. Over hoeveel men moet leren om het systeem te gebruiken is er geen consensus. Mogelijks denkt men aan de sneltoetsen, die echter niet essentieel zijn. 8 BESLUIT Het gebruik van kleuren voor het identificeren van subthreads is geen goed idee. In het volgende prototype zal ik een alternatief testen. De knoppen bij berichten moeten eens opnieuw bekeken worden: de icoontjes zouden duidelijker moeten (bv. inspectie vs. actie functionaliteit). Het systeem met meerdere kolommen heeft veel problemen. Ik laat het voorlopig rusten, en plaats mijn vertrouwen in de alternatieve aanduiding voor de structuur van het gesprek. De SUS score is lager dan die van het vorige prototype (waarvan de evaluatie echter minder betrouwbaar is). Hij blijft echter boven de 68 - grens. De laagste scores zijn voor easy to use, learn quickly en learn a lot of things. In het volgende prototype zal ik meer tips toevoegen om gebruikers beter te begeleiden. 9 APPENDIX Tijdsbesteding -> groot logboek