Gebruiksonderzoek met behulp van een frequentie/ ernst grafiek

Transcriptie

1 Gebruiksonderzoek met behulp van een frequentie/ ernst grafiek Daphne E. Karreman, Hans P. Ruitenberg, Sirvan Ugur, Sarah J.M. Vanhuysse, Alexandra M. Vosmaer, Alex A. Visser en Brecht J. Daams Koffieautomaten kunnen een grote variatie aan koffie en andere warme dranken serveren. In een gebruiksonderzoek is de interface van een dergelijke machine getest. Na het testen is een nieuwe methode ontwikkeld om de resultaten te analyseren. Bij deze gestructureerde methode worden zelfklevende notitieblaadjes ('stickies') gebruikt en worden frequentie/ernst grafieken gemaakt, een manier van werken die onderdeel is van FMEA (Failure Mode and Effect Analysis), waar het een occurrence/severity diagram heet. In dit artikel wordt de toepassing van de methode uitgelegd en worden de resultaten van het onderzoek gegeven. Introductie Koffieautomaten bestaan al vele jaren. Deze machines kunnen een grote variatie en hoeveelheid aan koffie en andere dranken leveren, die ter plaatse worden bereid voor gebruikers van het apparaat. De bediening aan de voorkant van de machine moet zo eenvoudig zijn, dat gebruikers van divers pluimage makkelijk de drank van hun keuze kunnen verkrijgen. De Jong Duke, een Nederlandse producent van koffieautomaten, gaf de auteurs de opdracht om de Informatie auteurs: Daphne E. Karreman, Hans P. Ruitenberg, Sirvan Ugur, Sarah J.M. Vanhuysse en Alexandra M. Vosmaer studeren Industrieel Ontwerpen aan de TU Delft. Alex Visser is werkzaam als docent bij de faculteit Industrieel Ontwerpen van de TU Delft. Brecht Daams heeft een eigen adviesbureau, Daams Ergonomie te Laren, en is daarnaast werkzaam als onderzoeker bij de faculteit Industrieel Ontwerpen van de TU Delft. Correspondentieadres: Faculteit Industrieel Ontwerpen, Technische Universiteit Delft, Landbergstraat 15, 2628 CE Delft, gebruiksvriendelijkheid van de bediening van een van hun producten, de Siro koffieautomaat, te verbeteren. Deze koffieautomaat heeft een scherm met knopjes aan drie kanten ernaast, zie figuur 1. Een gebruiksonderzoek werd uitgevoerd om te zien of de gebruikers problemen ondervinden met het gebruik van de koffieautomaat, en zo ja, welke problemen er dan optreden. Het doel van de gebruiksvriendelijkheidtest is alle interactieproblemen in kaart te brengen waar gebruikers van de Siro koffieautomaat tegenaan lopen. Met de daaropvolgende analyse wordt gestreefd naar inzichten in de problemen op een meer abstract niveau. Deze inzichten zullen door een ontwerpteam worden gebruikt als startpunt voor een herontwerp van het bedieningspaneel van de koffieautomaat. Toen de analyse van het gebruiksonderzoek begon moest er zoveel data verwerkt en geëvalueerd worden, dat er behoefte ontstond aan een gestructureerde methode om gebruiksvriendelijkheids problemen af te leiden en te classificeren, ten behoeve van een beter overzicht. Gebruik van het SUPEX Framework for Usability Problem Extraction (Cockton en Lavery, 1999) werd overwogen, maar deze methode voldeed niet aan alle eisen van de onderzoekers. Dit artikel beschrijft de aanpassing van deze methode. Tijdschrift voor Ergonomie Jaargang 34 nr. 1 Februari

2 Karreman et al Methode Deelnemers De Siro koffieautomaat is te vinden op verschillende locaties, bijvoorbeeld in kantines, kantoren en hotels, en bij benzinestations. De koffiemachine, en dus het bedieningspaneel, wordt gebruikt door zeer uiteenlopende gebruikers: mannen en vrouwen, met diverse leeftijden, culturele achtergronden, ervaringen, lichaamsafmetingen en dergelijke. In dit kwalitatieve onderzoek zijn 15 mensen gevraagd deel te nemen. Van de vijftien deelnemers waren er acht vrouwen en zeven mannen, met een gemiddelde leeftijd van 33.7 jaar en een lichaamslengte die varieerde van 1.62 tot en met 1.94 meter (gemiddelde 1.76). De meeste deelnemers waren Nederlands, één deelnemer was Taiwanees en één was Italiaans. Drie deelnemers waren linkshandig. Locatie en onderzoeksopstelling De Siro koffieautomaat van De Jong Duke, waarvan het bedieningspaneel getest werd, is te zien in figuur 1. Het scherm kan op verschillende manieren worden geconfigureerd. Slechts één configuratie is getest. De test werd uitgevoerd in de ontvangsthal van het Culturele Centrum van de Universiteit Delft. Deze locatie werd gekozen om twee redenen: ten eerste is het een natuurlijke omgeving voor een koffieautomaat, wat het onderzoek meer natuurlijk maakt en betere onderzoeksresultaten oplevert (Kanis en Rooden, 2005). Ten tweede is het Culturele Centrum een goede plaats om passanten uit te nodigen om deel te nemen aan het onderzoek. De koffieautomaat was wel aangesloten op electriciteit, zodat het bedieningspaneel werkte, maar niet op de waterleiding. De machine serveerde geen drank, maar alleen plastic bekers. De machine maakte echter dezelfde geluiden als normaal (malen, zoemen), wat de simulatie van het proces geloofwaardiger maakte. Figuur 1. De Siro koffieautomaat. Om de handelingen en uitdrukkingen van de deelnemers tijdens het onderzoek vast te leggen, zijn twee camera s gebruikt. Eén camera, die naast de deelnemer werd geplaatst, nam het bedieningspaneel van de koffieautomaat op en tevens de opmerkingen van de deelnemer tijdens het uitvoeren van de opdracht. De tweede camera werd meer op afstand geplaatst om een overzicht van de situatie op te nemen, zie figuur 2. Tijdens de observatie maakten twee onderzoekers aantekeningen als waarnemers. Figuur 2. De proefopstelling met twee camera s. Procedure Elke deelnemer kreeg een inleiding over het onderzoek en de koffieautomaat. Ook werd de deelnemers toestemming gevraagd om het onderzoek op video op te nemen. De deelnemers kregen de opdracht om hardop te denken tijdens het onderzoek. De deelnemers kregen drie opdrachten, die opliepen in moeilijkheidsgraad. Bij elke opdracht moest een bepaalde drank uit de koffieautomaat gehaald worden, met behulp van het bedieningspaneel. Een eenvoudige taak is bijvoorbeeld het verkrijgen van een kop zwarte koffie. Een gemiddelde taak is het verkrijgen van een extra zoete café latte, en een moeilijke taak is het bestellen van een onmogelijke combinatie, of het omgaan met een foutmelding van het systeem. Veertien verschillende taken zijn gebruikt om te zorgen dat elk aspect van de interactie aan bod zou komen tijdens het onderzoek. Deze taken werden random toebedeeld aan de deelnemers, waarbij ze van elk niveau minstens één taak kregen. De deelnemers kregen geen hints bij het uitvoeren van de taken. De onderzoeksleider luisterde actief en gaf alleen subtiele terugkoppeling in de vorm van Mm hmmmm en Uhuh (Boren en Ramey, 2000). Na het afronden van de opdrachten werd iedere deelnemer geïnterviewd. De onderzoeksleider stelde vragen over wat er opviel tijdens het uitvoeren van de taken, en vroeg daarna over de ervaring van de deelnemer met de opdrachten en de koffiemachine. De waarnemers konden vragen stellen over interessante interacties die ze gezien hadden. De deelnemers werden 12

3 Gebruiksonderzoek met behulp van een frequentie/ernst grafiek tot slot bedankt voor hun tijd en kregen een kleine beloning. Per deelnemer duurde het onderzoek 10 tot 20 minuten, afhankelijk van de snelheid waarmee de opdrachten werden uitgevoerd, het aantal problemen dat optrad, en hoe spraakzaam de deelnemers waren tijdens het interview. Tijdens de test werd Nederlands gesproken met de Nederlandse deelnemers, en Engels met de twee niet-nederlandse deelnemers. Resultaten en analyse Om de relevante informatie uit de veelheid van video- en audiomateriaal, interviews en dubbele aantekeningen te halen, ontwikkelde het onderzoeksteam een aanpak gebaseerd op het SUPEX Framework for Usability Problem Extraction (Cockton en Lavery, 1999). Het SUPEX Framework is een gestructureerde, stap-voor-stap benadering, die observaties duidelijk en makkelijk te verwerken maakt. De SUPEX methode is aangepast door het onderzoeksteam, omdat deze methode voornamelijk gericht is op video materiaal en niet op aantekeningen. Aanpassing van de methode resulteerde in de volgende manier van werken, die samengevat is in tabel 1. De activiteiten in iedere fase worden hieronder in meer detail besproken. Formatteren van data Om de data te kunnen formatteren voegde een van de teamleden de aantekeningen van de twee waarnemers samen op één formulier. Het formulier had een duidelijke structuur, om de consistentie van de resultaten te bevorderen. Hetzelfde teamlid bekeek het video materiaal en voegde zijn/haar eigen waarnemingen toe aan het formulier. Deze manier van werken beoogt de subjectiviteit van de observaties te verkleinen. Onderaan het formulier werden alle interactieproblemen, meningen van deelnemers en gebruikerstips opgenoemd. Analyse van interactieproblemen Iedere onderzoeker nam zijn/haar eigen formulieren en schreef de belangrijke bevindingen op zelfklevende notitieblaadjes ( stickies ). Op alle stickies werden de naam van de deelnemer, het nummer van de taak en de taak zelf geschreven. Daarnaast werd er een interactieprobleem, een mening van de deelnemer, of een tip van de deelnemer op geschreven. Interactieproblemen werden geschreven op oranje stickies, meningen van de deelnemers op roze stickies en tips van deelnemers op gele stickies. Het onderzoeksteam maakte gezamenlijk clusters van stickies van alle categorieën, gebaseerd op gelijkenis van interactieproblemen. Voor ieder cluster werden de problemen gegeneraliseerd naar meer abstracte beschrijvingen, en ieder opnieuw geformuleerd probleem werd op een nieuw stickie genoteerd. De abstracte probleembeschrijvingen werden gelabeld naar het soort interactieprobleem: perceptie, cognitie, handeling of ervaren inspanning. De clusters werden gefotografeerd om ze te documenteren. De abstracte beschrijvingen van problemen en labels Tabel 1. Samenvatting van de verschillende fasen en activiteiten tijdens de analyse van de resultaten van gebruiksonderzoek, volgens de aangepaste SUPEX methode aangevuld met elementen uit Failure Mode and Effect Analysis (FMEA). Fase Formatteren van data Analyse van interactieproblemen Causale analyse #1 Causale analyse #2 Conclusies en aanbevelingen Activiteit, samengevat Selecteren van relevante gebeurtenissen Labelen en clusteren van interactieproblemen, meningen en tips van deelnemers Abstraheren van probleembeschrijvingen Labelen van de abstracte probleembeschrijvingen naar soort interactieprobleem Clusteren naar producteigenschappen als oorzaak van problemen Beoordelen van frequentie en ernst van problemen Uitzetten van problemen in een frequentie/ernst grafiek Labelen van probleembeschrijvingen met de factoren die het probleem veroorzaakten, en het soort interactieprobleem Uiterste punten op de grafiek worden met elkaar verbonden, het resulterende oppervlak wordt gearceerd Conclusies trekken Ontwerpaanbevelingen schrijven Verslag leggen Tijdschrift voor Ergonomie Jaargang 34 nr. 1 Februari

4 Karreman et al de Failure Mode and Effects Analysis (FMEA) techniek (Stamatis, 2003), en is vergelijkbaar met de indeling op ernst en frequentie zoals beschreven door Rubin (1994). Deze grafiek wordt bij FMEA occurrence/ severity diagram genoemd, wat vertaald kan worden met frequentie/ernst grafiek. Dit proces nam ongeveer twee uur in beslag en werd uitgevoerd door teams van twee of drie onderzoekers. Figuur 3. Indruk van het resultaat van de analyse tot nu toe: clusters van gekleurde stickies. De stickies zijn geclusterd op basis van gelijkenis van interactieproblemen. Het soort informatie is kleurgecodeerde: oranje stickies geven een interactieprobleem aan, roze stickies bevatten meningen van deelnemers en op de gele stickies staan tips van deelnemers. werden in een tabel gezet. Dit proces werd in ongeveer drie uur uitgevoerd. Het onderzoeksteam discussieerde over relevante factoren. Zie figuur 3 om een indruk te krijgen van de clusters. Causale analyse #1 De abstracte probleembeschrijvingen werden op een nieuw bord gehergroepeerd. Ze werden geclusterd naar de producteigenschappen die bijdroegen aan het ontstaan van deze problemen en meningen. Hieruit volgde een nieuw overzicht over de problemen, gebaseerd op hun mogelijke oorzaak, zie figuur 4. De frequentie van de problemen en de ernst daarvan werden beoordeeld op een schaal van 1 tot 5, en de beoordeelde problemen werden in een grafiek uitgezet. Deze grafiek geeft inzicht in het belang van de problemen in relatie tot elkaar: het product van frequentie en ernst geeft het belang van het probleem aan op een schaal van 1 tot 25. Belang = frequentie x ernst, zie figuur 5. Deze techniek is afgeleid van Figuur 4. Abstracte omschrijvingen van problemen, geclusterd naar producteigenschappen die bijdroegen aan het ontstaan van deze problemen en meningen. Figuur 5. Een indruk van de resulterende frequentie/ernst grafiek. Causale analyse #2 De frequentie/ernst grafiek werd uitgebreid door de beschrijvingen van problemen te labelen met de factoren die bijdroegen aan het ontstaan van de problemen, afkomstig van het bord met geclusterde abstracte problemen. Dit gaf inzicht in de frequentie en ernst van de oorzakelijke factoren in het algemeen. De problemen werden ook gelabeld naar het soort interactieprobleem dat bepaald was bij het maken van het eerste cluster (perceptie, cognitie, handeling of ervaren inspanning). Dit gaf inzicht in de frequentie en ernst van de soorten interactieproblemen in het algemeen. De omschrijvingen van problemen voor iedere bijdragende factor werden in de grafiek met elkaar verbonden, en het resulterende oppervlak werd gekleurd. Dit oppervlak toonde het algemene patroon van de frequentie/ernst van de problemen die gerelateerd zijn aan de bijdragende factor. Dit proces duurde één uur en werd uitgevoerd door alle teamleden om discussie te stimuleren, zie figuur 6 en 7. Conclusies trekken, ontwerpaanbevelingen schrijven, verslag leggen Het onderzoeksteam trok conclusies, gebaseerd op de geanalyseerde data, om de onderzoeksvragen te 14

5 Gebruiksonderzoek met behulp van een frequentie/ernst grafiek de terugkoppeling en met de beker. Of het probleem te maken had met waarneming, cognitie, handeling of ervaren inspanning was niet op enige wijze gerelateerd aan de frequentie en ernst van de problemen. Figuur 6. De resulterende frequentie/ernst grafiek met bijdragende factoren en soort interactieprobleem. De nummers refereren aan de afzonderlijke taken. beantwoorden. Met behulp van de analysemethode werden de volgende inzichten voor de bediening van de koffieautomaat gedestilleerd uit de ruwe data: Ongeveer honderd verschillende interactieproblemen werden gevonden tijdens het gebruiksvriendelijkheids onderzoek. De meeste problemen waren problemen met waarneming of cognitie. Er waren minder problemen met de ervaren inspanning, en bijna geen problemen met handelingen. De frequentie van de problemen varieerde van frequent tot sporadisch, en hun ernst varieerde van onschuldig tot ernstig. Er waren vier typen problemen: (1) problemen met de structuur van de interface en met berichten; deze kwamen niet vaak voor maar waren ernstig; (2 problemen met de gebruikte termen en de betekenis ervan; deze kwamen vaak voor maar waren niet erg ernstig; (3) problemen met de lay-out; deze hadden een gemiddelde frequentie en ernst; en (4) problemen met Een belangrijk probleem was dat de terminologie die gebruikt werd op het beeldscherm vaak niet begrepen werd door de gebruikers. Het aantal functies dat de machine kan uitvoeren werd niet voldoende duidelijk uit de structuur van de huidige interface. De Nummer selectie en Koffiekan functies werden niet begrepen. De huidige structuur van de interface staat niet alle combinaties van dranken en toevoegingen toe (bijv. thee met suiker), terwijl de gebruikers dit wel verwachten. De huidige lay-out van het scherm wordt door de gebruikers beoordeeld als chaotisch en onduidelijk. Gebruikers vonden het moeilijk om van de interface een indruk te krijgen van de hoeveelheid melk en suiker, de sterkte van de drank en de grootte van de koffiekan. Discussie Als de koffiemachine werkelijk drank had geserveerd, zouden de deelnemers zich misschien minder bewust zijn geweest van het feit dat ze zich in een onderzoekssituatie bevonden. Ze zouden wellicht voorzichtiger zijn geweest met de bekers, speciaal met warme dranken er in. En ze zouden betere terugkoppeling hebben gekregen, zoals het geluid van de drank die in de beker geschonken wordt. Helaas was het werkelijk schenken van drank niet mogelijk om praktische redenen. Voor zover wij het weten is dit de eerste keer dat het model van Cockton en Lavery (1999) gebruikt is Figuur 7. Het resulterende frequentie/ernst diagram met patronen van de bijdragende factoren. De patronen zijn in twee (gelijke) figuren ingetekend, omdat ze samen in één grafiek niet optimaal zichtbaar zouden zijn. Tijdschrift voor Ergonomie Jaargang 34 nr. 1 Februari

6 Karreman et al voor onderzoek dat meer op aantekeningen dan op videomateriaal gebaseerd is. Het bleek dat de doelen van de verschillende stappen van het SUPEX model goed van toepassing waren op dit onderzoek. Alleen de acties bij iedere stap moesten aangepast worden. Het oorspronkelijke doel van het onderzoek was om alle interactieproblemen met de koffieautomaat te vinden, en nieuwe inzichten op te doen op een meer abstract niveau, wat nuttige informatie zou kunnen vormen voor een ontwerpteam. Zijn alle interactieproblemen gevonden? Er zijn in ieder geval een groot aantal interactieproblemen gevonden, aangezien er bijna honderd verschillende problemen ontdekt zijn nadat 15 deelnemers ieder 15 minuten lang de koffieautomaat gebruikt hadden. Er werden zoveel verschillende interactieproblemen gevonden, dat het niet duidelijk is of de complete verzameling al bereikt is. Zijn er nieuwe inzichten opgedaan op een meer abstract niveau? Het gebruik van analysemethoden gebaseerd op brainstormtechnieken zorgde voor voldoende discussiemogelijkheden, en het op andere wijzen ordenen van data bracht nieuwe inzichten. Tijdens de analyse van de data ontstonden inzichten op een meer abstract niveau dan de geobserveerde problemen. Door de abstractie werden de soorten interactieproblemen en de factoren die bijdroegen aan het ontstaan van die interactieproblemen duidelijk zichtbaar. Dit maakt de resultaten zeer bruikbaar voor ontwerpers. Factoren die bijdragen aan interactieproblemen kunnen zodanig worden aangepast of herontworpen dat er minder interactieproblemen ontstaan in de praktijk van het productgebruik. Het soort interactieproblemen geeft een richting aan voor het herontwerp. Ontwerpers zijn meer visueel georiënteerd dan op tekst gericht. De visuele presentatie van de resultaten met een frequentie/ernst grafiek, inclusief informatie over het soort interactieproblemen en de factoren die bijdragen aan het ontstaan van die interactieproblemen, sluit goed aan op de manier waarop ontwerpers informatie verwerken. Daarom is deze wijze van presenteren van resultaten zeer geschikt voor ontwerpers. De nieuwe analysemethode werd uitgevoerd in zes uur tijd door het gehele onderzoeksteam. Dat is gerekend zonder het herschikken van de data vooraf, en zonder het trekken van conclusies, het genereren van ontwerpaanbevelingen en het visualiseren van de resultaten. Deze manier van werken wordt door het onderzoeksteam als relatief efficiënt beoordeeld. Conclusie Bijna honderd verschillende interactieproblemen werden ontdekt tijdens het onderzoek naar gebruiksvriendelijkheid van de koffieautomaat. De problemen werden geabstraheerd en geclassificeerd op een manier die een aanpassing was aan bestaande methoden. Specifiek aan deze aanpassing is het gebruik van een frequentie/ernst grafiek. Deze nieuwe manier van analyseren en presenteren van gebruiksonderzoeksresultaten resulteerde in een overzicht van de frequentie en de ernst van problemen, gecombineerd in een grafiek. Informatie over de soorten interactieproblemen en de factoren die bijdragen aan die interactieproblemen zijn ook in de grafiek gezet. Deze informatie is bijzonder nuttig voor ontwerpers. De visuele manier van presenteren in een grafiek komt goed over bij ontwerpers. De nieuwe methode is bovendien relatief efficiënt wat tijd betreft. Kortom, het analyseren met behulp van een frequentie/ernst grafiek is een handig en efficiënt hulpmiddel voor het verwerken van de resultaten van gebruiksonderzoek. De resulterende grafiek geeft ontwerpers nuttige informatie over het soort interactieproblemen en de factoren die bijdragen aan het ontstaan ervan. Literatuur Boren TM, Ramey J. Thinking aloud: reconciling theory and practice. IEEE Transactions on Professional Communication 2000; 43: Cockton G, Lavery D A framework for Usability Problem Extraction. In: M. Angela Sasse, C. Johnson (eds.) Proceedings of Human-Computer Interaction INTERACT 99. Amsterdam, the Netherlands. IOS press Kanis H, Rooden MJ Observation as Design Tool. Delft: Delft University of Technology, Faculty of Industrial Design Engineering, Section Applied Ergonomics and Design, 2.4.2, pp. 11. Rubin, J. Handbook of Usability Testing: How to Plan, Design, and Conduct Effective Tests. Hoboken: Wiley Stamatis DH. Failure Mode and Effect Analysis: FMEA from Theory to Execution. Milwaukee: ASQ Quality Press