Persuasive Technology Meten is weten Robbert Jan Beun

Transcriptie

1 Persuasive Technology Meten is weten Robbert Jan Beun Eerst: persoonlijke verandering Hoe gaat het? Last van een dipje? Extra verplichte literatuur Horsch et al (2012) Over de toepassing van verschillende types persuasieve strategieën Prochaska & Norcross (2001) Over de stadia van verandering (zie website literatuur ) Cijfer overige onderdelen Cijfer artikel + extra gebruik de besproken elementen uit de colleges en de literatuur! Procesrapportage = vo & Poster = vo extra = 0 Procesrapportage = vo & Poster = go of Procesrapportage = vo & Poster = go extra = 0,2 Procesrapportage = go & Poster = go extra = 0,5 Procesrapportage = on en/of Poster = on onderdeel overmaken tot voldoende 1

2 Essentie artikel (max 8 pagina s) De samenhang tussen de analyse van het probleem en de ontwerpbeslissingen! Dus: Welke acties moet je met het systeem kunnen doen? Waarom kies je voor welke persuasieve strategie? Hoe komt deze strategie terug in het ontwerp van de interface? Verantwoord bovendien waarom je welke onderdelen van de interface hebt getest (meten) Hoe je het ook doet, er moet: 1. een verantwoording zijn voor je ontwerpkeuzes en 2. een logische relatie zijn tussen de verschillende analysestadia Lessen van de praatjes Leuke en uitdagende applicaties Zorg dat je je gebruikersgroep inperkt en bestudeerd! Analyseer de acties die de gebruiker moet ondernemen! Geef helder de gebruikte persuasieve strategieën weer om de gebruiker de actie(s) te laten doen! Zorg dat je meetbare resultaten hebt (zie ook vandaag)! Geef een indicatie van de haalbaarheid! Meten van de impact Waar gaat het fout? Welke oplossingen kunnen we bedenken? e-coaching Meten Meten is weten Meten Doel Achterhalen van problemen Vergelijken van verschillende ontwerpoplossingen Acceptabel bewijs voor de impact van je systeem Communicatie naar stakeholders Stakeholders Team Buitenwereld financiers, gebruikers, overige Data (Big) Kwalitatief Kwantitatief Gedrag in interactie met het product bijv. gebruik van sociale media, oefeningen binnen de app, gesprekken met de app, let op privacy aspecten! Gedrag buiten het product bijv. drinken van minder frisdrank, minder roken, lastig, wees creatief! geef in artikel aan hoe je meet (en welke persuasieve technieken je daarvoor mogelijkerwijs gebruikt) geen tentamenstof! 2

3 In allerlei stadia van ontwerp Metrieken Accuraat Betrouwbaar Snel Responsief Gevoelig Goedkoop Niet: de gebruiker geeft aan dat hij elke dag wandelt Wel: de stappenteller houdt bij hoeveel stappen zijn gezet Definieer de target uitkomst Meetbaar! Meet het succes? Meet het ook falen? Accuraat? Betrouwbaar? Snel? Responsief? Gevoelig? Goedkoop? Pas op voor vanity -metrieken bijv. aantal page views, downloads, Slaapdagboek Relaxatieoefening Meten Ruwweg twee verschillende benaderingen: Expertgebaseerde methodes betrek experts (bijv. medestudenten) Participantgebaseerde methodes betrek potentiële gebruikers (end-users) Doe het op tijd! Algemene procedure 1. Bepaal de doelen van de evaluatie, de doelgebruikers, de metrieken, de context, maak prototypes of mockups, scenario s, 2. Selecteer evaluatiemethodes (of een combinatie) 3. Houd een expert review 4. Plan testen van gebruikers (vergeet niet de resultaten van de expert review) 5. Recruteer participanten en organiseer testsessies 6. Houd een gebruikerstest 7. Analyseer en schrijf rapport voor ontwerpers wat voeg je toe aan het artikel en de procesrapportage? 3

4 Maak een testplan Maak een planning 22 dec 29 dec 5 jan 12 jan 19 jan 26 jan 2 feb 9 feb 16 feb 23 feb Test 1 week 1 Test 1 week 2 dev dev Test 2 week 2 Test 2 week 3 Test 2 week 4 Test 3 week 5 Test 4 week 6 Pre dev 2 mrt 9 mrt 16 mrt 23 mrt 30 mrt 6 apr 13 apr 20 apr 27 apr 4 mei week 1 week 2 week 3 week 4 week 5 week 6 Post dev dev dev Pre dev Test A B C D Who? Siska Corine, RJ Jaap, Rinske, Fiemke What? All intro s + some evals Start + eval SR, interruption Evaluation SR, warnings Sandor Eval SR, closure 11 mei 18 mei 25 mei 1 jun 8 jun 15 jun 22 jun 29 jun 6 jul 13 jul week 1 week 2 week 3 week 4 week 5 week 6 Post Post Post Geautomatiseerde tests Testen op Detectie van fouten (bijv. software) Betrouwbaarheid (bijv. adviezen) Let onder meer op Lead time, opbouw van kennis, interrupts, onvoorspelbaar gedrag van user Gebruik relevante scenario s Let op aggregatieniveaus en foutenpropagatie Expert evaluatie Experts bekijken het systeem/prototype/ontwerp en verifiëren de interactie (ontwerp/usability/ ) Relatief snel, goedkoop en effectief Vooral in vroege stadia van het ontwerp Verschillende benaderingen: Heuristische evaluatie (meest populair) Cognitive walkthrough Heuristische evaluatie: algemeen Heuristische evaluatie Experts checken een lijst met ontwerpprincipes bijv. gebruik alleen symbolen die de gebruiker kent Normatief Kan ook met schaal bijv. 1-3 (slechte correlatie tussen experts!) Er bestaan verschillende types heuristieken: Toegankelijkheid, leren, onthouden, Controle, autonomie Veiligheid en security Attractief, beleefd, overtuigend, 4

5 Heuristische evaluatie (vrij naar Nielsen, 1994) Zichtbaarheid van systeemstatus en functie bijv. Is het duidelijk hoe en welke ondersteuning dit systeem biedt? Match tussen systeem en werkelijke wereld bijv. Is de betekenis van de symbolen duidelijk? User controle en autonomie bijv. Kunnen de gebruikers de interventie aanpassen? Consistentie en standaarden bijv. Wordt er op verschillende pagina s gebruik gemaakt van dezelfde opmaak? Herkenning i.p.v. herinnering bijv. Zijn alle acties zichtbaar of duidelijk toegankelijk? Heuristische evaluatie (vrij naar Nielsen, 1994) Flexibiliteit en efficiëntie in gebruik bijv. Kunnen gebruikers op meerdere manieren hun doelen bereiken? Esthetisch en minimaal ontwerp bijv. Is er rekening gehouden met esthetische aspecten? Helpt het systeem gebruikers met herkennen, diagnosticeren en herstel van fouten bijv. Kunt u terug als er verkeerde dingen zijn ingetypt? Help en documentatie bijv. Is er hulp als de gebruiker het niet gebruikt? Heuristische evaluatie stap voor stap voorbeeld 1. Bedenk relevante heuristieken voor persuasieve systemen 2. Houd een briefing sessie waarbij experts wordt verteld wat ze moeten doen 3. Evaluatieperiode van 1-2 uur waarbij: 1. Iedere expert apart werkt 2. Een keer door het product gaat om een gevoel te ontwikkelen 3. Een tweede keer door het product gaat om op specifieke onderdelen te letten 4. Produceer een lijst met problemen n.a.v. evaluatie 1. Leg uit met referentie naar de heuristiek 2. Wees specifiek 3. Prioriteer de problemen! (Severity rating) 5. Wellicht debriefing sessie met alle experts om het eens te worden over de ernst van de problemen Conclusie HE Aantal experts Een enkele evaluator: ca. 35% van de usability problemen Vijf evaluatoren: ca. 75% van de usability problemen Veel false positieven Mensen worden als dommer verondersteld door experts Ook false negatieven missing problems Cognitive walkthrough Cognitive walkthrough Papiergebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering, gebaseerd op taakanalyse Variaties Cognitive jogthrough (video recordings) Streamlined cognitive walkthrough 5

6 Input voor het proces Cognitive walkthrough Begrip van de te verwachten gebruikers (mensen) Verzameling scenario s met vaak voorkomende en minder vaak voorkomende activiteiten Volledige interface beschrijving (schermontwerp, taakanalyse) Vier vragen voor iedere interactiestap Zullen gebruikers proberen het bedoelde effect bereiken? Zien ze of de correcte actie beschikbaar is? Zullen ze de correcte acties associëren met het effect dat ze proberen te bereiken? Zullen gebruikers voortgang zien naar het doel? (+) Conclusie expert evaluatie Relatief snel, goedkoop en effectief Waardevol als formatieve evaluatie (-) Problemen met ecologische validiteit Mogelijk gebaseerd op fundamentele misconcepties Essentiële problemen kunnen gemist worden Sommige problemen komen in praktijk niet voor 32 Doe het, als het even kan, niet zelf! (verstrengeling van belangen) Participant gebaseerde evaluatie Hoe krijg ik informatie uit de gebruiker? Participant gebaseerde evaluatie benaderingen Participatory heuristic evaluation heuristische evaluatie met domein experts (participanten = werkdomein experts ) Coöperatieve evaluatie Vragen geëvalueerd met participanten (= co-evaluatoren) Co-discovery Observeer meerdere gebruikers in interactie systeem/prototype (think-aloud) Gecontroleerde experimenten 35 Prototypes met gebruikers Verzin een duidelijke en concrete taak Representatief voor de functionaliteit van het systeem Geef startpunt aan van de taak Voorbeeld Check een website over gedragsverandering Taak: wat moet je doen om te veranderen Startpunt: begin vanuit de home page Participanten Komen overeen met gebruikersprofiel En dus geen leden van het ontwerpteam! Wizard of OZ experimenten een mens neemt een geautomatiseerde functie in het experiment over zonder dat de participant dit weet 6

7 Een typische sessie annoying enjoyable not understand able understand able creative dull easy to learn difficult to learn valuable inferior boring exciting not interesting unpredicta ble interesting predictable fast slow inventive convention al obstructive supportive good bad complicate d easy unlikable pleasing 3/14/ Laddering Vragen naar motivaties en values O: Wat fijn je niet fijn aan dit product? P: De grootte O: Wat is het probleem met de grootte? P: Het is te klein O: Waarom is dat niet goed? P: Omdat ik het dan makkelijk kan kwijtraken O: Waarom is dat erg? P: Omdat ik dan medische data kan kwijtraken O: Waarom is dat erg? P: Omdat de privacy van data essentieel is O: Waarom is dat zo? P: Anders is er geen vertrouwen tussen dokter en patient O: Waarom is vertrouwen belangrijk? P: Omdat dat zo is. Laddering Vragen naar motivaties en values O: Wat fijn je niet fijn aan dit product? P: De grootte O: Wat is het probleem met de grootte? P: Het is te klein O: Waarom is dat niet goed? P: Omdat ik het dan makkelijk kan kwijtraken O: Waarom is dat erg? P: Omdat ik dan medische data kan kwijtraken O: Waarom is dat erg? P: Omdat de security van data essentieel is O: Waarom is dat zo? P: Anders is er geen vertrouwen tussen dokter en patient O: Waarom is vertrouwen belangrijk? P: Omdat dat zo is. Randomized Controlled Trials () Test plan and (A/B test) controle- vs. behandelgroep randomiseer deelnemers zorg voor voldoende deelnemers en meet per persoon statistische significantie? zie ook Wetenschappelijke Onderzoeksmethoden 7

8 Aantallen Demographics WL App M (SD) M (SD) Age 41 (13.9) 39 (13.0) t(149) = 1.02, p =.31 n n Gender Female χ 2 (1) =.13, p =.72 Male Living together Yes χ 2 (1) =.26, p =.61 No Currently employed Yes χ 2 (1) =.65, p =.42 No Education Lower general secondary education 7 4 χ 2 (3) = 1.10, p =.78 Higher general secondary education 10 9 Community college 11 9 University Years insomnia <1 year 8 9 χ 2 (3) = 4.31, p = years years >10 years Insomnia due to a Yes 9 7 χ 2 (1) = 0.20, p =.66 physical condition No Prescribed Sleep Yes 3 6 χ 2 (1) = 0.92, p =.348 medication No 0 2 Review Ethische Commissie Onderzoeksbeschrijving werving, inclusie/exclusiecriteria, doel, type, metrieken, Proefpersooninformatie doel, wat, gang van zaken, (niet) deelname, risico s, vergoeding, vrijwilligheid, contact, Onderzoeksprotocol de precieze stappen van het onderzoek Toestemmingsformulier (informed consent) contract lees eerst een voorbeeld door Informed Consent Behandeling van via een smartphone applicatie Ik bevestig dat ik het informatieformulier voor de proefpersoon heb gelezen en heb begrepen. Ik heb de gelegenheid gehad om aanvullende vragen te stellen en deze vragen zijn in voldoende mate beantwoord. Ik heb voldoende tijd gehad om over deelname na te denken. Ik weet dat mijn deelname geheel vrijwillig is en dat ik mijn toestemming op ieder moment kan intrekken zonder dat ik daarvoor een reden hoef te geven. Ik geef toestemming om mijn gegevens te gebruiken, [Contactadres] Namen en handtekeningen Status van het experiment Aantal proefpersonen Totaal Deelname Started 21 dagen Reken op veel dropouts 47 8

9 Metingen Questionnaires (Pre- en Posttests) ISI: Insomnia Severity Index (0 28) PSQI: Pittsburgh Sleep Quality Index (0 21) DBAS: Dysfunctional Beliefs about Sleep (0 10) HADS: Anxiety (0 21) CES-D: Depression (0 60) Insomnia Severity Index (ISI) 1. U wordt verzocht de ernst van uw huidige slaapproblemen aan te geven (d.w.z. gedurende de afgelopen 2 weken) geen een beetje behoorlijk veel zeer veel Moeite met in slaap vallen Moeite om door te slapen Probleem door te vroeg ontwaken Hoe tevreden/ontevreden bent u over uw huidige slaappatroon? zeer tevreden zeer ontevreden In welke mate denkt u dat uw slaapprobleem een belemmerende factor is bij uw dagelijks functioneren (bijv. vermoeidheid overdag, goed functioneren op het werk/uitvoeren van dagelijkse taken, concentratie, geheugen, stemming, etc.) helemaal niet belemmerend bijzonder belemmerend In welke mate denkt u dat anderen kunnen zien dat uw slaapprobleem een negatieve invloed heeft op de kwaliteit van uw leven? helemaal niet zeer duidelijk In welke mate maakt u zich zorgen over uw huidige slaapprobleem? helemaal niet heel erg veel Metingen - Dagboek SE: Sleep Efficientie TST: Totale Slaap Tijd TIB: Tijd In Bed SOL: Sleep Onset Latency WASO: Wake After Sleep Onset NWAK: Number of Awakenings TWAK: Terminal Wakefulness SQ: Sleep Quality Pre- en posttests Results Insomnia Severity Index Online x waitlist, d = A meaningful clinical change (ISI change 8) - 21 times in the app condition (44%) - 7 times in the waiting-list condition (11%) (χ 2 [1] = 15.39, p <.001) 7 Pre Post App Waitlist 9

10 Results Sleep Efficiency Treatment adherence 90 Online x waitlist, d = Pre Post App Waitlist Effect sizes Group Baseline Post-test Cohen s d Mean (SD) Mean (SD) Within Group Between group Questionnaire Insomnia severity WL (3.26) (4.46) App (3.05) 9.85(4.93) 1.33 Dysfunctional beliefs WL 5.18 (1.31) 4.82 (1.59) App 5.32 (1.30) 4.74 (1.43).41 Depression WL (5.82) (9.45) App (5.99) (5.59).98 Anxiety WL 5.64 (3.10) 6.15 (3.77) App 6.12 (2.99) 4.12 (2.48).81 PSQI WL (2.76) 9.65 (2.91) App (2.77) 7.42 (3.29) 1.09 Diary Sleep efficiency WL (8.17) (7.55) App (7.33) (5.28) Time in bed WL (45.8) (34.4) App (44.4) (31.4).36 Total sleep time WL (49.3) (46.7) App (52.1) (37.4) -.74 Sleep onset WL (21.00) (18.93) App (20.31) (12.02) 1.01 Wake after sleep onset WL (29.97) (24.70) App (31.72) (11.25) 1.79 Terminal wakefulness WL (19.95) (15.06) App (22.03) (12.65).52 Number of awakenings WL 2.22 (1.14) 2.14 (1.08) App 1.94 (0.99) 1.46 (1.14).42 Sleep quality WL 2.93 (0.52) 3.10 (0.55) App 2.97 (0.41) 3.33 (0.54) = small.50 = moderate.80 = large Kwalitatieve Data Bedankt voor het ontwikkelen van zo n fijne app. Ik zal het missen nu het onderzoek is gestopt [.] Bedtijdrestrictie was een openbaring. Sinds ik later naar bed ga val ik makkelijker in slaap [ ] Het klinkt misschien raar, maar het was alsof ik een relatie had met mijn coach, hoewel ik me bewust ben van het feit dat het gewoon een algoritme is. Daarom was ik erg teleurgesteld met de manier waarop de therapie eindigde. Het laat eigenlijk alleen maar zien hoe echt de gesprekken met de coach waren [ ] Kortom: Meten is Weten Eerst testen op fouten in de software bouw simulatieomgeving probeer verschillende scenario s Evalueer met experts potentiële gebruikers Methodes kwantitatief/kwalitatief experimenten zijn erg tijdrovend Identificeer obstakels (hoeft niet meer voor tentamen) 10

11 Een paar tips Mogelijke en noodzakelijke werkzaamheden Bestudeer verschillende onderzoeksmethoden uit Benyon (Ontwerp van Interactieve Systemen) Bepaal heuristieken en metrieken voor je evaluatie (wat wil je te weten komen?) Bepaal welke onderzoeksmethode je gaat toepassen Nodig experts uit die naar je ontwerp komen kijken (bijv. uit de andere groepen) Doe de tests met potentiële gebruikers Artikel: functionaliteit van je systeem, ontwerp, implementatie en interfaces Procesrapportage updaten Notulen 11