Persuasive Technology Meten is weten Robbert Jan Beun

Transcriptie

1 Persuasive Technology Meten is weten Robbert Jan Beun

2

3 Eerst: persoonlijke verandering Hoe gaat het? Last van een dipje?

4 Naast motivatie en ability ook wilskracht

5 Extra verplichte literatuur Prochaska & Norcross (2001) Over de stadia van verandering Horsch et al (2012) Over de toepassing van verschillende types persuasieve strategieën (zie website literatuur )

6 Cijfer overige onderdelen Cijfer artikel + extra Pr: Procesrapportage Ep: Eindpresentatie Pr= vo & Ep = vo extra = 0 Pr = vo & Ep = go of Pr = vo & Ep = go extra = 0,2 Pr = go & Ep = go extra = 0,5 Pr = on en/of Ep = on onderdeel overmaken

7 Essentie artikel (max 8 pagina s) Samenhang analyse van het probleem en de ontwerpbeslissingen! Dus: Welke acties moet je met het systeem kunnen doen? Wat is de minimum viable action? Waarom kies je voor welke persuasieve strategie? Hoe past deze op de most viable action? Hoe komt deze strategie terug in het ontwerp van de interface? Wat is de basisstructuur van je app? Gebruik de besproken elementen uit de colleges en de literatuur! Verantwoord bovendien welke onderdelen van de interface je hebt getest (meten)! Tijdgebrek mag als excuus

8 Advies De boodschap Eet gezond Rook niet Verspil geen energie Voor dit advies betaalt u 5 Euro! Voor wie werkt deze boodschap niet en waarom niet? Wat moet je er aan doen om iemands gedrag hiermee in overeenstemming te brengen?

9 Persuasieve strategieën Fogg Tool, medium, social agent Ability and motivation Cialdini Reciprocity, commitment en consistency, social proof, liking, authority, scarcity Social agent

10 Voorbeeldstrategieën Situatie Na een week moet gebruiker betalen voor verdere ondersteuning van de app Hoe verder? Strategie 1. Geef emotioneel punt aan (afstemming) 2. Geef aanbod aan (reciprociteit 1) 3. Geef aan wat je er voor vraagt (reciprociteit 2)

11 Bouw een natuurlijke interactieflow op

12 Hoe verder? 1. We zijn nu op een belangrijk punt gekomen in de app. Ga je verder of niet? 2. Wat kun je van ons verwachten? 1. Je gaat de komende weken verder met [het dagboek en de relaxatieoefening]. 2. Daarnaast bieden we je een intensieve methode aan om van je [ ]probleem af te komen. 3. Deze methode is gebaseerd op wetenschappelijke inzichten. [Link naar publicatie] 4. Het systeem past zich zoveel mogelijk aan je probleem aan. 3. De prijs van deze app is [ ] Euro. 1. Dit geld wordt besteed aan de ontwikkeling van [e-coaching systemen in de zorg en op het werk]. 2. U kunt er ook nog een weekje over nadenken voordat u verder gaat.

13 Strategieën betalen Afstemming (1) Reciprociteit deel 1 Aanbod (2) Wat je al eerder kreeg (eerdere ervaring) (2.1) Wat je nog meer krijgt (nieuwe ervaring) (2.2) Proof (autoriteit) (2.3) Adaptatie (personalisatie) (2.4) Reciprociteit deel 2 Vraag (3) Liking (3.1) Autonomie (3.2)

14 Toepasbaarheid op verschillende domeinen? A. Moment van betalen? B. Manier van aandacht trekken? C. Toepassing verschillende strategieën? - de volgorde aanbod/vraag - aansluiting bij ervaring

15 wilskracht resultaat status gevolgen, voordelen kennisbron

16 Hoe je het ook doet, er moet: een verantwoording zijn voor je ontwerpkeuzes, oftewel een logische relatie tussen de analysestadia (probleem, taken, strategieën en ontwerp)

17 Lessen van de praatjes Leuke en uitdagende applicaties Zorg dat je je gebruikersgroep inperkt en bestudeerd! Analyseer de acties die de gebruiker moet ondernemen! Geef helder de gebruikte persuasieve strategieën weer om de gebruiker de actie(s) te laten doen! Zorg dat je meetbare resultaten hebt (zie ook vandaag)! Geef een indicatie van de haalbaarheid!

18 Meten Meten van de impact Waar gaat het fout? Welke oplossingen kunnen we bedenken?

19 Meten is weten Doel Achterhalen van problemen Vergelijken van verschillende ontwerpoplossingen Acceptabel bewijs voor de impact van je systeem Communicatie naar stakeholders Stakeholders Team Buitenwereld financiers, gebruikers, overige Data Kwantitatief (Big) Kwalitatief

20 Meten Gedrag in interactie met het product bijv. gebruik van sociale media, oefeningen binnen de app, gesprekken met de app, let op privacy aspecten en misleiding door gebruiker Gedrag buiten het product bijv. drinken, roken, energiegedrag, bankgegevens, lastig, wees creatief! geef in artikel aan hoe je meet (en welke persuasieve technieken je daarvoor mogelijkerwijs gebruikt)

21 Ontwerpmethodologie Agile + lean korte tijdsperiodes (scrums en sprints) werk verschillende rollen in parallel user stories Waterval methode sequentiële fases over langere periode fases in voorgedefinieerde volgorde

22 Meet in alle stadia van ontwerp

23

24 Metrieken Accuraat Betrouwbaar Snel Responsief Gevoelig Goedkoop Vergelijk: de gebruiker geeft aan dat hij elke dag wandelt Met: de stappenteller houdt bij hoeveel stappen zijn gezet

25 Accuraat? Betrouwbaar? Snel? Responsief? Gevoelig? Goedkoop? Sensor Dagboek Relaxatieoefening

26 Definieer de target uitkomst Meetbaar! Meet het succes? Meet het ook falen? Pas op voor vanity -metrieken aantal page views, downloads,

27 Meten Ruwweg drie verschillende benaderingen Automatiseren Geschikte software Expertgebaseerde methodes Zoek experts Participantgebaseerde methodes Zoek gebruikers Doe het op tijd!

28 Algemene procedure 1. Bepaal de doelen van de evaluatie, de doelgebruikers, de metrieken, de context, maak prototypes of mockups, scenario s, 2. Selecteer evaluatiemethodes (of een combinatie) 3. Plan testen van experts of gebruikers 4. Recruteer participanten en organiseer testsessies 5. Houd een gebruikers- of experttest 6. Analyseer en schrijf rapport voor ontwerpers wat voeg je toe aan het artikel en de procesrapportage?

29 Maak een testplan Kritieke momenten Test A B C D Who? Siska Corine, RJ Jaap, Rinske, Fiemke What? All intro s + some evals Start + eval exer, interruption Eval exer, warnings Sandor Eval exer, closure

30 Maak een planning 22 dec 29 dec 5 jan 12 jan 19 jan 26 jan 2 feb 9 feb 16 feb 23 feb Test 1 week 1 Test 1 week 2 dev dev Test 2 week 2 Test 2 week 3 Test 2 week 4 Test 3 week 5 Test 4 week 6 Pre dev 2 mrt 9 mrt 16 mrt 23 mrt 30 mrt 6 apr 13 apr 20 apr 27 apr 4 mei Pilot 1 week 1 Pilot 1 week 2 Pilot 1 week 3 Pilot 1 week 4 Pilot 1 week 5 Pilot 1 week 6 Post dev dev dev Pre dev 11 mei 18 mei 25 mei 1 jun 8 jun 15 jun 22 jun 29 jun 6 jul 13 jul RCT week 1 RCT week 2 RCT week 3 RCT week 4 RCT week 5 RCT week 6 Post Post Post

31 Geautomatiseerde tests Testen op Detectie van fouten (bijv. software) Betrouwbaarheid (bijv. adviezen) Let onder meer op Lead time, opbouw van kennis, interrupts, onvoorspelbaar gedrag van user Gebruik relevante scenario s Let op aggregatieniveaus en foutenpropagatie

32 Expert evaluatie Experts bekijken het systeem/prototype/ontwerp en verifiëren de interactie (ontwerp/usability/ ) Relatief snel, goedkoop en effectief Vooral in vroege stadia van het ontwerp Verschillende benaderingen: Heuristische evaluatie (meest populair) Cognitive walkthrough

33 Heuristische evaluatie

34 Heuristische evaluatie: algemeen Experts checken een lijst met ontwerpprincipes bijv. gebruik alleen symbolen die de gebruiker kent Normatief Kan ook met schaal bijv. 1-3 (slechte correlatie tussen experts!) Er bestaan verschillende types heuristieken: Toegankelijkheid, leren, onthouden, Controle, autonomie Veiligheid en security Attractief, beleefd, overtuigend,

35 Heuristische evaluatie stap voor stap voorbeeld 1. Bedenk relevante heuristieken voor persuasieve systemen 2. Houd een briefing sessie waarbij experts wordt verteld wat ze moeten doen 3. Evaluatieperiode van 1-2 uur waarbij: 1. Iedere expert apart werkt 2. Een keer door het product gaat om een gevoel te ontwikkelen 3. Een tweede keer door het product gaat om op specifieke onderdelen te letten 4. Produceer een lijst met problemen n.a.v. evaluatie 1. Leg uit met referentie naar de heuristiek 2. Wees specifiek 3. Prioriteer de problemen! (Severity rating 1-4) 5. Wellicht debriefing sessie met alle experts om het eens te worden over de ernst van de problemen

36 Heuristische evaluatie (vrij naar Nielsen, 1994) Zichtbaarheid van systeemstatus en functie bijv. Is het duidelijk hoe en welke ondersteuning dit systeem biedt? Match tussen systeem en werkelijke wereld bijv. Is de betekenis van de symbolen duidelijk? User controle en autonomie bijv. Kunnen de gebruikers de interventie aanpassen? Consistentie en standaarden bijv. Wordt er op verschillende pagina s gebruik gemaakt van dezelfde opmaak? Herkenning i.p.v. herinnering bijv. Zijn alle acties zichtbaar of duidelijk toegankelijk?

37 Heuristische evaluatie (vrij naar Nielsen, 1994) Flexibiliteit en efficiëntie in gebruik bijv. Kunnen gebruikers op meerdere manieren hun doelen bereiken? Esthetisch en minimaal ontwerp bijv. Is er rekening gehouden met esthetische aspecten? Helpt het systeem gebruikers met herkennen, diagnosticeren en herstel van fouten bijv. Kunt u terug als er verkeerde dingen zijn ingetypt? Help en documentatie bijv. Is er hulp als de gebruiker het niet gebruikt?

38 Conclusie HE Aantal experts Een enkele evaluator: ca. 35% van de usability problemen Vijf evaluatoren: ca. 75% van de usability problemen Veel false positives (een fout is positive ) Mensen worden als dommer verondersteld door experts Ook false negatives missing problems

39 Cognitive walkthrough

40 Cognitive walkthrough Papiergebaseerde techniek om de details van het ontwerp en de logica achter de interactiestappen te testen Systematische benadering, gebaseerd op taakanalyse Variaties Cognitive jogthrough (video recordings) Streamlined cognitive walkthrough

41 Cognitive walkthrough Input voor het proces Begrip van de te verwachten gebruikers Verzameling scenario s Volledige interface beschrijving (schermontwerp, taakanalyse) Vragen voor iedere interactiestap Zullen de gebruikers bereid zijn de acties uit te voeren? Denk aan ability en motivation Wordt het bedoelde effect bereikt?

42 Conclusie expert evaluatie (+) Relatief snel, goedkoop en effectief Waardevol als formatieve evaluatie (-) Problemen met ecologische validiteit Mogelijk gebaseerd op fundamentele misconcepties Essentiële problemen kunnen gemist worden False negatives Sommige problemen komen in praktijk niet voor False positives 42

43 Doe het, als het even kan, niet zelf! (verstrengeling van belangen)

44 Participant gebaseerde evaluatie Hoe krijg ik informatie uit de gebruiker?

45 Participant gebaseerde evaluatie benaderingen Participatory heuristic evaluation heuristische evaluatie met domein experts (participanten = werkdomein experts ) Coöperatieve evaluatie Vragen geëvalueerd met participanten (= co-evaluatoren) Co-discovery Observeer meerdere gebruikers in interactie systeem/prototype (think-aloud) Gecontroleerde experimenten 45

46 Prototypes met gebruikers Verzin een duidelijke en concrete taak Representatief voor de functionaliteit van het systeem Geef startpunt aan van de taak Voorbeeld Check een website over gedragsverandering Taak: wat moet je doen om te veranderen Startpunt: begin vanuit de home page Participanten Komen overeen met gebruikersprofiel En dus geen leden van het ontwerpteam! Wizard of OZ experimenten een mens neemt een geautomatiseerde functie in het experiment over zonder dat de participant dit weet

47 Een typische sessie 3/16/

48 annoying enjoyable not understand able creative dull easy to learn understand able difficult to learn valuable inferior boring exciting not interesting unpredictab le interesting predictable fast slow inventive conventiona l obstructive supportive good bad complicated easy unlikable pleasing

49 Onderwerpen social agent Affectief Betuttelend Irritant Leuk Interessant Informatief Deskundig Geloofwaardig Onbetrouwbaar Onduidelijk. Persuasief Overtuigend Opdringerig Coöperatief Doelgericht Ontoegankelijk Behulpzaam Betrouwbaar

50 Laddering Vragen naar motivaties en values O: Wat vind je niet fijn aan dit product? P: De grootte O: Wat is het probleem met de grootte? P: Het is te klein O: Waarom is dat niet goed? P: Omdat ik het dan makkelijk kan kwijtraken O: Waarom is dat erg? P: Omdat ik dan medische data kan kwijtraken O: Waarom is dat erg? P: Omdat de privacy van data essentieel is O: Waarom is dat zo? P: Anders is er geen vertrouwen tussen dokter en patiënt O: Waarom is vertrouwen belangrijk? P: Omdat dat zo is.

51 Laddering Vragen naar motivaties en values O: Wat vind je niet fijn aan dit product? P: De grootte O: Wat is het probleem met de grootte? P: Het is te klein O: Waarom is dat niet goed? P: Omdat ik het dan makkelijk kan kwijtraken O: Waarom is dat erg? P: Omdat ik dan medische data kan kwijtraken O: Waarom is dat erg? P: Omdat de security van data essentieel is O: Waarom is dat zo? P: Anders is er geen vertrouwen tussen dokter en patiënt O: Waarom is vertrouwen belangrijk? P: Omdat dat zo is.

52 Test plan and RCT (A/B test)

53 Randomized Controlled Trials (RCT) controle- vs. behandelgroep randomiseer deelnemers zorg voor voldoende deelnemers en meet per persoon statistische significantie? zie ook Wetenschappelijke Onderzoeksmethoden

54 Reken op veel dropouts

55 Aantallen Status van het experiment Aantal proefpersonen Totaal Deelname Started 21 dagen 55

56 Randomiseer groepen Gebruik een random getallen generator Check de gemiddeldes Leeftijd, geslacht,

57 Demographics WL App M (SD) M (SD) Age 41 (13.9) 39 (13.0) t(149) = 1.02, p =.31 n n Gender Female χ 2 (1) =.13, p =.72 Male Living together Yes χ 2 (1) =.26, p =.61 No Currently employed Yes χ 2 (1) =.65, p =.42 No Education Lower general secondary education 7 4 χ 2 (3) = 1.10, p =.78 Higher general secondary education 10 9 Community college 11 9 University Years insomnia <1 year 8 9 χ 2 (3) = 4.31, p = years years >10 years Insomnia due to a physical condition Prescribed Sleep medication Yes 9 7 χ 2 (1) = 0.20, p =.66 No Yes 3 6 χ 2 (1) = 0.92, p =.348 No 0 2

58

59 Review Ethische Commissie Onderzoeksbeschrijving Wat ga je onderzoeken? werving, inclusie/exclusiecriteria, doel, type, metrieken, Proefpersooninformatie Welke info geef je de proefpersonen? doel, wat, gang van zaken, (niet) deelname, risico s, vergoeding, vrijwilligheid, contact, Onderzoeksprotocol Hoe ga je het onderzoeken? de precieze stappen van het onderzoek Toestemmingsformulier (informed consent) contract met de proefpersonen lees eerst een voorbeeld door

60 Informed Consent Behandeling van via een smartphone applicatie Ik bevestig dat ik het informatieformulier voor de proefpersoon heb gelezen en heb begrepen. Ik heb de gelegenheid gehad om aanvullende vragen te stellen en deze vragen zijn in voldoende mate beantwoord. Ik heb voldoende tijd gehad om over deelname na te denken. Ik weet dat mijn deelname geheel vrijwillig is en dat ik mijn toestemming op ieder moment kan intrekken zonder dat ik daarvoor een reden hoef te geven. Ik geef toestemming om mijn gegevens te gebruiken, [Contactadres] Namen en handtekeningen

61 Metingen Questionnaires (Pre- en Posttests) ISI: Insomnia Severity Index (0 28) PSQI: Pittsburgh Sleep Quality Index (0 21) DBAS: Dysfunctional Beliefs about Sleep (0 10) HADS: Anxiety (0 21) CES-D: Depression (0 60)

62 Insomnia Severity Index (ISI) 1. U wordt verzocht de ernst van uw huidige slaapproblemen aan te geven (d.w.z. gedurende de afgelopen 2 weken) geen een beetje behoorlijk veel zeer veel Moeite met in slaap vallen Moeite om door te slapen Probleem door te vroeg ontwaken Hoe tevreden/ontevreden bent u over uw huidige slaappatroon? zeer tevreden zeer ontevreden In welke mate denkt u dat uw slaapprobleem een belemmerende factor is bij uw dagelijks functioneren (bijv. vermoeidheid overdag, goed functioneren op het werk/uitvoeren van dagelijkse taken, concentratie, geheugen, stemming, etc.) helemaal niet belemmerend bijzonder belemmerend In welke mate denkt u dat anderen kunnen zien dat uw slaapprobleem een negatieve invloed heeft op de kwaliteit van uw leven? helemaal niet zeer duidelijk In welke mate maakt u zich zorgen over uw huidige slaapprobleem? helemaal niet heel erg veel

63 Metingen - Dagboek SE: Slaap Efficiëntie TST: Totale SlaapTijd TIB: Tijd In Bed SOL: Sleep Onset Latency WASO: Wake After Sleep Onset NWAK: Number of Awakenings TWAK: Terminal Wakefulness SQ: Sleep Quality

64 Pre- en posttests

65 H0 = Het systeem werkt niet Ha = Het systeem werkt wel Geef een meetbare maat aan voor niet werkzaamheid Bijv. in pre-test ISI is 16 gemiddeld

66 Voldoende proefpersonen Sample size Trade off betrouwbaarheid en extra inspanning Afhankelijk van Effect size (d = (μ1 μ2)/σ) Variantie (of ruis) (σ) Significantie (α) Power (1-β) Type 1 error: Significantie False positives (5%, 1%, ) Systeem werkt niet, maar zal toch worden gebruikt Type 2 error: Power False negatives (20%) Systeem werkt, maar zal niet worden gebruikt

67 σ x effect_size

68 Stel H0 is waar (accept H0, geen effect) Stel Ha is waar (reject H0, wel effect) Accept H0 Reject H0

69 Results ISI 17 Online x waitlist, d = Pre Post App Waitlist

70 A meaningful clinical change (ISI change 8) - 21 times in the app condition (44%) - 7 times in the waiting-list condition (11%) (χ 2 [1] = 15.39, p <.001)

71 Results Sleep Efficiency 90 Online x waitlist, d = Pre Post App Waitlist

72 Treatment adherence

73 Group Baseline Post-test Cohen s d Mean (SD) Mean (SD) Within Group Between group Questionnaire Insomnia severity WL (3.26) (4.46) App (3.05) 9.85(4.93) 1.33 Dysfunctional beliefs WL 5.18 (1.31) 4.82 (1.59) App 5.32 (1.30) 4.74 (1.43).41 Depression WL (5.82) (9.45) App (5.99) (5.59).98 Anxiety WL 5.64 (3.10) 6.15 (3.77) App 6.12 (2.99) 4.12 (2.48).81 PSQI WL (2.76) 9.65 (2.91) App (2.77) 7.42 (3.29) 1.09 Diary Sleep efficiency WL (8.17) (7.55) App (7.33) (5.28) Time in bed WL (45.8) (34.4) App (44.4) (31.4).36 Total sleep time WL (49.3) (46.7) App (52.1) (37.4) -.74 Sleep onset WL (21.00) (18.93) App (20.31) (12.02) 1.01 Wake after sleep onset WL (29.97) (24.70) App (31.72) (11.25) 1.79 Terminal wakefulness WL (19.95) (15.06) App (22.03) (12.65).52 Number of awakenings WL 2.22 (1.14) 2.14 (1.08) App 1.94 (0.99) 1.46 (1.14).42 Sleep quality WL 2.93 (0.52) 3.10 (0.55) App 2.97 (0.41) 3.33 (0.54) -.67 Effect sizes.20 = small.50 = moderate.80 = large

74 Kwalitatieve Data Bedankt voor het ontwikkelen van zo n fijne app. Ik zal het missen nu het onderzoek is gestopt [.] Bedtijdrestrictie was een openbaring. Sinds ik later naar bed ga val ik makkelijker in slaap [ ] Het klinkt misschien raar, maar het was alsof ik een relatie had met mijn coach, hoewel ik me bewust ben van het feit dat het gewoon een algoritme is. Daarom was ik erg teleurgesteld met de manier waarop de therapie eindigde. Het laat eigenlijk alleen maar zien hoe echt de gesprekken met de coach waren [ ]

75 Kortom: Meten is Weten Eerst testen op fouten in de software bouw simulatieomgeving probeer verschillende scenario s Evalueer met experts potentiële gebruikers Methodes kwantitatief/kwalitatief experimenten zijn erg tijdrovend

76 Identificeer obstakels (hoeft niet meer voor tentamen)

77 Een paar tips

78 Mogelijke en noodzakelijke werkzaamheden Bestudeer verschillende onderzoeksmethoden uit Benyon (Ontwerp van Interactieve Systemen) Bepaal heuristieken en metrieken voor je evaluatie (wat wil je te weten komen?) Bepaal welke onderzoeksmethode je gaat toepassen Nodig experts uit die naar je ontwerp komen kijken (bijv. uit de andere groepen) Doe de tests met potentiële gebruikers Artikel: functionaliteit van je systeem, ontwerp, implementatie en interfaces Procesrapportage updaten Notulen

79 Volgende week dinsdag Ben Tiggelaar!!

80

81