KWANTITATIEF TESTEN. experimenteel ontwerp (MIT 14) statistische analyse (MIT 15)

Transcriptie

1 KWANTITATIEF TESTEN experimenteel ontwerp (MIT 14) statistische analyse (MIT 15)

2 tips Google Wikipedia MIT 14, 15 stats.stackexhchange.com ander onderzoek dat lijkt op het jouwe

3 experimenteel ontwerp

4 kwantitatieve test grote sample size strak protocol heldere onderzoeksvraag alle variabelen ge-elimineerd significantie van de conclusies wiskundig getoetst

5

6 signaal: afhankelijke variable conversie efficientie learnability satisfaction? desirability? understanding?

7 vormen lab test vragenlijst online demo A/B test

8 Lab test interviewen is moeilijk respondenten zijn duur respondenten vinden het niet leuk respondenten zijn snel op zeer nauwkeurige controle over de variabelen Veel extra data voor exploratie (bijv. video-opnames) te combineren met kwantitatief onderzoek Eye trackers

9 Vragenlijst framing effect komt vaak neer op meningen vragen goed voor extra info goedkoop veel respondenten

10 Online demo minder controle dan lab test makkelijk grote sample size tools: usabilla etc. houtje-touwtje: Google forms, clickmaps, php scriptjes.

11 A/B test echte klanten zien je ontwerp meteen enorme sample size ongecontroleerde variabelen gesampled uit de perfecte distributie. Werkt zo goed dat het verleidelijk is om puur op conversie te optimaliseren.

12 Tips voor dit project maak het jezelf makkelijk: kies een vraag die simpel te testen is kies een bestaand experimenteel ontwerp plan ALLES grondig van te voren

13 OPDRACHT A (20 min) brainstorm onderzoeksvragen (10min) wat is makkelijk te onderzoeken? wat willen we echt weten? literatuuronderzoek (10 min)

14

15 controlled randomized double blind

16 Between of within between subjects respondent krijgt A of B meer respondenten nodig within subjects respondent krijgt eerst A, dan B learning effect, fatigue soms krachtiger analyse.

17 Randomization between subjects A of B willekeurig kiezen within subjects welke eerst willekeurig kiezen meer dan twee opties (A, B, C): Latin squares, zie MIT 14

18 Variatie Alle extra variabelen vast goed gecontroleerd zegt niks over generalisatie Alle extra variabelen verschillend volgens verwachte distributie bij te lage sample size kan variatie enorme effecten veroorzaken

19 Blocking A expert B beginner A B multiple testing randomization

20 Self-reporting Vind je deze interface prettig? Hoe vaak per dag check je je ? Bijna altijd onbetrouwbaar Bijna altijd een zwaktebod

21 Experimenteel ontwerp is een kunst internal validity external validity reliability

22 kwalitatief en kwantitatief onderzoek Meer rendement per respondent Zorg dat je kwantitatief eerst doet, en een heldere lijn trekt. Alternatief: nacoderen

23 OPDRACHT B (20 min) ontwerp je experiment bouw het test het pauze tot 11:40

24 Statistiek descriptieve statistiek gemiddelde, variantie bar charts, scatterplots hypothesetoetsen t-toets, etc.

25 Look at your data

26 Show your spread

27 Show your spread

28 Hypothese toetsen Fisher Neyman-Pearson

29 Fisher Hypothesen bewijzen kan niet, je kunt ze allen ontkrachten. H 0 : de nulhypothese Meestal: is het ge-observeerde effect waar, of if het puur toeval (H 0 )

30 Neyman-Pearson Maar wat nou als ik een beslissing moet maken? type 1 error, type2 error alternatieve hypothese gaan we vandaag niet op in.

31 Distributies bernoulli binomiaal normaal

32 Wat is een statistic? distributie data statistic gemiddelde variantie etc.

33 Als je de distributie van je data weet of aanneemt (H 0 ), dan weet je ook de distributie van je statistic.

34 Tweezijdig reject don t reject reject

35 Eénzijdig don t reject reject

36 Testing Iedere rejection region is toegestaan. Kies p, en de rejection region, voordat je gaat samplen.

37 OPDRACHT C (20 min) Maak nepdata voor je experiment. Wat verwacht je voor data te krijgen? Plot je data (met spread) Literatuuronderzoek: welke toetsen worden in de literatuur gebruikt?

38 A/B test A: 80% conversie, n=1000 B: 95% conversie, n=20 H 0 : B is niet beter dan A. statistic: aantal conversies, 19 verdeling vd data: Bernoulli verdeling van de statistic: Binomiaal

39 Binomiaal: n=20, p=0.8

40 belangrijk verschil verdeling van je DATA verdeling van je STATISTIC

41 Likert scale disagree totally, disagree, neutral, agree, agree totally Niet-numerieke data: alleen ordinaal Verdeling van de data: geen idee H0: A & B hebben dezelfde verdeling Mann-Whitney U test

42 Student s t One sample, two sample, paired Verdeling van de data: normaal Verdeling van de statistic: student s t

43 Hypothesetoets kiezen en uitvoeren Let op de aannames Let op wat je moet rapporteren Software R SPSS Excel Zelf programmeren SciPy (python)

44 OPDRACHT D (20 min) Bedenk hoe je je data gaat analyseren. Welke toets is in deze situatie geschikt? Voer de toets uit op je nepdata uit de vorige opdracht.