KWANTITATIEF TESTEN experimenteel ontwerp (MIT 14) statistische analyse (MIT 15)
tips Google Wikipedia MIT 14, 15 stats.stackexchange.com ander onderzoek dat lijkt op het jouwe
experimenteel ontwerp
kwantitatieve test grote sample size strak protocol heldere onderzoeksvraag alle variabelen geëlimineerd significantie van de conclusies wiskundig getoetst
signaal: afhankelijke variable Y conversie efficiëntie learnability satisfaction? desirability? understanding?
vormen lab test vragenlijst online demo A/B test
Lab test interviewen is moeilijk respondenten zijn duur respondenten vinden het niet leuk respondenten zijn snel op zeer nauwkeurige controle over de variabelen Veel extra data voor exploratie (bijv. video-opnames) te combineren met kwantitatief onderzoek Eye trackers
Vragenlijst framing effect komt vaak neer op meningen vragen goed voor extra info goedkoop veel respondenten
Online demo minder controle dan lab test makkelijk grote sample size tools: usabilla etc. houtje-touwtje: Google forms, clickmaps, php scriptjes.
A/B test echte klanten zien je ontwerp meteen enorme sample size ongecontroleerde variabelen gesampled uit de perfecte distributie. Werkt zo goed dat het verleidelijk is om puur op conversie te optimaliseren.
Tips voor dit project maak het jezelf makkelijk: kies een vraag die simpel te testen is kies een bestaand experimenteel ontwerp plan ALLES grondig van te voren
OPDRACHT A (10 min) brainstorm onderzoeksvragen (5min) wat is makkelijk te onderzoeken? wat willen we echt weten? literatuuronderzoek (5 min)
controlled randomized double blind
Between of within between subjects respondent krijgt A of B meer respondenten nodig within subjects respondent krijgt eerst A, dan B learning effect, fatigue soms krachtiger analyse.
Randomization between subjects A of B willekeurig kiezen within subjects welke eerst willekeurig kiezen meer dan twee opties (A, B, C): Latin squares, zie MIT 14
Variatie Alle extra variabelen vast goed gecontroleerd zegt niks over generalisatie Alle extra variabelen verschillend volgens verwachte distributie bij te lage sample size kan variatie enorme effecten veroorzaken
Blocking A expert B beginner A B multiple testing randomization
Self-reporting Vind je deze interface prettig? Hoe vaak per dag check je je e-mail? Bijna altijd onbetrouwbaar Bijna altijd een zwaktebod
Experimenteel ontwerp is een kunst internal validity external validity reliability
kwalitatief en kwantitatief onderzoek Meer rendement per respondent Zorg dat je kwantitatief eerst doet, en een heldere lijn trekt. Alternatief: nacoderen
OPDRACHT B & Pauze ontwerp je experiment bouw het test het
Statistiek descriptieve statistiek gemiddelde, variantie bar charts, scatterplots hypothesetoetsen t-toets, etc.
Look at your data
Show your spread
Show your spread
Hypothese toetsen Fisher Neyman-Pearson
Fisher Hypothesen bewijzen kan niet, je kunt ze alleen ontkrachten. H 0 : de nulhypothese Meestal: is het ge-observeerde effect waar, of is het puur toeval?(h 0 )
Neyman-Pearson Maar wat nou als ik een beslissing moet maken? type 1 error, type2 error alternatieve hypothese gaan we vandaag niet op in.
Distributies bernoulli binomiaal normaal
Wat is een statistic? distributie data statistic gemiddelde variantie etc.
Als je de distributie van je data weet of aanneemt (H 0 ), dan weet je ook de distributie van je statistic.
Tweezijdig reject don t reject reject
Eénzijdig don t reject reject
reject
Testing Iedere rejection region is toegestaan. Kies p, en de rejection region, voordat je gaat samplen.
OPDRACHT C (20 min) Maak nepdata voor je experiment. Wat verwacht je voor data te krijgen? Plot je data (met spread) Literatuuronderzoek: welke toetsen worden in de literatuur gebruikt?
A/B test A: 80% conversie, n=1000 B: 95% conversie, n=20 H 0 : B is niet beter dan A. statistic: aantal conversies, 19 verdeling vd data: Bernoulli verdeling van de statistic: Binomiaal
Binomiaal: n=20, p=0.8
belangrijk verschil verdeling van je DATA verdeling van je STATISTIC
Likert scale disagree totally, disagree, neutral, agree, agree totally Niet-numerieke data: alleen ordinaal Verdeling van de data: geen idee H0: A & B hebben dezelfde verdeling Mann-Whitney U test
Student s t One sample, two sample, paired Verdeling van de data: normaal Verdeling van de statistic: student s t
Hypothesetoets kiezen en uitvoeren Let op de aannames Let op wat je moet rapporteren Software R SPSS Excel Zelf programmeren SciPy (python)
OPDRACHT D (20 min) Bedenk hoe je je data gaat analyseren. Welke toets is in deze situatie geschikt? Voer de toets uit op je nepdata uit de vorige opdracht.