Analyse van de Mechanical Turk data: 4 Belangrijke Thema s

Transcriptie

1 Analyse van de Mechanical Turk data: 4 Belangrijke Thema s Doel analyse Panos Ipeirotis beschikt over een collectie aan antwoorden waarmee de motivatie achter deelname aan taken (zogenaamde HITs) op Mechanical Turk duidelijker wordt. De analyse is in staat de belangrijkste thema s binnen deze antwoorden te identificeren waardoor de inhoud van de totale collectie inzichtelijk wordt. Uitleg en resultaten van de analyse De antwoorden van de Turkers (dit zijn deelnemers aan HITs op Mechanical Turk) zijn te vinden op Ipeirotis weblog Om de inhoud van deze antwoordencollectie inzichtelijk te maken zijn 148 antwoorden geanalyseerd. Met behulp van analyses worden ieder van de volgende resultaten geproduceerd: 1. Een Top 20 lijst die betrekking heeft op het woordgebruik binnen de Turkers antwoorden (met tussen haakjes hoeveel een specifiek woord gebruikt wordt). Echter, een lijst met alleen woordgebruik is op zichzelf niet informatief. Als woorden namelijk niet in een context geplaatst worden zijn ze vaak betekenisloos vanwege hun dubbelzinnigheid. Zodoende gaat de analyse op zoek naar de belangrijkste thema s binnen alle Turkers antwoorden. Deze thema s zorgen ervoor dat een betekenisvolle context beschikbaar komt voor gebruikte woorden. 2. De belangrijkste thema s worden geïdentificeerd en weergegeven: a. In een grafiek wordt het belang van een thema getoond met behulp van balken (hoe groter de balk des te belangrijker het thema). Het belang van een thema hangt af van hoeveel van de tekstfragmenten (zie 2c) onder een thema vallen (hoe meer fragmenten bij een thema kunnen worden ingedeeld, hoe belangrijker het thema). In de grafiek wordt ieder thema weergeven aan de hand van drie woorden. Deze drie woorden hebben een zeer prominente rol binnen een thema. Ten slotte, ter identificatie wordt aan ieder thema een cijfer toegekend. b. Vervolgens wordt de inhoud van ieder thema verder gedefinieerd aan de hand van een omvangrijk aantal woorden. Hoe groter en roder een woord, hoe belangrijker (prominenter) de rol van dit woord binnen een thema. c. Ten slotte worden voor ieder thema representatieve tekstfragmenten weergegeven. De meest prominente woorden van elk thema zijn terug te vinden in deze representatieve fragmenten. Als gevolg maken deze fragmenten de betekenis van de prominente woorden verder duidelijk. Daarnaast verduidelijken deze fragmenten tevens de onderlinge samenhang tussen de woorden. 1

2 TOP 20 - meest gebruikte woorden Mechanical Turk task[375] time[155] HITs[135] money[108] fun[97] discourages[62] pay[55] little[48] reward[46] attracts[44] earn[43] require[42] easy[41] monetary[38] enjoy[36] lot[33] quick[33] kill[30] awards[27] cents[27] aantal documenten: 148 / aantal woorden:

3 thema 3 thema 4 thema 1 thema 2 Mechanical Turk: Belangrijkste thema's fun monetary awards (1) HITs discourages require (2) money earn little (3) time kill waste (4) Inhoud thema's funmonetaryawards attracts easy quick simple reward particular challenging stuff participate enjoy sometimes especially HITsdiscourages require pay accept reject cents request lot instructions rate paid write involved websites money earn little extraspend bit add help cash account feel found save effort bonus timekill waste amount free consuming limit slow bored spare else whenever watching mind usd 3

4 Representatieve tekstfragmenten Thema 1 (Wat maakt een taak aantrekkelijk?) Reasons that motivate me include: Monetary awards, challenges involved, ease of understanding the task Yes, I consider the tasks fun I do the tasks that are quick and easy, I will stay away from the tasks that request you to verify this information with that information - as their monetary award is nothing compared to the amount of work that must go into it Monetary award, time allocated and the challenges involved are what attracts me to a particular task The reason for completing tasks is purely for the monetary awards but there is a fun aspect to it as well What attracts me to participate in a particular task is if it is relatively simple, quick, and easy to complete The thing that attracts me to participate in particular tasks is the monetary value or to learn about something new Some HITs that ask to go to another linked site and register to complete the HITs discourage me from completing tasks but monetary awards, fun attract me to do tasks I complete tasks on Amazon Mechanical Turk as I find it a quick, fun and easy way to earn myself some 'treats' Since I started (about weeks ago) I find that turking is just so much fun I am more focused on finding challenging and interesting tasks Thema 2 (Wat maakt een taak onaantrekkelijk?) There are few things which discourages me to accept certain HITs like - Rate of returning a HIT, Not understanding properly a HIT, Rejection without proper reason, Long descriptive type HITs, A fear due to unknown about rejection rate, etc [ ] so this is a great discouraging factor. I love to complete tasks that are easy and require less time. I don t accept hits that require lot of work and attention HITS that require a lot of outside research, search queries, or visiting a number of other websites in order to perform comparisons, classifications, or evaluations for relatively low rewards The nature of task attracts me to participate in a particular task, it doesn't matter how much it will pay me but some task are very lengthy and require some particular skills that discourages me to complete the task I am interested in HITs that requires creative thinking and the ones that requires original answers as opposed to just a simple web search What discourages me are tasks with high (and often unfair) rejection rates, slow payment, but most of all: HITs that ask you to do a shitload of work for just a few cents I won't accept tasks that involve signing up outside of Mechanical Turk (Go post on this forum, go rate this social networking site, etc ) 4

5 I shy away from HITs with significant writing involved as my english writing skills are less than stellar, and writing large chunks of text is very demanding and stressful for me I avoid penny HITs unless they are very simple and require very little time Thema 3 (Mechanical Turk als inkomstenbron) I complete tasks as a way to kill downtime at work, but also as a way to earn a little extra spending money I originally went to the site just to earn a little extra money I am trying to pay off a credit card, so I have set a goal for myself to earn a certain amount of extra money each day on Mturk I complete tasks at Mechanical Turk only for earning money and I hope there are no other ways of earning clean and honest money for my dedicated work I have a lot of downtime at work and this is a way to kill time, and earn a little money doing it I mainly do Mechanical Turk tasks to earn a bit of extra money We have our Mturk account linked up to a long term savings account and all the money we earn on it goes straight into savings I do turking to earn some money from home I am a housewife and I love to turk because I can make money without going out It seems to me an easy way to make some spare money Thema 4 (Mechanical Turk als tijdsbesteding) the biggest one is killing time, but if by killing time I can earn a little money it is just a bonus I typically complete tasks for the monetary awards and to kill time during slow times at work Since I do not enjoy watching TV, they are a way of killing time and the monetary awards are nice However, I can imagine that I might do it do kill time if I wasn't doing anything else at the time I do it to kill time and as a self-competition to see how many hits/money I can do in any given time frame I do it for fun, when I'm bored (killing time) and for money sometimes The reason I complete tasks on MTurk is because they are a good way to waste time while making little money in the process I am at work, killing time for the most part, and I like to be busy constantly Killing time is also a reason though not a major 5