Vragen. Factor analyse. Waar moet ik aan denken bij het opstellen van vragenlijst? Introductie Annemarie Spruijt - werkcolleges

Maat: px

Weergave met pagina beginnen:

Download "Vragen. Factor analyse. Waar moet ik aan denken bij het opstellen van vragenlijst? Introductie Annemarie Spruijt - werkcolleges"

Henriette Bakker
8 jaren geleden
Aantal bezoeken:

1 Beoordelen en construeren van lijsten workshop NVMO werkgroep OvO 16 februari 2012 Introductie Annemarie Spruijt - werkcolleges 2 kwalitatieve studies Op basis uitkomsten constructie lijst Tim Mainhard Nicole Mastenbroek Annemarie Spruijt Faculteit Diergeneeskunde Leerstoel Kwaliteitsbevordering Diergeneeskundig Onderwijs Uiteindelijk constructie model Vragen Waar begin ik? Literatuur scaling procedures? Literatuur statistiek? Literatuur vergelijkende lijsten Ga ik bestaande lijst gebruiken of nieuwe ontwikkelen? Als bestaand wanneer moet je opnieuw valideren? Waar moet ik aan denken bij het opstellen van lijst? Itemconstructie Hoe kun je items beste opstellen? Hoeveel items zijn realistisch? Hoe maak je selectie? Antwoordopties Validiteit Betrouwbaarheid Factor analyse Waar ligt de grens tussen exploratieve en confirmatorische factoranalyse? Tot hoever moet je statistische benaderingen hebben voorbereid als je lijst eruit doet?

Literatuur scaling procedures? Literatuur statistiek? Literatuur vergelijkende lijsten Ga ik bestaande lijst gebruiken of nieuwe ontwikkelen? Als bestaand wanneer moet je opnieuw valideren?

2 Vragen uit publiek Waar moet je op letten bij het kiezen van een bestaande lijst voor je onderzoek? Bestaat er een checklist voor het beoordelen van lijsten? Bestaat er een database van alle gevalideerde lijsten die wereldwijd gebruikt worden voor bepaalde onderzoeksvelden? Hoe kun je het beste een lijst via internet opstellen die meteen automatisch verwerkt kan worden? Theorie Tim Mainhard 4 stappen: 1. Definitie construct Bestaande schalen?! 2. Items genereren en beoordelen Hands-on 3. Schaal testen 4. Schaal vaststellen Hands-on Eigenschappen van een schaal Dimensionality Homogeen, éénconstruct, voorwaardevoorvaliditeiten betrouwbaarheid(factoranalyse) Reliability/betrouwbaarheid Test hertest Interne consistency (inter-item correlatie, Cronbach s alfa) Validiteit Meet de schaalwatikwilmeten? Construct, face, criterion (theorie, correlaties, voorspellen) 1.Definitie construct THEORIE of eigenmodel inhoudelijke definitie aantal dimensies Indexing vs scaling vs evaluatie Jaarinkomen = SES Ikwilbegrijpenhoe het zit aard vd motivatie diagnostiek De colleges waren goed verzorgd?? (SWAAK & DE JONG, 1996) Uitstapje OW evaluatie

Hoe kun je het beste een lijst via internet opstellen die meteen automatisch verwerkt kan worden? Theorie Tim Mainhard 4 stappen: 1. Definitie construct Bestaande schalen?! 2.

3 2. Items genereren respons format Open/gesloten, 5-puntschaal of meer item formulering (afhv. complexiteit 3-20, pilot: aantal x 3 of 4) Hands on Content validiteit Expert en leek oordelen leuk +/-25 min Plenair terugrapporteren Wie zijn de respondenten?? 3. Schaal testen 4. Schaal vaststellen Pilot, trimmen : Verschillende samples? Item check (zieexplore in spss: SD, scheef, ) EFA en validiteit Cronbach s alfa en betrouwbaarheid layout Validiteit testen (vergelijken met gouden standaard, predictive validity, e.d.) EFA (dimensionaliteit in de gaten houden!) CFA (SEM amos, M+, LISREL, ) Factormodel invariance Anpassen schaal Normen vaststellen? Bronnen van variantie Multilevel (sampling: regio-, praktijk-, groepseffect eigenschap van een praktijk of van een patient?) G-study (hoeveel items, hoeveel respondenten, hoeveel situaties, ) Voorbeeld over patiënt : Respondent (bijv. behandelaar) Neiging om hoge scores te geven Persoonlijke opvattingen Situatie/context Item Error Formulering Construct zichtbaarheid verschillen tussen patiënten Patiënt (target of doel) Persoonlijke eigenschappen Omgeving / sampling Hands on(?) +/-25 min Plenair terugrapporteren

Schaal vaststellen Pilot, trimmen : Verschillende samples?

4 Context Nicole Mastenbroek Onderzoek naar werkbeleving jonge dierenartsen Domein arbeidspsychologie Erzijnverschillendetheorienm.b.t. werkbeleving Type onderzoekal veelgedaanin andere beroepsgroepen Meer van hetzelfde? Watwilje weten? Watwilje meten? Welke lijsten zijn er al? Waarom wil je een nieuwe lijst ontwikkelen? Watwilje doenmet de data die je genereert? Weetje al ietsover de statistiek? Eisenaande nieuwte maken lijst De theorie Vragenlijst is gebaseerd op een valide theoretisch raamwerk De lijst is zo lang als noodzakelijk En tevenszokortalsmogelijk Moet ook in andere context bruikbaar zijn Flowchart van procedure en resultaat Procedure : Qualitative Phase Semistructured group interviews Result longlist of job characteristics Crosschecking and prioritization Result: shortlist of most importantjob characteristics

Eisenaande nieuwte maken lijst De theorie Vragenlijst is gebaseerd op een valide theoretisch raamwerk De lijst is zo lang als noodzakelijk En tevenszokortalsmogelijk Moet ook in andere context

5 Procedure: second phase Creating the definitive questionnaire Operationalizationin items and scales Incorporation in questionnaire Result: composition of the preliminary questionnaire Pretesting Questionnaire mailing Exploratory factor analyses Content analysis of factors Scale reliability Result: Results of the factor analysis Valkuilen Te veelwillenin eenlijst Onvoldoende borgen van het proces Procedure niet helder hebben voor je begint Nietbijhoudenwatje gedaanhebt Gevalideerde schalen aanpassen Copyright vergeten Boeken: einde Netemeyer, R. G., Bearden, W. O., & Sharma, S. (2003). Scaling Procedures. Sage. Field, A. (2011). Discovering Statistics Using SPSS. (3rd ed.). Sage. Uitstapje: Onderwijsevaluatie Dimensies of losse? Onderdelen van een cursus vs 4 evaluatieniveaus (Kirkpatrick, 1998) Kirkpatrick s Levels of Evaluation 1. Reaction (de kroketten waren lekker) 2. Learning (weet nu dat ) 3. Behaviour (doet nu ) 4. Results (wat heeft een training opgeleverd) 5. (return on investment) (was het de moeite?) Kirkpatrick, D. L. (1994). Evaluatingtraining programs: the fourlevels. San Francisco: Berrett-Koehler.

proces Procedure niet helder hebben voor je begint Nietbijhoudenwatje gedaanhebt Gevalideerde schalen aanpassen Copyright vergeten Boeken: einde Netemeyer, R. G., Bearden, W. O., & Sharma, S. (2003).

Items: do s and dont s Do s De zelfde stam Positief formuleren Kort en bondig Actief Dont s Voorwaardelijk formuleren Ontkenningen Intensiteit ( heel veel ) in het item responsformaat Aantal

6 Items: do s and dont s Do s De zelfde stam Positief formuleren Kort en bondig Actief Dont s Voorwaardelijk formuleren Ontkenningen Intensiteit ( heel veel ) in het item responsformaat Aantal schaalpunten? continuïteit, spreiding, middenpunt, Welke labels? nooit-altijd; helemaal niet/niet/soms/vaak/heel vaak weet niet? Geen mening? Stroomlijnen items en antwoordschaal Uniformiteit Maar: ruis vs. halo-effect of invul-flow layout Item check (onderscheidingsvermogen) Range Spreiding(SD) liefst 1sd bij 5 puntschaal Scheefheid Gepiektheid Toeval en echt fout (klassieke testtheorie) Error Ruis Cronbach s alfa Error Systematische fout True Sociale wenselijkheid Formulering of volgorde items niet zomaar te ontdekken, validiteit X Dimensionality!

Stroomlijnen items en antwoordschaal Uniformiteit Maar: ruis vs.

Factoranalyse process Praktische vraag CFA EFA Theorie Construct Operationaliseren Bestaande tests Toetsen Geheel model Verkennen Subschalen Literatuur Eigen ideeën, experts, leken Randvoorwaarden

7 Factoranalyse process Praktische vraag CFA EFA Theorie Construct Operationaliseren Bestaande tests Toetsen Geheel model Verkennen Subschalen Literatuur Eigen ideeën, experts, leken Randvoorwaarden items schaal { Statistische analyse Validering Handleiding FOUT: Wat vond je van de ouderwetse manier waarop dat onderwerp in de les werd behandeld? Goed: Wat vond je van de manier waarop dat onderwerp in de les werd behandeld? Vermijd evaluatief geladen woorden FOUT: Gaat u weleens met de fiets naar het werk? Goed: Hoe vaak bent u de afgelopen week met de fiets naar het werk gegaan? Te algemeen geformuleerd Fout: Ouders mogen seksuele spelletjes van hun kinderen niet verbieden. Goed: Ouders mogen seksuele spelletjes van hun kinderen best toelaten. Ontkenning FOUT: Heb je nooit gezien dat bezoekers de dieren die op de lijst staan van dieren die niet gevoederd mogen worden toch voederen? Goed: Er is een lijst met dieren die het publiek niet mag voeren. Heb je wel eens gezien dat mensen dat toch deden? Marathon-vraag

Goed: Wat vond je van de manier waarop dat onderwerp in de les werd behandeld? Vermijd evaluatief geladen woorden FOUT: Gaat u weleens met de fiets naar het werk?

8 Fout: De colleges waren heel goed te begrijpen. Goed: De colleges waren goed te begrijpen. Antwoordschaal in de vraag Vindt u het milieuprobleem belangrijk? (respons 95% ja) Welke maatschappelijke problemen vindt u belangrijk? (10% milieu) mijn persoonlijke opvatting over onderzoek 1=oneens - 7=eens 1. Methoden van onderzoek en statistiek zijn moeilijk. Hands on Maak eerst de lijst 2. Ik ben geïnteresseerd in wetenschappelijk onderzoek. 3. In mijn dagelijks leven speelt wetenschappelijk denken geen rol. 4. De concepten die gebruikt worden bij het doen van wetenschappelijk onderzoek zijn moeilijk te begrijpen. 5. De onderzoeksvaardigheden die ik in mijn studie leer, zullen me later in mijn beroep van pas komen. 6. Wetenschappelijk onderzoek is gecompliceerd. 7. Als ik een wetenschappelijk artikel lees, dan bestudeer ik de manier waarop het onderzoek werd uitgevoerd. mijn persoonlijke opvatting over onderzoek 1=oneens - 7=eens 8. In mijn dagelijks leven maak ik gebruik van wetenschappelijk onderzoek. 9. Ik maak veel fouten bij het doen van onderzoek. 10.Kennis die wordt verkregen uit wetenschappelijk onderzoek is nuttig en bruikbaar. 11. Ik voel me onzeker over het analyseren van wetenschappelijke onderzoeksgegevens. 12. Wetenschappelijk onderzoek doen of erover lezen is leuk. 13. Wetenschappelijk onderzoek is niet relevant in mijn dagelijks leven. 14.De wiskunde en statistiek die wordt gebruikt bij wetenschappelijk onderzoek is moeilijk. Wat zijn de constructen? Welke items horen bij de constructen? (VOOR DE OPLOSSING ZIE VOLGENDE PAGINA) Kwaliteit vd items: welke items kunnen beter, hoe? Andere gedachten/opmerkingen bij de lijst

Hands on Maak eerst de lijst 2. Ik ben geïnteresseerd in wetenschappelijk onderzoek. 3. In mijn dagelijks leven speelt wetenschappelijk denken geen rol. 4.

9 Factor Nut voor personal life Nut voor later beroep Affectief positieve attitude Affectief moeilijkheid Affectief onzekerheid Items 3*, 8, 13* 5, 10 2, 7, 12 1, 4, 9, 14 6, 11 Gem.score Referentie/ docenten cyprus Bij items met *: 1=7, 2=6, 3=5, 4=4, 5=3, 6=2, 7=1.

Vergelijkbare documenten

Welke vragenlijst voor mijn onderzoek?

Welke vragenlijst voor mijn onderzoek? NHG wetenschapsdag 2010 Caroline Terwee Kenniscentrum Meetinstrumenten VUmc Afdeling Epidemiologie en Biostatistiek VU medisch centrum Inhoud 1. Presentatie 2. Kritisch