Vragenlijsten: van ontwikkeling tot kwaliteitsverbetering

Transcriptie

1 Vragenljten: van ontwkkelng tot kwaltetverbeterng Fouad Rmla X Y ) ' )( ( ) )( ' ( ) ' ( ) ( 3 tr tr tr Q y y r r

2

3 Vragenljten: van ontwkkelng tot kwaltetverbeterng Fouad Rmla BWI werktuk Facultet der Eacte Wetenchappen Studerchtng Bedrjfwkunde en Informatca De Boelelaan 08a 08 HV Amterdam Begeleder: Denn Roubo me 008

4

5 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Voorwoord Het BWI werktuk een verplcht onderdeel van de tude Bedrjfwkunde & Informatca (BWI). Het doel van het werktuk om op een heldere wjze een probleem te bechrjven voor een dekundge manager. Bj het chrjven van het werktuk dent rekenng te worden gehouden met het bedrjfgerchte apect van de tude en zal ook het wkunde en/of het nformatca apect verwerkt moeten worden. Tjden een zomertage bj Capgemn ben k op het onderwerp van dt werktuk gekomen. Gedurende deze tage onderzoek gedaan naar het meten van de effectvtet van archtectuurafdelngen van bedrjven. Deze effectvtet kan gemeten worden door mddel van vragenljten, de door archtecten en takeholder van de archtectuurafdelng worden ngevuld. Tjden en na deze tage ben k me verder gaan verdepen n vragenljtontwkkelng en heb k ook gekeken naar wkundge techneken om de kwaltet van dergeljke vragenljten te beoordelen. Aangezen er nog geen dataverzamelng had plaatgevonden tjden mjn tage, heb k ervoor gekozen om zelf een klen onderzoek ut te voeren om de bechreven theore n dt werktuk toe te paen n een praktjktuate. Tjden mjn tage heb k gemerkt dat vragenljten een effectef meetntrument kunnen zjn om bepaalde concepten te kwantfceren. Steed meer bedrjven maken ook gebruk van dt mddel. Het gekozen onderwerp houdt zodoende rekenng met de bedrjfgerchte component van de BWI opledng. De wkunde component komt terug n de techneken, de gebrukt kunnen worden, om de kwaltet van vragenljten te beoordelen. Ook de nformatca component n dt werktuk verwerkt door de reultaten van een zelfontwkkelde vragenljt met het tattch oftware pakket R te analyeren. Tot lot wl k graag Denn Roubo bedanken voor zjn nzet en feedback tjden de begeledng van dt werktuk. Fouad Rmla Amterdam, me 008

6 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla v

7 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Management amenvattng In de pychologe, maar ook n andere wetenchappen, worden regelmatg contructen (zoal tevredenhed, vertrouwen, et cetera) betudeerd de men net rechttreek kan oberveren of meten. Va oberveerbare gedragngen, de op één of andere maner gerelateerd zjn aan het contruct, kan getracht worden deze meetbaar te maken. Inzcht n deze oberveerbare gedragngen verkrjgt men bjvoorbeeld va reponen op een vragenljt. Om tot een kwaltatef goede vragenljt te komen, dent de contructe van dt meetntrument getructureerd plaat te vnden. Herbj het vooral belangrjk dat het doel van de vragenljt van te voren helder en goed afgebakend. Wat betreft de formulerng van de vragen dent uteraard dubbelznnghed voorkomen te worden. Slecht geformuleerde vragen leden nameljk tot nvalde onderzoekreultaten. Ook het van belang dat een vragenljt utvoerg getet wordt alvoren deze aan de doelgroep wordt utgerekt. In dt werktuk zjn Lkertchalen bechouwd om contructen meetbaar te maken. Bj dt type antwoordchaal worden de reponen op verchedene tem gecombneerd tot een enkele core voor het onderzochte contruct. De verzamelng tem, de gebrukt worden om het contruct te meten, vormt een (meet)chaal. De tem n een chaal denen een terke amenhang te vertonen, aangezen aan de hand van een chaal doorgaan een enkel algemeen kenmerk wordt gemeten. Om te onderzoeken n hoeverre de tem n een vragenljt hetzelfde concept meten, kan Cronbach worden berekend. Deze coëffcënt, de af te leden met behulp van reultaten ut de klaeke tettheore, geeft teven een ndcate van de betrouwbaarhed van een Lkertchaal vragenljt. In de ontwkkelng van een Lkertchaal vragenljt het raadzaam om de betrouwbaarhed (mate waarn een chaal dezelfde reultaten geeft bj herhaalde toepang onder dezelfde voorwaarden) en valdtet (mate waarn de chaal meet wat het behoort te meten) ervan te evalueren aan de hand van de antwoorden van proefrepondenten. Cronbach betrouwbaarhedcoëffcënt wordt bj vragenljtonderzoek ook veelvuldg gerapporteerd, ondank dat het vermelden van deze puntchatter alleen mledend kan zjn. In dt werktuk daarom ook onderzocht hoe een betrouwbaarhednterval voor Cronbach kan worden afgeled. In tegentellng tot betrouwbaarhed het analyeren van de valdtet van een vragenljt net eenvoudg. De reponen van de proefrepondenten kunnen ook gebrukt worden om de kwaltet van de Lkertchaal vragenljt te verbeteren. Tjden deze tem-analye wordt bjvoorbeeld onderzocht wat de nvloed van het verwjderen van een tem ut de chaal op Cronbach. Een andere technek kjkt naar de amenhang tuen een afzonderljk tem en de gehele chaal, gebaeerd op de overge tem. Item de laag coren op deze techneken kunnen vervolgen ut de vragenljt worden verwjderd. De beproken theore ten lotte toegepat n een praktjktuate. Hervoor een vragenljt gecontrueerd om de tevredenhed van tudenten aan de Facultet der Eacte Wetenchappen van de Vrje Unvertet te meten. Ut de Cronbach en het betrouwbaarhednterval van deze chatter bleek de orgnele vragenljt een relatef goede betrouwbaarhed te hebben. Aan de hand van een tem-analye zjn dealnettemn ze kwaltatef onguntge tem ut de vragenljt verwjderd. Op ba van de antwoorden van de repondenten zjn ook de reultaten van de vragenljt geanalyeerd. Mddel de Mann Whtney-toet gebleken dat er geen wezenljk verchl te ontdekken tuen de algemene tevredenhed van bachelor en mater tudenten en tuen de van manneljke en vrouweljke tudenten. Wel aangetoond dat tudenten de relatef lang taan ngechreven voor een tude over het algemeen mnder tevreden zjn herover dan tudenten de relatef kort taan ngechreven. v

8 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla v

9 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Eecutve ummary In pychology, but alo n other cence, contruct (lke atfacton, confdence, et cetera) that one cannot drectly oberve nor meaure are regularly beng tuded. Va obervable conduct that omehow related to the contruct a reearcher can try to meaure t. Undertandng of th obervable conduct obtaned through repone on a quetonnare for eample. To create a quetonnare of good qualty the contructon of th meaurng ntrument ha to be done n a tructured way. Durng th proce t epecally mportant that the purpoe of the quetonnare clear and correctly defned beforehand. When the queton are formulated one ha to avod ambguty of coure, becaue poor formulated queton wll lead to nvald reearch reult. It alo mportant that the quetonnare etenvely teted before t handed out to the target group. In th the Lkert cale are condered whch can be ued to make contruct meaurable. A charactertc of th type of repone cale that everal tem repone may be combned to create a ngle core for the contruct eamned. The et of tem, that ued to meaure the contruct, alo called a (meaurement) cale. The tem n a cale need to be trong related to each other, nce a cale often ued to meaure a ngle general concept. To eamne to what etent the tem n a quetonnare meaure the ame concept Cronbach can be calculated. Th coeffcent, whch can be derved from reult of the clacal tet theory, provde an ndcaton of the relablty of a Lkert cale quetonnare a well. Durng the contructon of a Lkert cale quetonnare t advable to evaluate t relablty (etent to whch a cale yeld the ame reult each tme t ued under the ame condton) and valdty (etent to whch the cale meaure what t uppoed to meaure) on the ba of repone of a tet group. Therefore Cronbach relablty coeffcent reported frequently n urvey reearche, depte the fact that only applyng th pont etmator to the data can be mleadng. That why n th the we alo eplored how a confdence nterval for Cronbach can be derved. In contrat to relablty, the analy of valdty of a quetonnare much harder. The repone of the tet group can alo be ued to mprove the qualty of the Lkert cale quetonnare. Durng th tem analy a reearcher nvetgate for eample what the effect on Cronbach when an tem removed from the cale. Another technque look at the correlaton between eparate tem and the entre cale baed on the remanng tem. Subequently the tem wth a low core on thee technque can be removed from the quetonnare. Fnally the theory dcued ha been put nto practce. For th end a quetonnare to meaure the atfacton of tudent at the Faculty of Scence of the VU Unverty Amterdam ha been developed. Baed on Cronbach and the confdence nterval of th etmator the orgnal quetonnare appeared to have a relatvely nce relablty. After carryng out an tem analy neverthele tem of bad qualty have been removed from the quetonnare. Baed on the anwer of the repondent we alo have analyed the reult of the quetonnare. Wth the Mann Whtney-tet we have howed that n general there no gnfcant dfference between the atfacton of bachelor and mater tudent and between the atfacton of male and female tudent. On the other hand we have howed that tudent that are regtered relatvely long for ther tudy are n general le atfed about t than tudent that are regtered relatvely hort. v

10 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla v

11 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Inhoudopgave VOORWOORD... III MANAGEMENT SAMENVATTING... V EXECUTIVE SUMMARY... VII INLEIDING... HOOFDSTU VRAGENLIJSTEN Introducte Vragenljt contructe Vraagvormen Twee-keuze vragen Vragen gebaeerd op meetnveau Schrjven van vragen Voor- en nadelen van vragenljten... 9 HOOFDSTU LIERTSCHAAL VRAGEN Introducte Meten van contructen Meetnveau van Lkertchalen Voor- en nadelen van Lkertchalen... 5 HOOFDSTU 3 ANALYSE VAN LIERTSCHALEN Introducte Betrouwbaarhed Halverngmethode Cronbach alpha Cronbach alpha nader betudeerd Item-analye Valdtet Convergente valdtet Dcrmnante valdtet... 7 HOOFDSTU 4 PRATIJSTUDIE: LIERTSCHAAL VRAGENLIJST CONSTRUEREN, UITZETTEN EN ANALYSEREN Introducte Optellen van de vragenljt Analye van de vragenljt Verwjderen van utbjter Betrouwbaarhed en tem-analye Conclue Analye van de reultaten Tevredenhed van bachelor en mater tudenten Tevredenhed van manneljke en vrouweljke tudenten Jaar van eerte nchrjvng en tevredenhed Conclue... 4 APPENDIX A AFLEIDING CRONBACH S ALPHA FORMULE APPENDIX B VRAGENLIJST APPENDIX C R FUNCTIES... 5 APPENDIX D UITGEVOERDE R-CODE BIBLIOGRAFIE... 6

12 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla

13 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Inledng In de ocale wetenchappen worden veelvuldg vragenljten gebrukt al meetntrument n een onderzoek. Een vragenljt ook één van de mogeljkheden bj pychologch onderzoek. Herbj kan het bjvoorbeeld gaan om een zelfbeoordelngvragenljt of een vragenljt om emand ander te beoordelen. Bnnen het bedrjfleven maakt men evenzo actef gebruk van vragenljten om bepaalde data te verzamelen. Herbj kan men bjvoorbeeld denken aan kwanttatef marketng onderzoek of mpelweg aan tevredenhedonderzoeken onder het peroneel. Tegenwoordg zen we dat vragenljten enorm popular zjn, mede omdat ze typche en orgnele nformate bechkbaar maken de net va andere bronnen te verkrjgen. In dt werktuk rchten we on vooral op vragenljten, de door de repondenten ndvdueel ngevuld kunnen worden. Deze vragenljten worden ook wel zelfgeadmntreerde vragenljten (elf-admntered urvey) genoemd. Een maatchappeljke trend dat eder jaar het aantal onderzoeken utgevoerd met behulp van zelfgeadmntreerde vragenljten, n het bjzonder va de mal, het aantal ntervewonderzoeken overtreft. De redenen hervoor zjn volgen [, p.7] de lagere koten van zelfgeadmntreerde vragenljten en het fet dat organate dergeljke onderzoeken zelf kunnen utvoeren, zonder een profeonele organate hervoor n te chakelen. Bj ntervewonderzoeken, de telefonch of face-to-face plaatvnden, wordt meetal wel de hulp van een derde partj ngeroepen. Mddel een lteratuurtude zal n dt BWI werktuk onderzoek worden gedaan naar hoe een zelfgeadmntreerde vragenljt op een gedegen maner kan worden gecontrueerd en hoe de kwaltet ervan beoordeeld kan worden. Teven zullen techneken beproken worden om de kwaltet van het meetntrument te verbeteren. In hoofdtuk komen een aantal pelregel aan bod de bj de ontwkkelng van een wllekeurge vragenljt aandacht verdenen. In hoofdtuk zal een veel voorkomende antwoordchaal, de Lkertchaal, worden beproken. Hoofdtuk 3 taat n het teken van wkundge techneken om de kwaltet van Lkertchaal vragenljten te beoordelen. De wkundge afledng van één van de techneken komt n Append A utgebred aan bod. Ook wordt n hoofdtuk 3 bekeken welke methoden aangewend kunnen worden om een vragenljt te verbeteren. Ten lotte de beproken theore ut de hoofdtukken tot en met 3 toegepat n een praktjktuate. Een Lkertchaal vragenljt om de tevredenhed van tudenten aan de Facultet der Eacte Wetenchappen te onderzoeken, ngevuld door tudenten en vervolgen zjn de kwaltet en de reultaten van deze vragenljt geanalyeerd. Een utgebred verlag herover te lezen n hoofdtuk 4.

14 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla

15 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Hoofdtuk Vragenljten. Introducte Een vragenljt een yteem voor het verzamelen van nformate om kenn, tandpunten, en gedrag te bechrjven, te vergeljken of ut te leggen []. Deze nformate wordt verzameld door een groep menen vragen te laten beantwoorden en/of tellngen te laten beoordelen. Het optellen van deze vragen/tellngen dent op een getructureerde wjze plaat te vnden. In paragraaf. komt een tappenplan aan bod, dat gebrukt kan worden om tructuur te brengen n de vragenljtontwkkelng. Bj het optellen van een vragenljt taat een onderzoeker voor veel keuze. Eén van deze keuze behelt de vraagvormen de n de vragenljt gehanteerd zullen worden. De gekozen vraagvorm heeft onder andere gevolgen voor de analyemogeljkheden van de antwoorden op de vragenljt. In paragraaf.3 wordt aandacht beteed aan een aantal vraagvormen. Het contrueren van een vragenljt uteraard een krteke uccefactor bnnen een onderzoekproce, aangezen het natuurljk van belang dat potentële repondenten de jute vragen geteld krjgen, de vragen eendudg nterpreteren, n taat zjn om accuraat te antwoorden en bered zjn om de vragen te beantwoorden. Goed geformuleerde vragenljten zjn, volgen [3], dan ook makkeljk n te vullen door de repondenten, verzamelen nformate accuraat en content, en verchaffen data de geanalyeerd kan worden om antwoord te geven op onderzoekvragen. In paragraaf.4 komen een aantal regel aan bod, de gevolgd kunnen worden, om tot goed geformuleerde vragen te komen. Het wel bekend dat het utvoeren van een onderzoek mddel een vragenljt een waardevolle methode om van een grote groep repondenten nformate over allerle zaken te verzamelen. Toch dent men herbj net te vergeten dat aan de hand van vragenljten meetal perceptuele nformate wordt verkregen; deze nformate moeljker te nterpreteren dan feteljke nformate. Andere voor- en nadelen van vragenljten worden n paragraaf.5 beproken.. Vragenljt contructe Het contrueren van een vragenljt meetal een onderdeel van een groter onderzoekproce. Dt onderzoekproce kan ut de volgende tappen betaan [4]: - Vattellen van de doelen van het project - Bepalen van de doelgroep - ezen van een ntervew methode - Contrueren van de vragenljt - Utteten van de vragenljt - Vragenljt laten nvullen door teekproef - Data analye 3

16 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Het ontwkkelen van een vragenljt geen vanzelfprekende opgave. Wanneer het probleem dat men wl betuderen van te voren onvoldoende gedefneerd, kan de vragenljt bjvoorbeeld leden tot onbrukbare of trvale reultaten. Ook bljkt dat vragenljten de ondermaat ontworpen zjn, doorgaan onbevredgende data produceren. Dt heeft al gevolg dat de onderzoekvraag net beantwoord kan worden. Een ondermaate vragenljt hanteert bjvoorbeeld de verkeerde vragen, een onlogche ordenng van de vragen, ncorrecte antwoordchalen, of een lechte vormgevng. Om ervoor te zorgen dat vragenljten op een getructureerde maner worden opgeteld zjn er verchllende tappenplannen bekend (onder andere n [3], [4] en [5]). In [5] zjn de volgende acht tappen bechreven: Stap : Bepaal welke nformate nodg. Om deze nformate te bepalen zal de onderzoeker eert het doel van de vragenljt moeten weten. Deze eerte tap zeer belangrjk en het daarom van belang om de tjd te nemen om het doel helder te krjgen. Stap : Bepaal welke populate() te ondervragen. In deze tap zal de onderzoeker na moeten gaan we het meet waarchjnljk over de nformate bechkt waar hj/zj naar op zoek. Stap 3: Stel de teekproef vat. Herbj het van belang om de jute menen voor het onderzoek te electeren. Van de doelgroep zal de onderzoeker na moeten gaan welk deel toegankeljk voor de vragenljt (toegankeljke populate). Met behulp van een amplng tratege kan een teekproef van de toegankeljke populate getrokken worden. Stap 4: Stel de vragenljt op. Bj het optellen van de vragenljt het natuurljk van belang dat de jute vragen op een eendudge maner geformuleerd worden. Om dt te bewerktellgen kunnen onder andere bepaalde regel, met betrekkng tot de formulerng van de vragen, gevolgd worden. Een aantal van deze regel zullen beproken worden n paragraaf.4. Stap 5: Plan hoe de vragenljt wordt verdeeld, geretourneerd en eventuele vervolgtappen. Tegenwoordg zjn er veel maneren om een vragenljt onder de teekproef ut te zetten, bjvoorbeeld n een peroonljk geprek va de telefoon of face-to-face. Tegenwoordg worden teed meer onderzoeken ook elektronch (zoal emal, webte) verpred. Stap 6: Schrjf een goede begeledende bref. Deze bref of ntroducte over de vragenljt heeft nvloed op het aantal repondenten dat meedoet aan het onderzoek. In de bref het van belang om nformate te verchaffen over de reden waarom de repondent de vragenljt heeft ontvangen, wat het doel van de vragenljt, waarom hj/zj de vragenljt zou moeten nvullen, hoe en wanneer te antwoorden, en of de antwoorden anonem worden verwerkt. Teven het raadzaam om waarderng ut te preken 4

17 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla voor de medewerkng van de repondent, eventuele opdrachtgever te noemen en om tmulanen te geven. In [, p. 53] valt te lezen dat het geven van een tmulan nog voordat de vragenljt ngevuld een zeer potef effect heeft op het aantal reacte. Stap 7: Tet de vragenljt ut n een plot. Het utteten van een vragenljt een utermate belangrjke tap n de ontwkkelng van een vragenljt, alhoewel verchllende onderzoeker er meetal op een verchllende maner naar kjken [, p.40]. Het proce van utteten n [] onderverdeeld n ver vervolgfae, te weten: - Reve door kundge collega en analten In deze fae wordt nagegaan of alle noodzakeljke vragen n de vragenljt zjn nbegrepen, of bepaalde vragen verwjderd kunnen worden, en of de vragenljt effecteve antwoordcategoreën bevat. Afhankeljk van de grootte en het belang van het onderzoek kunnen menen van verchllende eperte n deze fae betrokken worden. Het doel van deze fae van utteten om de wezenljke nhoud van de vragenljt defntef te maken. Nadat de vragenljt herop aangepat kan de tweede fae van utteten utgevoerd worden. - Intervew om de cognteve- en motvatekwalteten te evalueren Deze fae bedoeld om te onderzoeken of alle repondenten de woorden n de vragenljt begrjpen, of alle repondenten de vragen op dezelfde maner nterpreteren, of alle vragen een antwoordmogeljk hebben de de repondent kan kezen, of het aannemeljk dat edere repondent alle vragen leet en beantwoordt, en ten lotte, of de verzendng (envelop, begeledende bref, en vragenljt) een poteve ndruk achterlaat bj de repondent. In de laatte jaren een technek, bekend al cogntef ntervewen, ontwkkeld, waarmee onderzocht kan worden of repondenten de vragen op dezelfde maner nterpreteren al de onderzoeker n gedachte heeft en of de vragen accuraat beantwoord kunnen worden (Foryth en Leler, 99). Deze technek taat ook wel bekend al de hardop denkmethode. In deze methode wordt een aantal repondenten ndvdueel gevraagd om de vragenljt n te vullen en daarbj hardop na te denken. Door de repondent alle te laten vertellen wat ze denken, probeert de ntervewer te begrjpen hoe edere vraag wordt geïnterpreteerd en of de bedoelng van edere vraag goed overkomt. Naat de hardop denkmethode de retropecteve technek bekend, waarn een aantal repondenten wordt geoberveerd bj het nvullen van de vragenljt. Herbj wordt goed gelet op gezchtutdrukkngen, twjfelngen en andere houdngen al gevolg van de begrjpeljkhed van de vragenljt. Na het nvullen worden al deze problemen beproken met de betreffende repondent. Bede techneken kunnen gezamenljk toegepat worden om een vragenljt te evalueren. Op de voor- en nadelen van de techneken zal verder net ngegaan worden. - lene plot tude Sommge vragen bljven nog onbeantwoord nadat de boventaande actvteten, om de vragenljt ut te teten, zjn utgevoerd. Aan de hand van een klene plot tude wordt nagegaan of de antwoordcategoreën van chaalvragen (ze paragraaf.3.) zo opgeteld zjn dat menen henzelf verdelen over de categoreën n plaat van dat zj zch concentreren op alleen één of twee daarvan. Ook wordt gekeken of bepaalde tellngen (tem), waarmee de onderzoeker een chaal wl vormen, correlate vertonen en zodoende n dezelfde chaal 5

18 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla amengetrokken kunnen worden, of dat bj hoge correlate jut één van de tem weggelaten kan worden. Meer nformate over deze zogenaamde multple tem chalen te lezen n hoofdtuk. In de plot tude wordt ook onderzocht of bepaalde vragen n hoge mate onbeantwoord bljven. - Laatte check Deze laatte check bedoeld om mpelweg te achterhalen of n de vragenljt mchen et tom gedaan. Dt wordt utgevoerd door een klene groep menen, dat net te maken heeft met de ontwkkelng of verbeterng van de vragenljt, deze volledg te laten nvullen. Menen de werken van de ene verbeterde vere naar de andere vere zen nameljk om dudeljke fouten over het hoofd. Herbj kan men denken aan taalfouten, antwoordcategoreën de dubbel voorkomen, et cetera. Stap 8: Beoordeel de technche gechkthed (adequacy) van de vragenljt. Deze tap betaat ut dre onderdelen waarn de nterne valdtet (nternal valdty), betrouwbaarhed (relablty) en eterne valdtet (eternal valdty) van de vragenljt wordt onderzocht. De nterne valdtet van de vragenljt de mate waarn een verkregen reultaat waar en onbevooroordeeld. Interne valdtet wordt berekt wanneer de reultaten van de vragenljt accurate ndcate zjn van de tandpunten of kenn van de repondent. Inden de reultaten, echter, tot tand zjn gekomen door de wjze waarop de vragenljt utgevoerd, kan geteld worden dat de reultaten ntern nvalde zjn. Een maner om nterne valdtet te onderzoeken door de antwoorden te vergeljken met de van geljke repondenten (zoal emand partner) [5]. De eterne valdtet van de vragenljt de betrouwbaarhed waarmee de gevonden reultaten gelden voor andere populate. Dt type valdtet zegt du n hoeverre de reultaten van een vragenljt generaleerbaar zjn. ortom, de valdtet van een vragenljt de mate waarn de vragenljt meet wat het behoort te meten. Onderzoek hernaar belangrjk omdat het de brukbaarhed van de vragenljt bepaalt. Dt geldt net alleen voor opneonderzoeken maar ook voor feteljke onderzoeken (factual urvey), bjvoorbeeld al de repondenten de vragen verchllend nterpreteren. Meer over valdtet te lezen n paragraaf 3.4. De betrouwbaarhed van de vragenljt de mate waarn de vragenljt, edere keer dat het wordt gebrukt, contente nformate levert. Ofwel de kwaltet van de vragenljt om tot dezelfde reultaten te komen wanneer het ngevuld wordt door menen met dezelfde denkbeelden n dezelfde omtandgheden. De betrouwbaarhed wordt meetal utgedrukt n een getal tuen 0 (zeer onbetrouwbaar) en (zeer betrouwbaar). Meer over de kwantfcerng van betrouwbaarhed komt aan bod n paragraaf 3.. De betrouwbaarhed kan ook worden onderzocht door bjvoorbeeld feteljke vragen te herhalen, repondenten opneuw te ntervewen of te controleren n hoeverre repondenten content zjn n hun antwoorden..3 Vraagvormen Vragen, de n een vragenljt voor kunnen komen, zjn uteraard op verchllende maneren n te delen. In deze paragraaf dezelfde ndelng al n [6] gehanteerd, waarbj vragen globaal zjn geclafceerd n getructureerde en ongetructureerde vragen. Een getructureerde 6

19 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla vraag meetal een keuzevraag waarbj de repondent kan kezen ut een aantal van tevoren vatgetelde antwoordcategoreën. Een ongetructureerde vraag meetal een open vraag waarbj de repondent de mogeljkhed krjgt om n egen woorden zjn/haar antwoord op te chrjven. De mogeljke antwoorden op een ongetructureerde vraag lggen net van tevoren vat. Ondank dat n eder onderzoek wel ongetructureerde vragen voorkomen, zullen we on n de ret van het werktuk alleen maar concentreren op getructureerde vragen, aangezen deze meer mogeljkheden voor tattche analye geven. In de ret van deze paragraaf wordt ngegaan op een aantal oorten getructureerde vragen..3. Twee-keuze vragen Voor dt type getructureerde vragen kan de repondent ut twee antwoordmogeljkheden kezen. Zoal Ja of Nee, Mee een of Mee oneen, enzovoort. Deze antwoordmogeljkheden zjn complementar aan elkaar. Twee-keuze vragen zjn over het algemeen makkeljk n te vullen door de repondent, wat reulteert n nellere beantwoordng van de vragenljt. Echter zjn deze vragen kwetbaar voor meetfouten, aangezen de alternateven zjn gepolareerd. Dt wl zeggen dat de brede cala van mogeljke antwoordkeuze tuen de twee polen weggelaten. Het kezen van de jute formulerng van de vraag daarom n dt geval crucaal om accurate antwoorden te verkrjgen. Een ander nadeel van twee-keuze vragen dat de antwoorden meetal enge vorm van ntentet of gevoel van de repondent men. Er zjn nameljk gevallen waarn de ene repondent terkere gevoelen heeft bj een bepaalde kwete dan een andere repondent. De ntentet gaat n dt geval verloren al de repondent maar ut twee antwoordmogeljkheden kan kezen. De multple choce vraag kan n dt geval utkomt beden..3. Vragen gebaeerd op meetnveau Vragen kunnen ook geclafceerd worden op ba van hun meetnveau. Om bjvoorbeeld emand beroep te meten kan een nomnale vraag gehanteerd worden, waarbj de verchllende beroepen, waarut gekozen kan worden, zjn genummerd. In dt geval heeft het nummer bj eder antwoord geen beteken behalve dat het de plek van de antwoordcategore aangeeft. Een ander type meetnveau dat gebrukt kan worden n vragenljten het ordnale nveau. Een voorbeeld van een ordnale vraag om de repondent een aantal automerken n een ljt te laten rangchkken n de volgorde van zjn/haar voorkeur. Al er vanut wordt gegaan dat de ljt ut N automerken betaat, het de bedoelng dat de repondent aan het meet favorete automerk het getalletje toekent en aan het mnt favorete automerk het getalletje N. Ook zjn er enquêtevragen waarvan de antwoordmogeljkheden op een nterval meetnveau zjn gebaeerd. Eén van de meet populare vraagoorten van dt type de Lkertchaal vraag. Door mddel van een meerkeuze antwoordmodel kan de repondent bjvoorbeeld de mate van ntemmng met een bepaalde utpraak aangeven. Het antwoordmodel hanteert gewoonljk al etremen de mate van ntemmng met, dan wel afwjzng van, de utpraak. Een populare varant van etremen volledg mee een en volledg mee oneen. 7

20 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Bj deze chaal dent de kanttekenng gemaakt te worden dat, technch gezen, de antwoorden net nterval gechaald zjn, maar jut ordnaal. Bnnen de tattche wereld er daarom ook een dcue gaande over de toepabaarhed van de Lkertchalen. Hoofdtuk gewjd aan deze antwoordchaal. Een ander type nterval vraag de emantche dfferentaal vraag. Bj een dergeljk type vraag worden van een bepaald onderwerp, begrp of object twee tegenovergetelde polen al etremen gegeven. Deze etremen hebben een gnfcant verchllende beteken. De repondent wordt dan gevraagd aan te geven waar zjn/haar menng of voorkeur lgt ten aanzen van het onderwerp. Een voorbeeld van een emantche dfferentaal vraag te zen n fguur.. Probeer aan de hand van deze ljt jezelf te karaktereren, door een kruje te zetten bj de egenchap de jou het bet bechrjft: Sytematch Actef Amcaal Socaal Helemaal Een beetje Neutraal Een beetje Helemaal Chaotch Paef Formeel Eenzelvg Fguur.: Semantche dfferentaal vraag Interval metngen kan men ook verkrjgen door een cumulateve of Guttmanchaal te gebruken. De antwoordchaal betaat ut een aantal tellngen (tem), waarbj de repondent dent te kezen voor de tellng de zjn menng het bete weergeeft. Tuen de tem van een Guttmanchaal komt een zeker hërarchch verband voor, dt wl zeggen dat wanneer de repondent het met een tem een, dt dan waarchjnljk ook geldt voor de tem lager n de hërarche. Een voorbeeld van een Guttmanchaal, zoal de n [6] voorkomt, al volgt: Geef aan met welke utdrukkngen u het een bent: Bent u welwllend om mmgranten toe te taan n uw land te wonen? Bent u welwllend om mmgranten toe te taan bnnen uw gemeenchap te wonen? Bent u welwllend om mmgranten toe te taan n uw buurt te wonen? Bent u welwllend om een mmgrant al buurman te hebben? Zou u uw knd laten trouwen met een mmgrant? Fguur.: Guttmanchaal vraag.4 Schrjven van vragen Ut de praktjk bljkt dat het formuleren van adequate vragen voor n een vragenljt geen eenvoudge opgave. Zoal n de ntroducte al ter prake gekomen, het optellen van een vragenljt een krteke uccefactor n een onderzoekproce. Om te voorkomen dat n vragenljten bjvoorbeeld verkeerd woordgebruk gehanteerd wordt, een verkeerde tructuur aangehouden wordt of vragen voorkomen de net beantwoord kunnen worden, zjn er regel (onder andere n [], [] en [6]) de bj de contructe van de vragenljt gevolgd kunnen worden. Met deze regel tracht de onderzoeker de jute vragen te formuleren om tot valde onderzoekreultaten te komen. In deze paragraaf zullen een aantal van deze regel beproken worden. Deze regel hebben met name betrekkng op Lkertchaal tellngen n zelfgeadmntreerde vragenljten. Een aantal regel met betrekkng tot tellngen/vragen zjn al volgt: - Een tellng dent één enkele kwete te omvatten. Zorg ervoor dat er telken één vraag geteld wordt. 8

21 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla - Probeer een balan te vnden n de volgorde van de tellngen en het gebruk van potef en negatef geformuleerde tellngen. - Houd rekenng met de volgorde of natuurljke ordenng van tellngen, aangezen voorgaande tellngen de antwoorden op latere tellngen kunnen beïnvloeden. - Vermjd negateve woorden n tellngen. In combnate met een aantal antwoordcategoreën kan dt nameljk leden tot dubbele negateven. - Het taalgebruk n de tellngen dent mpel gehouden te worden, dat betekent geen technche, vage of dubbelznnge woorden. Streef naar een taalgebruk van hetzelfde nveau al dat van de repondent. - De chrjftjl zal zo bondg en accuraat mogeljk moeten zjn. - Vermjd hypothetche tellngen. - De vragen en antwoordcategoreën denen zo neutraal mogeljk geformuleerd te worden. Wat betreft de antwoordcategoreën zjn de volgende regel belangrjk: - Zorg ervoor dat de antwoordcategoreën elkaar utluten en du geen overlap vertonen. - Zet de antwoorden n een logche volgorde. Dt telt de repondent n taat om mogeljke antwoorden beter met elkaar te vergeljken. - Zorg ervoor dat alle mogeljke antwoordcategoreën zjn nbegrepen. Met de antwoordcategore Ander of Specfceer kan de repondent eventueel een egen antwoord toevoegen. - Wee voorzchtg met het gebruk van de weet net antwoordopte. Repondenten kunnen nameljk deze categore zowel gebruken al ze de vraag net begrjpen, maar ook al ze geen menng over de tellng hebben. Het volgen van deze regel kan de vragenljtontwerper goed op weg helpen, maar alleen het volgen van deze regel natuurljk geen garante voor ucce. Zoal n het tappenplan van paragraaf. al naar voren gekomen, zal de gecontrueerde vragenljt onder andere utgetet moeten worden n een plot (tap 7) en ook zal de technche gechkthed van de vragenljt beoordeeld moeten worden (tap 8) om tot een adequaat meetntrument te komen. Het beoordelen van de technche gechkthed van een Lkertchaal vragenljt wordt n hoofdtuk 3 nader beproken..5 Voor- en nadelen van vragenljten Voor elke onderzoekmethode zjn wel voor- en nadelen te benoemen, zo ook voor zelfgeadmntreerde vragenljten ([], [3], [5] en [8]). Heronder zullen een aantal van deze voor- en nadelen worden benoemd. Aan het ende van deze paragraaf komen ook een aantal bae, de zch voor kunnen doen bj het nvullen van vragenljten, aan bod. De voordelen zjn deel aan bod gekomen, omdat zj normaalgeproken de drjfveer vormen om een vragenljt op te tellen. Zo een vragenljt een waardevolle methode om van een grote groep repondenten nformate over allerle zaken te verzamelen. Doordat de teekproef voldoende groot gekozen kan worden, het mogeljk om met behulp van tattche methoden te onderzoeken of bepaalde metngen gnfcant zjn. Ook kan met de verkregen dataet betrouwbare utpraken worden gedaan over de doelgroep. In tegentellng tot andere onderzoekmethoden kan met een zelfgeadmntreerde vragenljt uteenlopende nformate worden ngewonnen. Zo kan de vragenljt worden gebrukt om bjvoorbeeld overtugngen, normen, waarden en gedrag te onderzoeken. Een ander voordeel van vragenljten de mogeljkhed om de vragenljt te tandaarderen. Dat betekent dat de vragen n een vragenljt voor meerdere onderzoeken relevant kunnen zjn. Bovenden kan 9

22 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla een getandaardeerde vragenljt na een bepaalde perode weer aan de repondenten worden voorgelegd, waarna de reultaten eenvoudg met elkaar kunnen worden vergeleken. Andere plupunten van vragenljten zjn dat ze relatef goedkoop zjn n vergeljkng met andere onderzoekmethoden, de repondent n taat wordt geteld om over de antwoorden na te denken en dat ze eenvoudg en neller n te vullen en te analyeren zjn. Overgen zorgt de anonmtet van de repondent vaak voor eerljkere antwoorden en hebben we bj zelfgeadmntreerde vragenljten geen lat van beïnvloedng door de ntervewer (ntervewer ba). Vragenljten hebben ook hun beperkngen al onderzoekntrument. Zo zjn de reultaten afhankeljk van de eerljkhed van de repondent. Repondenten geven nameljk meetal een ocaal en cultureel geaccepteerd antwoord op gevoelge tem of een guntg antwoord op peroonljke vragen. Aangezen vragen vaak ook betrekkng hebben op het verleden, zjn de reultaten teven afhankeljk van het geheugen van de repondent. Bovenden heeft de repondent, bj zelfgeadmntreerde vragenljten, de mogeljkhed om van te voren alle vragen te bekjken. Dt kan nvloed hebben op zjn antwoordgedrag. Een ander nadeel van vragenljten dat de verkregen data afhankeljk van de mate waarn repondenten de tem begrjpen. Vandaar dat men de vragenljt meetal uttet n een plot en dat eenvoudge taalgebruk n tellngen wordt aangeraden (ze paragraaf.4). Een ander probleem de beredhed van repondenten om de vragenljt n te vullen. Een lage beredhed zorgt voor een lage repone percentage, wat natuurljk de brukbaarhed van het onderzoek verklent. Wat de mnmale repone percentage moet zjn, hangt af van het doel en aard van de tude. Vragenljten hebben normaalgeproken ook met bae te maken. In een vroeg tadum van de vragenljtontwkkelng zal men met deze bae rekenng moeten houden. Al de bae erg groot zjn kan de geldghed van de vragenljt n twjfel worden getrokken en om de reden probeert men meetal ook methoden te vnden om de mpact ervan te mnmaleren. Een aantal bae de zch bj vragenljtonderzoek voor kunnen doen zjn de volgende: Hawthorne effect Het Hawthorne effect een ba de zch vaak voordoet bj vragenljtonderzoek. Deze ba houdt n dat repondenten ander gaan antwoorden vanwege het fet dat ze geelecteerd zjn voor het onderzoek. Door deze pecale aandacht negen de repondenten om antwoorden te geven, de volgen hen, de onderzoeker het meete zal bevallen. Om deze ba te mnmaleren dent de vragenljtontwerper de vragen zo neutraal mogeljk te preenteren. Het effect chjnt ook voor te komen bj producteproceen, de door aandacht van het management, beter gaan lopen. Toch zjn er ook menen de hun twjfel hebben over dt effect. De Gewoonte ba (The Habt ba) Wanneer de repondent een reek van ongeveer dezelfde vragen voorgechoteld krjgt, zal hj/zj n de gewoonte vallen om ze op dezelfde maner te beantwoorden, zonder bj edere vraag na te denken over de beteken ervan. Deze ba kan gemnmaleerd worden door verchllende vraagtypen n de vragenljt op te nemen. Net-repondent ba (Non-repondent ba) Dt type ba komt vaak terug bj vragenljtonderzoek en gebaeerd op de aanname dat ndvduen de net meegedaan hebben aan het onderzoek dezelfde gevoelen en menngen 0

23 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla hebben al degenen de de vragenljt wel hebben ngevuld. Ut tude bljkt echter dat netrepondenten over het algemeen een negatevere opvattng hebben. Het Halo effect (The Halo effect) Het Halo effect een antwoordba de voor kan komen bj antwoordchalen. Repondenten geven bjvoorbeeld menen de zj waarderen of repecteren een hoge core op alle tem. Deze hoge beoordelng ongeacht de daadwerkeljke pretate van de peroon. De aanwezghed van een bepaalde kwaltet bj een peroon geeft de repondent du de uggete dat deze peroon ook andere kwalteten heeft. Deze ba komt voornameljk voor wanneer menen worden beoordeeld. Het Hoovork effect (The Ptchfork effect) Het Hoovork effect het tegenovergetelde van het Halo effect. Deze antwoordba kan zch voordoen wanneer repondenten bjvoorbeeld producten moeten beoordelen. In dt geval zullen zj meetal de ubtele kenmerken van het product oppkken en negatever antwoorden dan normaal. Om het hoovork effect te voorkomen zal de vragenljt net moeten turen naar negateve antwoorden.

24 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla

25 Volledg mee oneen Oneen Neutraal Een Volledg mee een Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Hoofdtuk Lkertchaal vragen. Introducte De Lkertchaal één van de meet gebrukte antwoordchalen n vragenljten. Met name n de pychologe en ocale wetenchappen het gebruk van deze chaal enorm popular. In de ret van dt werktuk zal ook de nadruk gelegd worden op vragenljten met een Lkert antwoordchaal. De chaal vernoemd naar de Amerkaane onderwjzer en organatepycholoog Ren Lkert (903-98), de het gebruk van de chaal bechreef n zjn proefchrft. R. Lkert De chaal, de Lkert ontwerp, wa bedoeld om tandpunten te meten en hj let teven zen dat deze chaal meer nformate opvng dan de betaande methoden. De Lkertchaal een antwoordchaal, de repondenten kunnen gebruken, om de mate van ntemmng met een bepaalde tellng te pecfceren. De etremen van het antwoordmodel geven de mate van ntemmng met, dan wel afwjzng van, de utpraak aan. Een voorbeeld van een tellng met een Lkert antwoordchaal n ondertaand fguur te zen: Ik voel me thu op het werk Fguur.: Lkertchaal vraag Een tellng wordt n dt verband ook wel een tem genoemd. De antwoordetremen n het voorbeeld zjn volledg mee een en volledg mee oneen. Daarnaat kunnen ook andere etremen tot de mogeljkheden behoren. Teven n het voorbeeld gebruk gemaakt van een 5-punt Lkertchaal. Dt een wllekeurge keuze geweet. Afhankeljk van de gewente prece van de onderzoeker kunnen ook andere chaallengte gehanteerd worden. De vragenljtontwerper dent de chaallengte zo te kezen dat de repondenten onderched kunnen bljven maken tuen de verchllende antwoordcategoreën. Bj een oneven aantal chalen, zoal n boventaand voorbeeld, heeft de repondent de keuze ut een mddelte waarde neutraal of noch mee een, noch mee oneen. Om te voorkomen dat veel repondenten voor deze antwoordcategore kezen, kan een gedwongen keuze antwoordchaal gebrukt worden. Deze chaal heeft een even aantal antwoordcategoreën, waarbj de neutrale pote net meer kan worden ngenomen. De repondent wordt zodoende bj eder tem gedwongen te belen of hj/zj meer negt naar de mee een of mee oneen ende van de chaal. Lkert, Ren (93), "A Technque for the Meaurement of Atttude", Archve of Pychology 40: p -55 3

26 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla In paragraaf. komt ter prake hoe Lkertchaal vragenljten gebrukt kunnen worden om contructen meetbaar te maken. Paragraaf.3 taat n het teken van het meetnveau van Lkertchalen. Er betaat nameljk veel dcue over welk meetnveau geldt voor Lkertchalen. Het meetnveau van een chaal bepaalt onder andere welke methoden van dataanalye toegepat kunnen worden op de reultaten. Ten lotte wordt n paragraaf.4 een aantal voor- en nadelen van Lkertchalen belcht.. Meten van contructen Lkertchalen zjn een utert handg hulpmddel om contructen, de men net zomaar rechttreek kan oberveren of meten, toch te kunnen kwantfceren. Herbj kan men denken aan contructen al vertrouwen, tevredenhed, atttude ten aanzen van poltc, et cetera. Het contruct, ook wel latente varabele genoemd, wordt dan bjvoorbeeld gemeten aan de hand van antwoorden op tellngen. Het doel van deze tem om verchllende apecten van het te meten verchjnel weer te geven. Utendeljk worden de antwoorden op de verchedene tem gecombneerd tot een enkele core voor het betreffende contruct. Gezamenljk vormen deze tem een (meet)chaal. De endcore van een repondent op een chaal meetal de om van de core van de ndvduele tem. De Lkertchaal wordt daarom ook wel de geommeerde ratngchaal (ummated ratng cale) genoemd. Sommge tem n een chaal kunnen n tegenovergetelde rchtng geteld zjn dan andere tem n de chaal. De core van deze tegenovergetelde tem zullen dan omgeweld moeten worden, voordat de core worden opgeteld. Voor een 5-punt Lkertchaal met antwoordcategoreën tot en met 5 zal een dergeljk tem met core, een core 5 krjgen, enzovoort. In het onderzoekproce zal de onderzoeker de relevante tellngen moeten electeren, de amen de chaal gaan vormen, de het beoogde contruct meet. Deze actvtet heeft nvloed op de valdtet en betrouwbaarhed van de metng. In [7] wordt dt proce van het electeren van de relevante tellngen met domen amplng vergeleken. Het domen n dt geval de theoretche populate van alle mogeljke tem, de relevant zjn voor het meten van een bepaald contruct. Zo geeft de verzamelng van alle antwoorden op alle tem n het domen de werkeljke atttude van de repondent ten opzchte van het contruct. Natuurljk kunnen net alle tem worden verzameld, maar op deze maner kan meten bechouwd worden al het trekken van een teekproef van tem ut het domen. De antwoorden van de tem n de teekproef kunnen dan geïnterpreteerd worden al een chattng van de atttude van de repondent. De valdtet van de metng met behulp van de geelecteerde Lkert tem dan analoog aan de repreentatvtet van de teekproef en de betrouwbaarhed van de metng komt dan overeen met de verwachte fout van de chattng ten opzchte van de echte waarde. Aangezen het n de praktjk voor een onderzoeker onmogeljk om het domen van tem volledg te bedenken, wordt n plaat daarvan een beperkt aantal tem geformuleerd, de het contruct zoveel mogeljk meten. De gemaakte analoge heeft echter wel belangrjke mplcate, nameljk dat chalen met meer tem tot op zekere hoogte betrouwbaarder zjn, want grotere teekproeven hebben een klenere tandaardfout. Ook de keuze van welke tem n een chaal te gebruken belangrjk, evenal dat dat het geval voor de amentellng van een teekproef. Zo reulteren meer oortgeljke tem n een hogere betrouwbaarhed, maar de keerzjde dat deze tem dan mogeljk lecht een beperkte nhoud van het contruct vatten. Tot lot gaan we n op de dmenonaltet van contructen. De dmenonaltet van een contruct wordt bepaald door de relevante onderlggende deelapecten of dmene. Een contruct wordt ééndmenonaal genoemd wanneer het contruct een repreentate van een 4

27 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla enkel algemeen kenmerk. De varabelen de gebrukt worden om een ééndmenonaal contruct te meten, oftewel de verzamelng tem, denen een terke amenhang te vertonen. Inden tuen bepaalde varabelen, de een contruct meten, nauweljk verbanden worden gevonden het mogeljk dat we te maken hebben met een meerdmenonaal contruct. Een voorbeeld van een meerdmenonaal contruct de atttude tegenover een regerng. Deze atttude nameljk op te plten n atttuden op verchllende dmene, zoal belatngen, openbare werken, economch beled, ocaal beled, et cetera. De atttude op deze deelapecten kunnen bechouwd worden al ééndmenonale contructen. Om te onderzoeken of een ééndmenonaal contruct lecht een enkel kenmerk vertegenwoordgt, kan de nterne contente van de multple tem chaal, nadat deze ngevuld door een plotgroep, worden onderzocht. Meer herover komt aan bod n paragraaf Meetnveau van Lkertchalen De antwoorden op een enkele Lkert tem worden normaalgeproken al ordnale data behandeld. De aanname herbj dat repondenten de aftanden tuen twee opeenvolgende antwoordcategoreën net al geljk ervaren. Bnnen de tattche wereld zjn er daarom ook menen de kanttekenngen plaaten bj het gebruk van bepaalde methoden voor data-analye op Lkertchaal data. Anderen tellen weer dat het meetnveau van een chaal een emprch probleem dat, net zoal de betrouwbaarhed en valdtet, onderzocht dent te worden. Men kan dt onderzoeken door de ontwkkelde chaal te vergeljken met andere chalen, de bjvoorbeeld wel een nterval meetnveau hebben. Inden daarbj lneare verbanden worden gevonden, kan de chaal al ntervalchaal worden toegepat. De tattc de vnden dat het meetnveau van een meetchaal emprch vatgeteld moet worden, gaan er du vanut dat dt meetnveau net door de chaalcontructe bepaald wordt. In [7] valt te lezen dat emprch onderzoek van onder andere Dawe (977) aantoont dat zelf eenvoudge beoordelngchalen om data opleveren, de een lnear verband ljken te hebben met bepaalde fyche metngen, zoal lengte. In het onderzoek komt ook ter prake dat multple tem chalen nog betere verbanden geven. De reultaten van deze onderzoeker geven volgen [7] een emprche en logche rechtvaardgng om tattche methoden voor data op ntervalnveau toe te paen op Lkertchaal data..4 Voor- en nadelen van Lkertchalen De Lkertchaal, zoal eerder al vermeld, één van de meet gebrukte antwoordchalen n meetntrumenten. Daar zjn verchllende redenen voor op te noemen, zo taat n [8, p.] vermeld dat een goed ontwkkelde Lkertchaal ntrument een goede valdtet en betrouwbaarhed met zch mee kan brengen, dat het een relatef goedkoop en makkeljk te ontwkkelen ntrument en dat de chaal voor repondenten eenvoudg en nel n te vullen. Het gebruk van Lkertchalen heeft echter ook nadelen, nameljk dat deze chalen geen nformate geven over de mate van betrokkenhed van de repondent bj het contruct. Een ander nadeel ook dat geljke endcore op een Lkertchaal va verchllende wegen kunnen zjn berekt. Zo kan de ene repondent een gemddelde core behalen door op alle tem gemddeld te coren, terwjl de andere repondent een gemddelde core behaalt door op ene helft van de tem hoog te coren en op de andere helft laag te coren of omgekeerd. Lkertchalen kunnen door verchllende oorzaken ook een vertekend beeld geven. Zo hebben repondenten vaak de negng om etreme antwoordcategoreën te vermjden, wat ook wel 5

28 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla centrale tenden ba wordt genoemd. Teven zjn repondenten het vaak een met een tellng door de wjze waarop het geformuleerd (ntemmng ba). Bovenden proberen repondenten zchzelf of hun organate vaak potever af te chlderen dan werkeljk het geval (ocale weneljkhed ba). Naat deze bae pelen natuurljk ook de bae van paragraaf.5 een rol bj Lkertchalen. 6

29 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Hoofdtuk 3 Analye van Lkertchalen 3. Introducte De contructe van een Lkertchaal vragenljt verloopt zoal de contructe van andere vragenljten n een aantal tappen, ze ook paragraaf.. Nadat een groot aantal tem, dat relevant voor het onderwerp van het contruct, verzameld, kan de kwaltet van de chaal beoordeeld worden. Het beoordelen van de kwaltet van de chaal kan helpen om de chaal verder te verbeteren door bjvoorbeeld betaande tem te verwjderen of door jut neuwe tem toe te voegen. Twee bekende apecten van de kwaltet van een chaal zjn valdtet en betrouwbaarhed. Deze twee crtera zjn n tap 8 van paragraaf. al kort aan bod gekomen en ondertaande fguur bedt een verdere verdudeljkng: Conceptueel model Intrapreneurhp(Z) Rcozoekend gedrag (X) Ondernemerchap (Y) Valdtet Rcozoekend gedrag () Ondernemerchap (y) Intrapreneurhp(z) (z) Emprch model Betrouwbaarhed Fguur 3.: Conceptuele en emprche relatechema van het begrp ondernemerchap (bron [9]) In fguur 3. het conceptuele en emprche relatechema van het begrp ondernemerchap weergegeven. Het conceptueel model (boven de tppelljn) brengt n kaart welke factoren veronderteld worden van nvloed te zjn op emand ondernemerchap. Het conceptueel model volgt meetal na een (theoretch) vooronderzoek. Het emprche model (onder de tppelljn) bechrjft wat zch n de werkeljkhed (empre) afpeelt. De betrouwbaarhed de mate waarn een chaal (bjvoorbeeld om ondernemerchap te meten) dezelfde reultaten geeft bj herhaalde toepang onder dezelfde voorwaarden. De betrouwbaarhed heeft alleen betrekkng op het emprche model. Valdtet daarentegen, zegt et over de relate tuen het emprche en het conceptuele model. De valdtet de mate waarn een chaal meet wat het zou moeten meten. Een belangrjke opmerkng herbj dat de betrouwbaarhed en valdtet van een vragenljt net bewezen kunnen worden. In de volgende paragrafen zullen lecht methoden beproken worden, waarmee men valdtet en betrouwbaarhed kan proberen aan te tonen. Bovenden geldt dat wanneer betrouwbaarhed en valdtet vatgeteld, we egenljk alleen de conclue, de va het meetntrument verkregen worden, valde en betrouwbaar kunnen noemen [6]. Dat betekent du dat valdtet en betrouwbaarhed geen betrekkng hebben op het meetntrument zelf. In het vervolg zullen we gemakhalve toch preken over de valdtet en betrouwbaarhed van een vragenljt. Paragraaf 3. taat n het teken van een aantal techneken om de betrouwbaarhed van een Lkertchaal vragenljt te chatten. Daarnaat wordt n dt hoofdtuk aandacht beteed aan een methode om de kwaltet van een chaal al geheel te verbeteren, ook wel tem-analye genoemd (paragraaf 3.3). Paragraaf 3.4 gaat kort n op het begrp valdtet. 7

30 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla 3. Betrouwbaarhed Om de betrouwbaarhed van een Lkertchaal vragenljt te chatten kunnen verchllende methoden gehanteerd worden ([6], [9] en [0]). Dezelfde vragenljt kan bjvoorbeeld op twee verchllende tjdtppen worden toegepat. De betrouwbaarhed van de vragenljt kan dan worden gemeten door de amenhang tuen bede metngen te bepalen. Dt type betrouwbaarhed taat ook bekend al tet-retet relablty. De amenhang tuen de metngen te kwantfceren met behulp van de correlatecoëffcënt tuen de endcore van de repondenten ut de twee metngen. Een nadeel van deze aanpak dat de tjd tuen bede metngen een crucale rol peelt. Wanneer hetzelfde wordt gemeten, heeft de tjd tuen de metngen mmer nvloed op de correlate tuen de twee obervate. Een andere maner om de betrouwbaarhed van een Lkertchaal vragenljt af te leden door twee verchllende, maar vergeljkbare, chalen onder de doelgroep ut te zetten. Deze chalen kunnen bjvoorbeeld verkregen worden door een grote verzamelng tem, de op hetzelfde contruct betrekkng hebben, n twee groepen te verdelen. De betrouwbaarhed kan dan gechat worden door de correlate tuen bede parallelle metngen te bepalen. Een nadeel van deze zogenaamde parallel-form relablty dat het optellen van een grote groep tem geen eenvoudg karwe. In ondertaande fguur zjn tet-retet relablty (lnk) en parallel-form relablty (recht) geïllutreerd. Fguur 3.: Tet-retet relablty en parallel-form relablty (bron [6]) In de praktjk gebleken dat het erg moeljk en tjdrovend om een tweede vragenljt te contrueren, waarmee de orgnele vragenljt op betrouwbaarhed kan worden getoett. Dat heeft er volgen Cronbach [0] toe geled dat de zogenaamde halverngmethode (plt-half method) bedacht. Volgen deze aanpak de betrouwbaarhed van een Lkertchaal vragenljt ook te chatten door alle tem, nadat deze op één moment door de doelgroep ngevuld, n twee wllekeurge groepen te verdelen. De betrouwbaarhed wordt dan gechat op ba van de correlate tuen de omcore op de twee halve chalen. In paragraaf 3.. zal nader bechreven worden hoe de halverngmethode op een Lkertchaal vragenljt kan worden toegepat. Veelvuldg wordt een generalate van de hervoor bechreven halverngmethode toegepat om de betrouwbaarhed van een Lkertchaal vragenljt te chatten. Deze chattng van de betrouwbaarhed taat bekend onder de naam Cronbach alpha. Paragraaf 3.. gaat deper n op de defnte van Cronbach en hoe deze coëffcënt voor een Lkertchaal vragenljt kan worden berekend. In paragraaf 3..3 zullen we deze populare coëffcënt verder betuderen en er een betrouwbaarhednterval voor afleden. 8

31 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla 3.. Halverngmethode Om de betrouwbaarhed van een geommeerde ratngchaal, zoal de Lkertchaal, te chatten, kan de plt-half betrouwbaarhed worden berekend. De oorpronkeljke vragenljt wordt n twee vragenljten gepltt, waarbj wordt getreefd naar twee nhoudeljk homogene vragenljten. Door een eerljke verdelng van de tem qua nhoud en moeljkhed probeert men dt te bewerktellgen. Meetal wordt de vragenljt mpelweg gepltt door de vragen met een even nummer te cheden van de vragen met een oneven nummer [3]. Wanneer de vragenljt ngevuld door de doelgroep, kan men de correlate tuen de omcore op de twee halve chalen al volgt berekenen: r y n ( )( y y). (3.) ( n ) y Waarbj: n Aantal repondenten, de de vragenljt hebben ngevuld. Somcore van repondent op de eerte halve chaal. Gemddelde van de omcore op de eerte halve chaal. y Somcore van repondent op de tweede halve chaal. y Gemddelde van de omcore op de tweede halve chaal. Standaarddevate omcore op de eerte halve chaal. Standaarddevate omcore op de tweede halve chaal. y Wanneer de oorpronkeljke vragenljt perfect betrouwbaar, wordt verwacht dat de twee halve chalen perfect gecorreleerd zjn (r y = ). Alle repondenten zouden nameljk n dat geval prece dezelfde omcore behalen op de twee halve chalen. Dat betekent du dat hoe terker de correlate tuen de omcore op de twee halve chalen, hoe groter de betrouwbaarhed van de oorpronkeljke vragenljt. De halverngmethode geeft een chattng van de betrouwbaarhed van elk van de helften, maar net van de amengevoegde vragenljt. Om te corrgeren voor het aantal tem n de twee halve chalen kan men n plaat van de correlatecoëffcënt ook gebruk maken van de Spearman-Brown formule. Met deze formule kan een chattng van de betrouwbaarhed van de omcore gebaeerd op alle tem verkregen worden. De Spearman-Brown formule al volgt: r r y. (3.) y Waarbj ρ taat voor de Spearman-Brown plt half betrouwbaarhedcoëffcënt en r y voor de correlatecoëffcënt tuen de omcore van de twee halve chalen (ze formule (3.)). In formule (3.) zen we dat het corrgeren voor het aantal tem n de halve chalen gebeurd door de correlatecoëffcënt te verdubbelen en vervolgen te normaleren. In [0] taat te lezen dat de plt-half Spearman-Brown procedure veertg jaar lang gold al tandaard methode om vragenljten te analyeren. Deondank deze aanpak ook regelmatg bekrteerd. De halverngmethode onder andere door Brownell [9] en uder en 9

32 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Rchardon [0] bekrteerd om het fet dat deze aanpak geen uneke waarde voor de betrouwbaarhed oplevert. De betrouwbaarhedcoëffcënt van een vragenljt nu nameljk afhankeljk van welke tem er gegroepeerd worden bj het plten van de tem n twee groepen. Omdat verchllende pltngen leden tot verchllende utkomten voor de betrouwbaarhed-coëffcënt, kunnen we net met zekerhed utpraken doen over de betrouwbaarhed van de vragenljt. In de volgende paragraaf wordt een andere betrouwbaarhedcoëffcënt beproken, de dt probleem net heeft. 3.. Cronbach alpha De tem, de gebrukt worden om een chaal te vormen, denen ntern content te zjn. Grofweg betekent dt dat alle tem hetzelfde concept behoren te meten. Om een ndcate te krjgen van de mate waarn de tem n een vragenljt hetzelfde concept meten wordt veelvuldg Cronbach berekend. Deze maat door de Amerkaane pycholoog Lee J. Cronbach (96 00) geïntroduceerd n [0]. L.J. Cronbach Cronbach wordt berekend nadat de vragenljt door een grote groep repondenten ngevuld en geeft aan n hoeverre de antwoorden van deze groep repondenten op de tem content zjn. De waarden, de Cronbach kan aannemen, varëren van - tot. In een later tadum zal bljken dat alleen poteve waarden voor deze coëffcënt znvol zjn. Hoe dchter Cronbach bj zt, de te hoger de nterne contente en du de betrouwbaarhed van de chaal. Logcherwj wordt een lage waarde van deze coëffcënt bechouwd al onguntge kwalfcate van de chaal. De formule van Cronbach al volgt: Y X. (3.3) Waarbj: Y Y X Aantal tem n de vragenljt. Score op tem van één repondent, =,,. Steekproefvarante van de core op tem over alle repondenten. Steekproefvarante van de omcore over alle repondenten. De omcore X van een bepaalde repondent wordt verkregen door de om van de core op alle tem te nemen, oftewel X Y. Om de utdrukkng van Cronbach af te leden, hebben we reultaten ut de klaeke tettheore nodg. laeke tettheore gaat ut van een zeer algemene relate tuen de waargenomen en theoretche utkomt van een chaal. Volgen de gedachtegang n deze theore de waarnemngcore op te plten n een ware core (true core, T ) en een 0

33 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla meetfout (error core, ). Voor de waarnemngcore (Y ) van een wllekeurge repondent op tem van een vragenljt betekent dt: Y T, voor,...,. (3.4) De ware core de waarde de een verchjnel volgen de theore heeft. De meetfout kan gezen worden al een wllekeurge fout, de nherent aan het meetproce. Factoren de nvloed hebben op de meetfout zjn bjvoorbeeld de temmng van een repondent bj het nvullen van de vragenljt. Ook kan weng motvate of een lage ntellgente leden tot meetfouten. Slecht geformuleerde vragen pelen teven een rol. Verder kunnen fouten van de onderzoeker, zoal telfouten, gezen worden al meetfouten. De meetfouten worden veronderteld onderlng onafhankeljk verdeeld te zjn en ook onafhankeljk te zjn van de ware core. De verwachtng van de meetfouten bovenden geljk aan 0. In wkundge notate zjn deze egenchappen al volgt op te chrjven: E( ) 0,, Cov(, j ) 0, Cov( T, ) 0, voor j, j, voor,...,,,...,. (3.5) Hoe utendeljk met de reultaten ut de klaeke tettheore de formule van Cronbach af te leden en welke aannamen daarbj zjn gedaan, komt n Append A utvoerg aan bod. In de contet van de klaeke tettheore een defnte voor de betrouwbaarhed eenvoudg te achterhalen. Een metng nameljk betrouwbaar wanneer het voor het merendeel de ware core, n vergeljkng met de meetfout, repreenteert. Een maat of tattek voor de betrouwbaarhed kan zodoende verkregen worden door de mate van varabltet van de ware core onder de repondenten, relatef aan de waarnemngcore varabltet te nemen: Var (ware core) betrouwbaa rhed. (3.6) Var (waarnemngcore) Voor een chaal betekent dt dat de betrouwbaarhed gedefneerd kan worden al de rato van de ware omcore varante en de varante van de waargenomen omcore van de repondenten. Ut vergeljkng (3.6) bljkt dat een hoge betrouwbaarhed alleen berekt kan worden wanneer de varante van de waarnemngcore van repondenten net te veel verchlt van de varante van hun ware core. Bj de afledng van de formule van Cronbach wordt dt quotënt ook verkregen (ze vergeljkng (A.3) n Append A). Vragenljten betaan normaalgeproken ut meerdere tem, omdat toevalnvloeden, de bj de beantwoordng van afzonderljke tem nvloed hebben, tegen elkaar weg kunnen vallen. Al we teruggaan naar de formule van Cronbach zen we dat deze nderdaad ook afhangt van het aantal gebrukte tem (). Ut de formule net meteen dudeljk wat de nvloed van het verhogen van op de betrouwbaarhedcoëffcënt. Ut [7] volgt dat het toevoegen van tem net altjd reulteert n een grotere waarde van Cronbach. Het nameljk afhankeljk van de lengte van de orgnele chaal en de correlate tuen de tem of het

34 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla toevoegen van een tem een potef effect heeft op deze betrouwbaarhedcoëffcënt. De te hoger en/of de temcorrelate zjn de te hoger de kwaltet van het toegevoegde tem moet zjn om Cronbach te laten toenemen. De kwaltet van een tem kan herbj gezen worden al de correlate van het tem met de orgnele tem. Wat een goede waarde voor Cronbach, verchlt per onderzoekdcplne. Zo valt n [] te lezen dat een goede tet van bjvoorbeeld emand ntellgente een betrouwbaarhed van boven 0.90 heeft en dat een redeljk goede chaal voor de metng van bjvoorbeeld een atttude (zoal tevredenhed, rcozoekend gedrag, et cetera) een betrouwbaarhed van tenmnte 0.70 heeft. Een Cronbach van tenmnte 0.70 betekent dat de verzamelng tem meer gemeenchappeljk meten dan dat zj verchllende dngen meten. Wanneer de betrouwbaarhedcoëffcënt een waarde van beneden 0.60 heeft, zal men na moeten gaan of de verzamelng tem wel een chaal vormt. Wanneer de tem n een vragenljt geen ware core meten en we du egenljk alleen maar meetfouten meten, zal de varante van de om van de temcore ( ) geljk zjn aan de om Y van de varante van de ndvduele temcore ( X ). We hebben her nameljk te maken met meetfouten, de ongecorreleerd zjn voor alle repondenten. Dat betekent dat Cronbach geljk aan 0 al de tem geen ware core meten. Al de waargenomen temcore Y potef amenhangen, dan de chaalvarante X groter dan de om van de temvarante en lgt de betrouwbaarhedcoëffcënt dcht bj. Ten lotte Cronbach geljk aan al alle tem volkomen betrouwbaar zjn en allen hetzelfde concept (ware core) meten. In [] wordt dt laatte gecontroleerd door bjvoorbeeld aan te nemen dat de tem n een chaal dentek zjn en om de reden perfect gecorreleerd. Aangezen alle elkaar en Var Y ) Var ( Y ), Cronbach geljk aan: X Y X ( Y Y Y. dan geljk zjn aan Y Een negateve Cronbach wordt verkregen wanneer de waargenomen temcore Y negatef amenhangen. Dt gebeurt bjvoorbeeld al de core op negatef getelde tem net zjn gehercodeerd, zoal n paragraaf. ter prake gekomen. De chaalvarante kan dan nameljk et klener zjn dan de om van de temvarante, waardoor de betrouwbaarhedcoëffcënt klener dan 0. Normaalgeproken een negateve waarde voor Cronbach du net mogeljk, tenzj de onderzoeker een fout heeft gemaakt. In de volgende paragraaf komen verchllende nterpretate van Cronbach aan bod en wordt ook gekeken naar de mnterpretate van deze coëffcënt. Aangezen Cronbach lecht een puntchatter, zal ook bechreven worden hoe een betrouwbaarhednterval voor deze chatter kan worden berekend Cronbach alpha nader betudeerd Een drecte nterpretate van Cronbach, zoal ut [0] en [] volgt, heeft te maken met de verondertellng dat de tem n een vragenljt egenljk alleen maar een verzamelng zjn ut

35 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla een grote groep mogeljke tem. Wanneer we twee wllekeurge verzamelngen betaande ut tem ut deze mogeljke tem kunnen vormen, zal de verwachte correlate tuen de omcore van deze chalen geljk zjn aan Cronbach. Een andere nterpretate, de gerelateerd aan bovengenoemde nterpretate, dat de waarde van Cronbach het gemddelde van alle plt half coëffcënten, de reulteren ut verchllende pltngen van een vragenljt [0]. Dt de reden waarom de Cronbach methode gezen wordt al generalate van de halverngmethode. De maat Cronbach wordt, onder andere n de pychologe, zeer vaak toegepat om et te kunnen zeggen over de betrouwbaarhed van een vragenljt. Ondank de populartet van deze betrouwbaarhedcoëffcënt zjn er ook kanttekenngen te plaaten bj het gebruk ervan. Zo wordt n [4] vermeldt dat een hoge waarde voor Cronbach net meteen betekent dat bnnen de chaal net meerdere ubchalen aanwezg kunnen zjn. Cronbach wordt nameljk vaak onterecht gerapporteerd al maat voor de homogentet of ééndmenonaltet van een vragenljt. De nterne contente van de tem n een chaal, waar Cronbach betrekkng op heeft, natuurljk wel een voorwaarde voor homogentet. Ut [5] bljkt teven dat Cronbach geen robuute chatter voor de betrouwbaarhed. We zullen dt nader utleggen door de formule van Cronbach al volgt te herchrjven: X X Y Var( Y ) Var( j, j Var( Y ) Y ) YY j YY j. (3.7) waarbj Y Y j de covarante van het paar (Y, Y j ) voortelt. Cronbach kan du gechat worden door emprche varante of covarante n formule (3.7) te ubttueren. Het bekend dat klaeke chatter, zoal emprche varante en covarante, zeer gevoelg zjn voor lecht een paar foute obervate [5]. De chattng van Cronbach kan du een vertekend beeld geven al er zch utbjter n de data bevnden. In [5] wordt een robuute chatter van de betrouwbaarhed geïntroduceerd. Deze chatter voor de betrouwbaarhed wordt verkregen door de covarantematr van de temcore te chatten aan de hand van betaande robuute chatter voor de covarante. De elementen van deze covarantematr worden daarna gebrukt n formule (3.7). Een ander probleem, dat regelmatg voorkomt bj het rapporteren van Cronbach, dat onderzoeker meetal de aanname doen dat een bepaald nveau van gewent of adequaat. Meetal wordt dt nveau geljk aan 0.70 genomen [4]. Aangezen puntchatter mledend kunnen zjn, het raadzaam om naat de waarde voor Cronbach ook een betrouwbaarhednterval voor deze chatter te rapporteren. Hoe een dergeljk nterval af te leden zal nu aan bod komen. Betrouwbaarhednterval In [6] wordt de aanname gedaan dat de temcore Y = [ Y... Y ]' een multvarate normale verdelng hebben. Onder deze aanname vergeljkng (3.3) te bechouwen al de meet aannemeljke chatter (MAS) van Cronbach. Deze MAS duden we aan met ˆ en ut [6] volgt dat al n : 3

36 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla n ( ˆ ) normaal verdeeld met verwachtng 0 en varante ( ' )( ) ( )( ' ). 3 ( ) ( ' ) tr tr tr Q (3.8) Waarbj en n zoal hervoor repecteveljk het aantal tem en het aantal repondenten voortellen. de covarantematr van de temcore en een vector van enen ter lengte. tr telt de trace-operator voor de de elementen op de hoofddagonaal van een matr bj elkaar optelt. Op ba van boventaande reultaten kunnen we een betrouwbaarhednterval voor de chatter ˆ afleden. Ut de verdelng van n ( ˆ ) volgt dat: n( ˆ ) d N(0,), Q (3.9) al n. Aangezen voor grote n de groothed n ( ˆ ) Q bj benaderng tandaard normaal verdeeld, kan deze zodoende al een bjna pvot bechouwd worden. Vervolgen kunnen we met behulp van de bjna pvot en de defnte van het β-bovenkwantel van de tandaard normale verdelng het volgende afleden: 3 ˆ lm n P /. n Q (3.0) Dt te herchrjven naar: Q Q ˆ ˆ / /. lm P (3.) n n n Q Q Ut boventaande utdrukkng volgt dat ˆ, ˆ ] een benaderend [ / n / n betrouwbaarhednterval voor met onbetrouwbaarhed β. Voor het gemak wordt de utdrukkng Q n het betrouwbaarhednterval vaak vervangen door een chatter Qˆ, de we al volgt defnëren: ( ' )( ) ( )( ' ), 3 S trs tr S trs S ( ) ( ' S) ˆ Q (3.) waarbj S een chatter van de covarantematr voortelt. Een benaderend 95% betrouwbaarhednterval voor nu al ondertaand ymmetrch nterval te chrjven: Een pvot een functe T ( X, ) van de waarnemng en de parameter (du geen tattek) zodang dat de kanverdelng van T ( X, ) onder de aanname dat de ware parameter een vate verdelng bezt, net afhankeljk van of andere onbekenden [8]. 3 We noteren met het getal zodang dat ( ). 4

37 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla ˆ ˆ Q Q [ ˆ.96, ˆ.96 ]. (3.3) n n Ut het betrouwbaarhednterval kunnen we ook de tandaardfout (tandard error) van de chatter aflezen. De tandaardfout van ˆ geljk aan In [7] wordt geadveerd om bj de berekenng van Cronbach ook een betrouwbaarhednterval voor deze chattng te rapporteren. Een onderzoeker zou eventueel ook een toet kunnen utvoeren om na te gaan of Cronbach gnfcant verchlt van een van te voren vatgetelde drempelwaarde. Het probleem herbj dat het net dudeljk welke hypothee moet worden getoett, oftewel met welke waarde de verkregen Cronbach vergeleken moet worden. In [7] wordt geteld dat het voldoende om naat de waarde van Cronbach alleen het betrouwbaarhednterval te vermelden. Een betrouwbaarhednterval geeft nameljk het domen weer van de meet aannemeljke waarden voor en een waarde van, de buten dt nterval valt, zal één van de waarden zjn de bj een nulhypothee vergeljkng wordt verworpen. Qˆ n. 3.3 Item-analye Na het toepaen van een Lkertchaal vragenljt onder een groep proefrepondenten kan, zoal n paragraaf 3.. taat bechreven, de betrouwbaarhed van de vragenljt worden gechat met behulp van Cronbach. Tjden deze fae kan een onderzoeker ook een temanalye utvoeren om de kwaltet van de vragenljt te verbeteren. Item-analye de technek de tandaard wordt gebrukt bj de analye van een Lkertchaal vragenljt en komt neer op het verwjderen van de tem, de net bljken bj te dragen aan de kwaltet van de chaal. De analye wordt herhaald totdat de chaal net verder verbeterd kan worden. In [9] valt te lezen dat het behouden of verwjderen van tem onder andere kan worden bepaald door de tem-ret correlate of nden tem verwjderd te berekenen. Deze twee techneken zullen heronder kort bechreven worden. Item-ret correlate Deze technek heeft al doel om de amenhang tuen een afzonderljk tem en een chaal met de overge tem te bepalen. Elk tem n een chaal moet nameljk dudeljk potef correleren met alle andere tem amen. Om de tem-ret correlate te berekenen wordt het betreffende tem bj de berekenng ut het totaal weggelaten, om te voorkomen dat de correlate hoog utvalt. Zo krjgen we een ndcate voor de mate waarn het tem hetzelfde meet al de andere tem. De tem-ret correlate r R voor tem kan du al volgt berekend worden: r R Y, R ), (3.4) ( waarbj ( X, Y) de correlatecoëffcënt tuen de tochatche varabelen X en Y en R Y k de chaalcore van een repondent voortelt, waarbj de core op tem weg k : k gelaten. 5

38 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla De tem-ret correlate voor een bepaald tem moet, volgen [], tenmnte 0.35 zjn. Wel wordt de kanttekenng gemaakt dat een tem met een r R < 0.35 om wordt gehandhaafd al het tem nhoudeljk net kan worden gemt. Om te voorkomen dat het begrp te veel wordt vermald kan men zodoende een mnmum van 0.0 voor r R nemen []. nden tem verwjderd Een andere technek om tem, de net bljken bj te dragen aan de kwaltet van de chaal, op te poren, om voor eder tem nden tem verwjderd te berekenen. nden tem verwjderd geljk aan de Cronbach van de chaal zonder dat betreffende tem. Stel dat de oorpronkeljke vragenljt een Cronbach heeft geljk aan a dan het tem waarvoor geldt dat nden tem verwjderd groter dan a, een kanddaat om ut de vragenljt verwjderd te worden. Op deze maner worden tem, de een negateve nvloed hebben op Cronbach, verwjderd ut de vragenljt. Natuurljk het tjden deze analye vertandg om naat nden tem verwjderd ook een betrouwbaarhednterval voor deze chattng van te berekenen, zodat met meer zekerhed tem al dan net verwjderd kunnen worden. Naat tem-ret correlate en nden tem verwjderd kunnen ook andere maattaven bechouwd worden om nzcht te krjgen n de kwaltet van de tem n een vragenljt. Ut [7] volgt dat een gebrukeljke tap n de ontwkkelng van een chaal het berekenen van de tem-totaal correlate. Deze correlate tuen de tem- en totaalcore dent al eerte nzcht om tem op te poren de onguntge ndcatoren zjn van het contruct. Vervolgen kunnen de tem-ret correlate berekend worden om te corrgeren voor de nvloed van de temcore op de totaalcore. Een andere eerte analye van een chaal het bekjken van de nter-temcorrelate zoal n [6] gedaan wordt. In paragraaf 3.4. wordt utgelegd dat deze analye ook verrcht kan worden om de convergente valdtet van een vragenljt te onderzoeken. Het utvoeren van een tem-analye, nadat de vragenljt utgezet onder een groep proefrepondenten, kan ertoe leden dat de kwaltet van de vragenljt verder verbeterd wordt. Toch betekent dt net dat de kwaltet van een verzamelng tem enkel en alleen op grond van deze crtera beoordeeld moet worden []. De tem moeten nameljk ook nhoudeljk geacht worden hetzelfde meetdoel te hebben. 3.4 Valdtet Om een goede vragenljt te verkrjgen dent naat de betrouwbaarhed evenzeer de valdtet, ook wel geldghed, van de vragenljt onderzocht te worden. Valdtet verwjt naar hoe goed de vragenljt meet wat het behoort te meten. Een condte voor een valde vragenljt dat de vragenljt betrouwbaar [3]. Een onbetrouwbare vragenljt kan nameljk noot valde zjn. Er zjn verchllende typen valdtet. Eén categorate van valdtet n Stap 8 van paragraaf. al kort aan bod gekomen. In deze paragraaf zullen we on bezghouden met andere typen valdtet, te weten convergente (paragraaf 3.4.) en dcrmnante valdtet (paragraaf 3.4.). Deze typen valdtet zjn ubcategoreën van contruct valdtet. Contruct valdtet zegt et over de mate waarn deelapecten van een omvangrjk begrp het hele begrp dekken. Het onderzoeken van contruct valdtet heeft al doel om te achterhalen of er mchen onvoldoende rekenng gehouden met andere varabelen de ook van nvloed zjn 6

39 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla op het onderzochte begrp. De reultaten van een vragenljt kunnen nameljk op het eerte gezcht perfect ljken aan te luten bj de theore, terwjl er bepaalde apecten, de aan een begrp te onderkennen zjn, ongemeten bljven Convergente valdtet Convergente valdtet heeft te maken met de verondertellng dat metngen van een bepaald contruct, de n theore met elkaar verbonden zjn, n werkeljkhed ook met elkaar verbonden denen te zjn. Om convergente valdtet te onderzoeken kan bjvoorbeeld gekeken worden naar de amenhang tuen de reultaten van het oorpronkeljke onderzoek en de reultaten van een geljkoortg onderzoek. Al chattng van convergente valdtet van een vragenljt wordt vaak de correlatecoëffcënt tuen de core van de verchllende metngen genomen. In [6] worden de tem n een Lkertchaal vragenljt gezen al verchllende metngen van éénzelfde contruct. Dat betekent dat de tem n theore het contruct meten en dat de correlate tuen de verchllende temcore een ndcate geeft van n hoeverre de verchllende tem gerelateerd zjn aan hetzelfde contruct. Inden de correlate tuen de verchllende tem hoog utvallen, het zeer aannemeljk dat de tem hetzelfde contruct meten, maar dat betekent net dat je automatch het gewente contruct meet. Convergente valdtet kan ook onderzocht worden door te kjken naar de amenhang tuen de reultaten van een onderzoek en oberveerbaar gedrag Dcrmnante valdtet Een vragenljt bezt voldoende dcrmnante valdtet nden metngen, de theoretch geen verband hebben met elkaar, dat n werkeljkhed ook net hebben. Om dt aan te tonen kan bjvoorbeeld gekeken worden naar de amenhang tuen de onderzoekreultaten en de reultaten van een anderoortg onderzoek. Een lage correlate tuen de reultaten maakt het aannemeljk dat we met bede onderzoeken verchllende contructen meten. In [6] wordt dcrmnante valdtet aangetoond door de correlatecoëffcënten tuen de temcore behorende bj twee verchllende, maar verwante, contructen te berekenen. Inden de correlate laag zjn het zeer waarchjnljk dat de tem verchllende contructen meten. Het moet gezegd worden dat er nog veel andere vormen van valdtet betaan, de na de contructe van een vragenljt onderzocht kunnen worden. In dt werktuk zullen deze verder net aan bod komen. 7

40 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla 8

41 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Hoofdtuk 4 Praktjktude: Lkertchaal vragenljt contrueren, utzetten en analyeren 4. Introducte In dt laatte hoofdtuk zal de theore, de n de voorgaande hoofdtukken beproken, worden toegepat n een praktjktuate. Om dt doel te bewerktellgen een vragenljt ontwkkeld om de tevredenhed van tudenten over hun tude te meten. Deze vragenljt verpred onder tudenten aan de Facultet der Eacte Wetenchappen (FEW) van de Vrje Unvertet Amterdam. Hoe de defnteve vragenljt tot tand gekomen, te lezen n paragraaf 4.. In paragraaf 4.3 worden de techneken ut hoofdtuk 3 toegepat om de vragenljt te analyeren en verder te verbeteren. Het leek on ook ntereant om et te zeggen over de reultaten van het onderzoek onder de tudenten. In paragraaf 4.4 zullen de reultaten van de verbeterde vragenljt geanalyeerd worden. 4. Optellen van de vragenljt Bj het optellen van de vragenljt om de tevredenhed van FEW tudenten over hun tude te meten, getracht om zoveel mogeljk de tappen van paragraaf. door te lopen. Zo eert gekeken naar de belangrjkte apecten de nvloed hebben op de tevredenhed van tudenten. In on onderzoek gekozen voor de volgende apecten: - Inhoud van het tudeprogramma - waltet van de docenten - Studelat - Faclteten van de Facultet der Eacte Wetenchappen Voor eder categore zjn er tellngen geformuleerd de de tevredenhed over dat deelapect meten. Wat betreft de tellngen getracht om deze op een eendudge maner te formuleren. Vanwege de beperkte tjd voor het onderzoek de vragenljt net utgebred getet n een plot. Wel zjn opmerkngen van medetudenten en de begeleder van dt werktuk verwerkt n de defnteve vragenljt. Dt heeft geled tot een vragenljt betaande ut 34 vragen. De eerte ze vragen zjn algemeen van aard en de andere 8 vragen zjn tellngen, de betrekkng hebben op de ver boventaande apecten. Al antwoordchaal voor de tellngen gebruk gemaakt van de Lkertchaal met een even aantal antwoordcategoreën. Bj een dergeljk aantal antwoordcategoreën wordt de repondent bj eder tem gedwongen een antwoord rchtng de mee een of mee oneen ende van de chaal te kezen. De antwoordcategoreën met de daaraan toegekende core zjn n tabel 4. te vnden. Antwoordcategore Score Dagree trongly Dagree Tend to dagree 3 Tend to agree 4 Agree 5 Agree trongly 6 Tabel 4.: Antwoordcategoreën met bjbehorende core 9

42 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla De defnteve vragenljt, de aan de FEW tudenten voorgelegd, opgenomen n Append B. Va de mal zjn alle tudenten van de facultet benaderd om aan het onderzoek mee te werken. In deze mal nformate verchaft over het doel van het onderzoek en getracht om de tudenten over te halen de vragenljt n te vullen. Studenten konden va een lnk n de mal naar de webte met de vragenljt gaan. Gebruk gemaakt van de te om de vragenljt op te tellen. Op deze webte kunnen verchllende oorten vragenljten ontworpen en beheerd worden. Va een egen account kan nzcht n de reultaten van de vragenljt verkregen worden en kunnen de antwoorden van de repondenten op de vragen worden geëporteerd naar bjvoorbeeld een cv fle. De vragenljt heeft dre weken op de te getaan en n totaal hebben 44 tudenten de vragenljt beantwoord. In de twee volgende paragrafen zullen analye gedaan worden op de antwoorden van de repondenten. 4.3 Analye van de vragenljt Het tattch oftwarepakket R gebrukt om de vragenljt te analyeren. De gecodeerde antwoorden van de repondenten zjn n een matr getopt, waarbj n edere rj de antwoorden van een repondent op de vragen te lezen. Zodoende heeft edere kolom van de matr betrekkng op een vraag ut de vragenljt. Aangezen het berekenen van onder andere Cronbach en het utvoeren van een tem-analye alleen op tem utgevoerd kan worden een neuwe matr gecontrueerd, waarn alleen de temcore van de repondenten n voorkomen. De antwoorden op de algemene vragen van de vragenljt zjn herbj du gecheden van de temcore. Omdat de vragenljt ut ze algemene vragen betaat, houden we nu een matr over met 44 (aantal repondenten) rjen en 8 (aantal tem) kolommen. Vervolgen zjn de antwoorden op tem, de negatef geteld zjn, gehercodeerd. In de gebrukte vragenljt (ze Append B) alleen tem 6 negatef geteld. Het hercoderen van de temcore kan mpelweg utgevoerd worden door de volgende bewerkng: neuwe temcore = 7-oude temcore Verwjderen van utbjter Voorafgaand aan de analye van de vragenljt zal gekeken moeten worden of er zch mchen utbjter n de data bevnden. Het kan natuurljk voorkomen dat repondenten de vragenljt hebben ngevuld zonder echt na te denken bj edere vraag. Etreem grote of klene waarnemngen kunnen dan een vertekend beeld geven en leden tot verkeerde bevndngen. In paragraaf 3..3 opgemerkt dat de Cronbach betrouwbaarhedcoëffcënt geen robuute chatter. Het du van belang om utbjter ut de data te verwjderen om jute utpraken over de betrouwbaarhed van de chaal te kunnen doen. Inzcht n mogeljke utbjter kan verkregen worden door een boplot van de omcore van de repondenten te maken. In fguur 4. deze boplot afgebeeld. Ook het htogram van de omcore (fguur 4.) bedt nzcht n de predng van de omcore. 30

43 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Fguur 4.: Htogram van de omcore Fguur 4.: Boplot van de omcore Ut de boplot af te leden dat 6 omcore al etreme waarden bechouwd kunnen worden. Het bekjken van het antwoordpatroon van deze repondenten heeft ertoe geled dat alleen de klente omcore al utcheter aangemerkt. Deze repondent heeft nameljk alle vragen met volledg mee oneen beantwoord. De vjf andere etreme waarden, de ut de boplot volgen, lggen relatef dcht bj de mamale en mnmale waarden de geen utcheter zjn 4. De mamale en mnmale waarden de geen utcheter zjn, worden n de boplot met een horzontale ljn weergegeven. Ook al we naar het htogram kjken zen we dat het klente datapunt betrekkeljk ver lgt van de ret van de data Betrouwbaarhed en tem-analye In R zjn functe (ze Append C) geprogrammeerd waarmee de Spearman-Brown plt half betrouwbaarhedcoëffcënt berekend kan worden voor verchllende pltngen van een chaal n twee ubchalen. Er voor gekozen om deze betrouwbaarhedcoëffcënt te berekenen voor een pltng gebaeerd op temnummer. Het plten gebeurt n dt geval door tem met een even nummer n de ene ubchaal te plaaten en tem met een oneven nummer n de andere ubchaal. De Spearman-Brown plt half betrouwbaarhedcoëffcënt van de chaal, de wj ontwkkeld hebben om de tevredenhed van tudenten over hun tude te meten, bj een dergeljke ytematche pltng geljk aan Ook het mogeljk om de Spearman-Brown plt half betrouwbaarhedcoëffcënt te berekenen voor een wllekeurge pltng van de tem n twee ubchalen. Al we een dergeljke random pltng utvoeren de betrouwbaarhedcoëffcënt van de ontwkkelde chaal geljk aan Omdat de betrouwbaarhedcoëffcënt afhangt van hoe de chaal gepltt wordt, het nformatever om te kjken naar het gemddelde van bjvoorbeeld 000 betrouwbaarhedcoëffcënten verkregen na random pltng. Dt gemddelde De mamale waarde de geen utcheter, het grootte datapunt dat bnnen.5 maal de nterkwartelaftand vanaf het derde kwartel verwjderd lgt. Analoog geldt dat de mnmale waarde de geen utcheter, het klente datapunt dat bnnen.5 maal de nterkwartelaftand vanaf het eerte kwartel lgt. 3

44 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Op ba van de berekende Spearman-Brown plt half betrouwbaarhedcoëffcënten bj zowel een ytematche al een random pltng van de chaal, kan veronderteld worden dat de ontwkkelde chaal een goede betrouwbaarhed heeft. Uteraard n R ook een functe geprogrammeerd waarmee de Cronbach betrouwbaarhedcoëffcënt van een vragenljt berekend kan worden. Ut deze functe bljkt dat de vragenljt een Cronbach heeft geljk aan Een 95%-betrouwbaarhednterval voor deze chatter geljk aan [0.85, 0.908]. Ut de waarde van Cronbach en het betrouwbaarhednterval wordt de eerdere conclue over de betrouwbaarhed van de chaal bevetgd. De Cronbach betrouwbaarhedcoëffcënt nameljk een tuk groter dan het veelgebrukte nveau van Ook de ondergren van het betrouwbaarhednterval groter dan dt nveau. Het echter de moete waard om te onderzoeken of de kwaltet van deze vragenljt verder verbeterd kan worden. Item-totaal correlate Om een eerte nzcht te krjgen n tem, de onguntge ndcatoren zjn van het contruct, zal voor eder tem de correlate tuen de tem- en totaalcore berekend worden. In tabel 4. zjn deze correlate voor de ontwkkelde chaal te vnden. Ook voor eder tem de overchrjdngkan berekend al we de tem-totaal correlatecoëffcënten toeten met behulp van de Pearon correlatetoet n R. Met behulp van deze correlatetoet kunnen wj onderzoeken of de tem- en totaalcore potef amenhangen. Zodoende hebben we de volgende toet: H 0 : de correlate tuen de temcore en de totaalcore klener of geljk aan 0. H : de correlate tuen de temcore en de totaalcore groter dan 0. Inden aan de hand van de correlatetoet een overchrjdngkan (p-value) gevonden wordt, de klener dan de gekozen onbetrouwbaarheddrempel ( 0 ), dan zal de nulhypothee verworpen worden. In dat geval het aannemeljk dat de tem- en totaalcore potef amenhangen. Item met een poteve amenhang met de totaalcore zou je het left n de vragenljt wllen houden. De correlatetoet n dt geval een eenzjdge toet, waarbj 0 geljk aan 0.05 genomen wordt. Item nr Item-totaal corr P-value e e e e-3.4e e e e e-0.e-6.e e e- Tabel 4.: Item-totaal correlate met overchrjdngkanen correlatetoet Ut boventaande tabel valt op te merken dat dre tem een relatef lage tem-totaal correlate hebben. Herbj gaat het om de tem 4, 6 en 4. 3

45 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Ut de overchrjdngkanen van de correlatetoet volgt dat voor de tem 4, 6 en 4, zoal voor alle tem, de nulhypothee wordt verworpen. De overchrjdngkanen zjn nameljk klener dan de onbetrouwbaarheddrempel van We kunnen du net tellen dat er geen of een negateve amenhang tuen deze tem en de totaalcore. Op ba van de correlatetoet kunnen we deze tem du net zomaar ut de vragenljt weglaten. Aan de hand van andere analye hopen we meer te kunnen zeggen over de brukbaarhed van deze tem n de vragenljt. Item-ret correlate Zoal n paragraaf 3.3 aan bod gekomen het ook ntereant te kjken naar de tem-ret correlate. Dt crterum geeft de amenhang weer tuen een afzonderljk tem en de gehele chaal, gebaeerd op de overge tem. In ondertaande tabel kunnen de tem-ret correlate van de tem n de vragenljt teruggevonden worden. Teven zjn ook de overchrjdngkanen van de correlatetoet op de tem-ret correlate n deze tabel opgenomen. Item nr Item-ret corr P-value e e e-4 4.9e e e-.e-6.0e e e-08 9.e-3.4e e e-09 Tabel 4.3: Item-ret correlate met overchrjdngkanen correlatetoet Ut boventaande tabel met tem-ret correlate valt on op dat de tem 4, 6 en 4 wederom een relatef lage correlate vertonen. Al we rekenng houden met de veelgebrukte ondergren van 0.35, de n paragraaf 3.3 beproken, komen ook de tem en 5 n aanmerkng voor nader onderzoek. De tem met tem-ret correlate et groter dan 0.35 denen uteraard ook aandachtg betudeerd te worden. Ut de overchrjdngkanen van de correlatetoet, de allemaal klener zjn dan 0, valt op te maken dat net veronderteld mag worden dat de amenhang tuen de tem en de om van de retcore negatef dan wel afwezg. Wederom geeft de correlatetoet on geen onderteunng om ongechkt ljkende tem ut de vragenljt weg te laten. Inter-temcorrelate Naat de tem-totaal correlate en de tem-ret correlate het bekjken van de ntertemcorrelate een maner om na te gaan n hoeverre de tem n een chaal hetzelfde contruct meten. De meet opvallende nter-temcorrelate zjn n tabel 4.4 opgenomen. Om et meer te kunnen zeggen over de amenhang van de geelecteerde tem ook de correlatetoet op de nter-temcorrelatecoëffcënten toegepat. De overchrjdngkanen van deze toet zjn ook n tabel 4.4 te lezen. 33

46 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Item nr. Item nr. Correlatecoëffcënt Overchrjdngkan Item nr. Item nr. Correlatecoëffcënt Overchrjdngkan Tabel 4.4: Inter-tem correlate met overchrjdngkanen correlatetoet We zen dat de correlatecoëffcënten n boventaande tabel allemaal dchtbj 0 lggen. De overchrjdngkanen van de correlatetoet geven aan dat de nulhypothee n geen enkel geval verworpen mag worden. Het du aannemeljk dat de boventaande tem onderlng geen amenhang vertonen of mchen zelf negateve amenhang. Wat on opvalt, dat tem 4 en tem 6 regelmatg terugkomen n boventaande tabel. Ook n eerdere analye gebleken dat deze twee tem onguntg zjn voor de chaal. Het du zeer waarchjnljk dat de kwaltet van de chaal toeneemt al we deze twee tem ut de vragenljt verwjderen. In vervolganalye hopen we dt te kunnen aantonen. nden tem verwjderd Een maner om te onderzoeken of de kwaltet van een chaal verbetert wanneer een bepaald tem ut de chaal verwjderd wordt, nden tem verwjderd (ze ook paragraaf 3.3). De reultaten van deze technek op de ontwkkelde vragenljt zjn te vnden n ondertaande tabel. Item nr tem verwjderd Tabel 4.5: nden tem verwjderd orgnele vragenljt Ut boventaande tabel kunnen we afleden dat voor ver tem geldt dat nden tem verwjderd groter dan de Cronbach van de orgnele vragenljt (0.8796). Het gaat herbj om de tem 4, 6, 4 en 5. Ook ut eerdere analye gebleken dat onder andere deze tem de kwaltet van de chaal negatef beïnvloeden. We zen dat de hoogte Cronbach wordt berekt wanneer tem 4 ut de chaal wordt verwjderd. De tellng, de bj dt tem hoort, Net to my tudy I keep enough tme to do other thng, hoeft nderdaad net de tevredenhed van tudenten over hun tude te meten. Andere zaken kunnen nameljk ook bepalen of emand veel of weng tjd over heeft naat de tude. De Cronbach van de vragenljt zonder tem 4 du geljk aan en het 95%- betrouwbaarhednterval geljk aan [0.8567, 0.94]. Deze verkregen chaal gaan we opneuw analyeren met al doel om eventueel andere tem te vnden de ut de chaal 34

47 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla verwjderd kunnen worden. Wederom zal nden tem verwjderd voor de tem n deze chaal berekend worden. De reultaten zjn te vnden n ondertaande tabel. Item nr tem verwjderd Tabel 4.6: nden tem verwjderd chaal zonder tem 4 Voor dre tem geldt nu dat er en hogere waarde van Cronbach wordt berekt wanneer het tem ut de chaal wordt weggelaten. Dt zjn de tem 6, 4 en 5. Het verwjderen van tem 4 ledt tot de hoogte waarde van de betrouwbaarhedcoëffcënt. Ook dt tem n vorge analye naar boven gekomen al een kwaltatef onguntg tem voor de chaal. De tellng de bj dt tem hoort, nameljk The lbrary of the faculty of cence ealy acceble, meet du waarchjnljk net de tevredenhed van tudenten over hun tude. De Cronbach betrouwbaarhedcoëffcënt van de chaal, de overbljft wanneer tem 4 en 4 worden weggelaten, du geljk aan Het 95%-betrouwbaarhednterval van deze coëffcënt [0.8593, 0.946]. De procedure van nden tem verwjderd vervolgen een aantal keer toegepat totdat de chaal net verder verbeterd kon worden. De utgevoerde R-code terug te vnden n Append D. Deze procedure heeft achtereenvolgen tot de volgende reultaten geled: - Na tem 4 en 4 bljkt dat het verwjderen van tem 5 ( The faculty provde uffcent place for elf-tudy ) te leden tot een hogere betrouwbaarhed van de chaal. De reulterende chaal heeft een betrouwbaarhed van 0.89 met een 95%- betrouwbaarhednterval geljk aan [0.8639, 0.984]. - Vervolgen ledt het verwjderen van tem 6 ( I attend the lecture regularly ) tot een hogere betrouwbaarhed. We houden nu een chaal over met een betrouwbaarhed van ([0.8663, 0.907]). - Daarna bljkt het verwjderen van tem 9 ( In the faculty there are uffcent computer avalable ) te reulteren n een hogere betrouwbaarhed, nameljk ([0.8667, 0.95]) - Ten lotte wordt tem 6 ( Some coure are a wate of tme ) ut de vragenljt verwjderd. Na het weglaten van dt tem houden we een chaal over met een betrouwbaarhed van ([0.8673, 0.96]). Het berekenen van nden tem verwjderd voor de overgebleven tem n de chaal geeft de reultaten, de te vnden zjn n tabel 4.7. Tabel 4.7 laat zen dat de betrouwbaarhed van de chaal net verder toeneemt wanneer één van de overgebleven tem ut de vragenljt wordt weggelaten. Dat betekent dat we de hoogte waarde voor Cronbach hebben berekt. De vragenljt n Append B kan op ba van deze reultaten worden aangepat. Deze aangepate vragenljt kan al meetntrument voor de tevredenhed van tudenten worden toegepat op een grotere doelgroep. 35

48 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Item nr tem verwjderd Tabel 4.7: nden tem verwjderd chaal zonder tem 4, 5, 4, 6, 9 en 6 Het ook ntereant om te kjken of de Spearman-Brown plt half betrouwbaarhedcoëffcënt van de overgebleven chaal groter dan de van de orgnele chaal. Deze coëffcënt berekend n het geval van een ytematche pltng van de chaal. Ook het gemddelde berekend van 000 Spearman-Brown plt half betrouwbaarhedcoëffcënten verkregen na random pltng van deze chaal. In tabel 4.8 zjn de belangrjkte ndcatoren van betrouwbaarhed voor de orgnele en overgebleven chaal amengevat. Orgnele chaal Overgebleven chaal Cronbach %- Betrouwbaarhednterval [0.85, 0.908] [0.8673, 0.96] Splt half na ytematche pltng van de chaal Gemddelde van 000 random plt half coëffcënten Tabel 4.8: Indcatoren van betrouwbaarhed voor de orgnele en overgebleven chaal Ut boventaande tabel op te maken dat naat Cronbach ook andere maattaven van betrouwbaarhed een et beter reultaat laten zen voor de overgebleven chaal. We hebben du nu va verchllende betrouwbaarhedcoëffcënten aangetoond dat de kwaltet van de chaal toegenomen na het verwjderen van de ze tem Conclue Na de analye n deze paragraaf zjn een aantal logche tem ut vragenljt verwjderd. Zo zen we onder andere dat tem 0 ( The computng faclte are good ) heel veel ljkt op het verwjderde tem 9. Ook voor de andere tellngen er et voor te zeggen dat ze net of nauweljk de tevredenhed van tudenten over hun tude bepalen. Toch kan een onderzoeker ervoor kezen om ommge verwjderde vragen toch n de vragenljt te houden. De oorpronkeljke vragenljt laat nameljk een relatef goede betrouwbaarhed zen. Daarnaat merken we op dat we bj een andere doelgroep mchen tot andere reultaten waren gekomen. Dealnettemn zjn we ervan overtugd dat we een voldoende grote teekproef hebben genomen en we du met enge zekerhed kwaltatef onguntge tem ut de vragenljt hebben verwjderd. In de boventaande analye net eplcet onderzocht of de tem een eendmenonaal contruct meten. Om dt te onderzoeken kunnen bjvoorbeeld de nter-temcorrelate betudeerd worden. Aan de hand van deze correlate kunnen we net met zekerhed tellen dat de tem een terke amenhang vertonen. De meete correlate tuen de temcore zjn nameljk net erg groot. Echter de maat voor de nterne contente van onze multple tem chaal, oftewel Cronbach, relatef hoog. Op ba van Cronbach het aannemeljk dat 36

49 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla de tem een eendmenonaal contruct meten n plaat van een meerdmenonaal contruct. Om her meer zekerhed over te krjgen zou eventueel een factor analye kunnen worden utgevoerd. In dt werktuk beteden we verder geen aandacht aan deze technek. 4.4 Analye van de reultaten In deze paragraaf zullen kort een aantal reultaten van het onderzoek worden geanalyeerd. We zjn herbj voornameljk geïntereeerd of verchllende groepen tudenten van elkaar verchllen qua tevredenhed. De utgevoerde analye hebben betrekkng op de antwoorden van 43 repondenten, de zjn overgebleven na het verwjderen van één utbjter ut de data. Bj het analyeren van de reultaten ook alleen gekeken naar de antwoorden op tem. Dt zjn de overgebleven tem van paragraaf 4.3, de leden tot de hoogte betrouwbaarhed van de chaal. Een aantal numereke amenvattngen met betrekkng tot de omcore van de repondenten op de tem zjn terug te vnden n tabel 4.9. Gemddelde omcore Varante omcore 6.78 Mnmale omcore 44 Mamale omcore 9 Tabel 4.9: Numereke amenvattngen m.b.t. omcore Ut deze tabel valt on meteen de hoge varante van de omcore op. Een verklarng hervoor net eenvoudg te geven. Verder valt op te merken dat de gemddelde omcore van tudenten erop dudt dat FEW tudenten over het algemeen tevreden zjn over hun tude. Een gemddelde omcore van betekent nameljk dat de gemddelde temcore 4.45 (97.86/). Numereke amenvattngen met betrekkng tot de temcore zjn opgenomen n ondertaande tabel. Item nr Gemddelde temcore Varante temcore Tabel 4.0: Numereke amenvattngen m.b.t. temcore Ook de gemddelden van de temcore duden aan dat de tudenten over het algemeen tevreden zjn over hun tude. Bjna alle gemddelden zjn groter dan 4 (tend to agree). De varante van de temcore zjn nu net erg groot, wat natuurljk ook te maken heeft met het fet dat repondenten lecht ut ze antwoordcategoreën kunnen kezen. Tjden het analyeren van de reultaten van de vragenljt leek het on ook ntereant om de volgende onderzoekvragen te beantwoorden: 37

50 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla I er een gnfcant verchl tuen de tevredenhed van bachelor en mater tudenten? I er een gnfcant verchl tuen de tevredenhed van manneljke en vrouweljke tudenten? 3 Zjn tudenten, de relatef lang taan ngechreven, mnder tevreden over hun tude dan tudenten de relatef kort taan ngechreven? Deze dre onderzoekvragen worden n de volgende ubparagrafen beantwoord Tevredenhed van bachelor en mater tudenten Om antwoord te vnden op de eerte onderzoekvraag de dataet met de antwoorden van alle repondenten verdeeld n twee aparte dataet. De eerte dataet bevat alleen de antwoorden van bachelor tudenten en de tweede dataet alleen de van mater tudenten. Repondenten, de geen antwoord hebben gegeven op deze vraag zjn net opgenomen n één van de twee dataet. Nu kunnen we de omcore van deze twee typen repondenten met elkaar vergeljken. In totaal hebben 30 bachelor en 94 mater tudenten de vragenljt beantwoord. De overge repondenten zjn of bezg met een pre-mater programma of hebben mpelweg deze vraag onbeantwoord gelaten. Enkele numereke amenvattngen over de twee dataet zjn te vnden n ondertaande tabel. Bachelor tudenten Mater tudenten Gemddelde omcore Varante omcore Mnmale omcore Mamale omcore 9 4 Tabel 4.: Numereke amenvattngen m.b.t. omcore van bachelor en mater tudenten Het ut tabel 4. net n één oogoplag dudeljk of bachelor tudenten meer tevreden zjn over hun tude dan mater tudenten of anderom. Het gemddelde van de omcore lggen nameljk dcht bj elkaar. Wel valt op te merken dat de varante van de omcore van mater tudenten ongeveer twee keer zo groot al de van bachelor tudenten. We gaan mddel een tattche toet onderzoeken of er een gnfcant verchl tuen de tevredenhed van bede type tudenten. Eert gaan we onderzoeken of de omcore van de repondenten een normale verdelng hebben. Met behulp van de Shapro-Wlk toet kan onderzocht worden of waarnemngen normaal verdeeld zjn. Deze toet heeft n on geval al nulhypothee dat de omcore een normale verdelng beztten. Aangezen deze toet een tweezjdge toet, wordt de onbetrouwbaarheddrempel geljk aan 0.05 (α 0 /) genomen. De overchrjdngkan van de toet voor bachelor tudenten 0.33 en voor mater tudenten deze De overchrjdngkan n één geval groter dan de onbetrouwbaarheddrempel van Dat betekent dat de omcore van bachelor tudenten net van een teekproef ut een normale verdelng zjn te ondercheden. Daarentegen wordt de hypothee dat de omcore van mater tudenten normaal verdeeld zjn, verworpen. Aangezen we geen zekerhed hebben over de verdelng van de omcore van mater tudenten kan het gebruk van de t-toet om de twee teekproeven met elkaar te vergeljken mledend zjn. Om de reden zullen we gebruk maken van een verdelngvrje toet. De twee unvarate teekproeven zjn ongepaard en we nemen aan dat de twee teekproeven onafhankeljk zjn van elkaar. Een gechkte toet om de locate van de twee teekproeven 38

51 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla met elkaar te vergeljken de Mann Whtney-toet (Wlcoon-twee-teekproeventoet). Met deze toet kunnen we onderzoeken of er een gnfcant verchl tuen de tevredenhed van bachelor en mater tudenten. De nulhypothee : De omcore van bachelor en mater tudenten zjn geljk. De alternateve hypothee : De omcore van bachelor en mater tudenten verchllen. De onbetrouwbaarheddrempel wordt geljk aan 0.05 genomen omdat we te maken hebben met een tweezjdge toet. De overchrjdngkan, de ut de Mann Whtney-toet volgt, Deze waarde groter dan de onbetrouwbaarheddrempel, waardoor de nulhypothee net verworpen mag worden. Het du aannemeljk dat de gemddelde omcore van bachelor tudenten net gnfcant verchlt van de van mater tudenten. Dat betekent dat we kunnen verondertellen dat bachelor en mater tudenten over het algemeen even tevreden zjn over hun tude Tevredenhed van manneljke en vrouweljke tudenten Om de tweede onderzoekvraag te beantwoorden dezelfde procedure doorlopen al bj de onderzoekvraag van paragraaf In totaal hebben tenmnte 73 manneljke en 68 vrouweljke tudenten de vragenljt beantwoord (twee repondenten hebben hun gelacht net opgegeven). Enkele numereke amenvattngen over de twee dataet zjn te vnden n ondertaande tabel. Mannen Vrouwen Gemddelde omcore Varante omcore Mnmale omcore Mamale omcore 9 Tabel 4.: Numereke amenvattngen m.b.t. omcore van manneljke en vrouweljke tudenten Aan de hand van tabel 4. kunnen we net afleden of manneljke tudenten meer tevreden zjn over hun tude dan vrouweljke tudenten of anderom. Het gemddelde van de omcore lggen nameljk dcht bj elkaar. Ook de varante van de omcore verchllen net veel van elkaar. Op het eerte gezcht ljkt er du weng verchl te ztten tuen de tevredenhed van bede gelachten. Met behulp van de Shapro-Wlk toet eert onderzocht of de omcore van manneljke en vrouweljke tudenten een normale verdelng hebben. De overchrjdngkan van deze toet voor manneljke tudenten en voor vrouweljke tudenten deze 7.03e-06. De overchrjdngkan n bede gevallen klener dan de onbetrouwbaarheddrempel van 0.05, waardoor de nulhypothee n bede gevallen verworpen dent te worden. Het du aannemeljk dat zowel de omcore van manneljke tudenten al de omcore van vrouweljke tudenten net normaal verdeeld zjn. Wederom gaan we mddel de Mann Whtney-toet onderzoeken of er een gnfcant verchl tuen de tevredenhed van bede type tudenten. Ut deze toet volgt een overchrjdngkan van Aangezen deze overchrjdngkan veel groter dan de onbetrouwbaarheddrempel van 0.05 het du zeer waarchjnljk dat er geen gnfcant verchl te onderkennen tuen de tevredenhed van manneljke en vrouweljke tudenten. 39

52 Vragenljten: van ontwkkelng tot kwaltetverbeterng BWI werktuk F. Rmla Jaar van eerte nchrjvng en tevredenhed In deze paragraaf zal onderzocht worden of de tevredenhed van FEW tudenten gerelateerd aan het jaar waarop zj zch voor het eert ngechreven hebben voor de tude. Herbj zjn we beneuwd of tudenten de al een aantal jaar taan ngechreven over het algemeen mnder tevreden zjn over hun tude dan tudenten de relatef kort taan ngechreven. In tabel 4.3 zjn voor verchllende jaren van eerte nchrjvng het aantal repondenten en de gemddelde omcore van deze tudenten gerapporteerd. Jaar van eerte nchrjvng < Aantal tudenten Gemddelde omcore Tabel 4.3: Per jaar van eerte nchrjvng het aantal repondenten en hun gemddelde omcore Ut boventaande tabel het net eenvoudg om conclue te trekken over de verhoudng tuen jaar van eerte nchrjvng en tevredenhed. De gemddelde omcore bljkt voor tudenten van 006 en 007 welwaar groter te zjn dan het gemddelde van tudenten de zch voor 006 hebben ngechreven. Voor tudenten van 00, 004 en 005 geldt daarentegen dat de gemddelde omcore klener zjn dan de van tudenten van het jaar daarvoor. Om meer nzcht te krjgen n de verhoudng tuen jaar van eerte nchrjvng en tevredenhed zjn ook boplot van de omcore van tudenten gemaakt. In ondertaande fguur kan men voor de verchllende jaren van eerte nchrjvng een boplot van de omcore vnden. Fguur 4.3: Boplot van de omcore van tudenten voor verchllende jaren van eerte nchrjvng Ut de boplot valt on op dat een tjgende trend waar te nemen n de tevredenhed van tudenten tuen voor 00 en 003. Hetzelfde geldt voor de tevredenhed van tudenten tuen 004 en 007. Tuen 003 en 004 zen we een dalng n de tevredenhed van tudenten. Omdat het aantal repondenten per jaar van eerte nchrjvng net bjzonder groot, leek het on vertandg om verchllende repondenten amen te voegen. Tabel 4.3 en de boplot n fguur 4.3 betuderend heeft on doen beluten om de tudenten n ver groepen te verdelen. Deze groepen zjn al volgt: 40