Onderzoeksmethoden en techieken I

Transcriptie

1 Naam:... Voornaam:... Studejaar en -rchtng:... MEERKEUZEVRAGEN Onderzoeksmethoden en techeken I Examen september 000 KLAD: omcrkel op het opgaven formuler telkens HET BESTE antwoord, er s telkens 1 best antwoord per vraag, fout gokken wordt net bestraft. NET: krus op het ANTWOORDFORMULIER je keuzen aan 1. De resultaten van de knderen van het 6 de leerjaar lager onderwjs op de endtoets rekenen worden vergeleken voor de klassen van een schooltje. Hertoe worden de resultaten van de knderen gerangschkt op bass van de ruwe scores (aantal vragen correct). De rangschkkng zet er als volgt ut (let wel rangnummer 1 staat voor het BESTE resultaat): Knd Rangnummer Klas Knd Rangnummer Klas An 1 (beste) A Goran 7 A Bart A Hlde 8 A Cora 3 B Ine 9 A Dan 4 B Jord 9 A Evy 5 B Kevn 11 B Femke 6 B Lnde 1 (zwakste) B a. Ut bovenstaande tabel kunnen we met zekerhed afleden dat de ruwe scores (= aantal correcte antwoorden) n klas A gemddeld HOGER waren dan n klas B b. Ut bovenstaande tabel kunnen we met zekerhed afleden dat de ruwe scores (= aantal correcte antwoorden) n klas A gemddeld LAGER waren dan n klas B c. Ut bovenstaande tabel kunnen we NIET MET ZEKERHEID afleden of de ruwe scores (= aantal correcte antwoorden) n klas A gemddeld hoger waren dan n klas B dan wel andersom d. Om na te gaan welke klas het best kan rekenen moeten we het schaalnveau van de gegevens ut bovenstaande tabel terugbrengen tot nomnaal nveau e. Om na te gaan n welke klas de leerlngen beter kunnen rekenen moeten we het schaalnveau van de gegevens ut bovenstaande tabel opvoeren tot nterval nveau en dus werken met de ruwe scores Bekjk n dt verband de sldes ut transparanten set 4. Vermts het her over rangnummers gaat weet je net HOEVEEL (aantal correcte antwoorden) verschl er waren tussen de leerlngen. Inden nu de knderen A(n) en B(art) slechts weng verschlden van C(ora),D( ),E en F en bovenden er een grote afstand s tussen F en G, en vervolgens weer weng tussen J en K, dan s het best mogeljk dat gemddeld de knderen ut klas B betere punten hadden dan de van klas A. Bv

2 Knd Correcte antwoorden Klas Knd Correcte antwoorden Klas An 0 A Goran 10 A Bart 19 A Hlde 9 A Cora 18 B Ine 8 A Dan 17 B Jord 7 A Evy 16 B Kevn 6 B Femke 15 B Lnde 5 B levert klas A heeft gemddeld 1, antwoorden correct, klas B haalt gemddeld 1, en dus s klas B n dt geval beter dan A, MAAR: nden je de punten anders verdeelt, bv An heeft 0, Bart 19, tot Lnde met 9, dan s klas A beter dan klas B.. Als de correlate tussen de scores op een bestaande goede test voor socale vaardghed en jouw egen neuwe test voor socale vaardghed laag s dan wjst dat op a. een gebrekkge betrouwbaarhed van jouw neuwe test b. een gebrekkge valdtet van jouw neuwe test c. een goede valdtet van jouw neuwe test d. a. en b. e. a. en c. Dt wjst enkel op een lage valdtet en zegt nets over een eventueel lage betrouwbaarhed. Voorbeeld: je wlt een test maken om ntellgente te meten en je gebrukt daarvoor een lntmeter en je meet de lchaamslengte van de deelnemers. Je hebt een zeer betrouwbare (want stabele en herhaalbare) metng, maar ze s net valde: je meet helemaal net de ntellgente en je zou een lage correlate bekomen met de scores op een goede ntellgentetest

3 3. Om een neuwe test te normeren wordt deze afgenomen van een representateve referentegroep (de normernggroep). Het hstogram van de ruwe testscores (ruwe meetwaarden) van deze referentegroep zet erut als volgt: a. De lneare standaardscores (lneare z-meetwaarden) van de testscores zjn een veelvoud van de ruwe scores (er bestaat een k zodat z = kx ). b. De genormalseerde standaardscores (genormalseerde z-meetwaarden) van de testscores zjn een veelvoud van de ruwe scores (er bestaat een k zodat z = kx ). x c. a. en b. zjn allebe just. d. a. en b. zjn allebe fout. e. De lneare en de genormalseerde standaardscores (z) van X zjn n dt geval aan elkaar geljk. x x Een lneare z-score bereken je als volgt: z =, vermts n de gegeven verdelng s x dudeljk het gemddelde 0 s wordt de formule: z = = kx met k = 1 s s 4. Beoordeel volgende utspraken: Voor een wllekeurge waargenomen verdelng met gemddelde x en standaarddevate s geldt altjd dat A. De lneare standaardscore (z) van een meetwaarde de 1 standaarddevate (s) klener s dan het gemddelde ( x ) geljk s aan -1 B. De genormalseerde standaardscore (z) van een meetwaarde de 1 standaarddevate (s) klener s dan de medaan ( x ~ ) geljk s aan -1 C. De genormalseerde standaardscore (z) s ofwel voor alle meetwaarden klener dan de lneare standaardscore, ofwel voor alle meetwaarden groter dan de lneare standaardscore, afhankeljk van de scheefhed van de verdelng a. Utspraken A,B en C zjn fout b. Utspraak A s just en B en C zjn fout c. Utspraken A en B zjn just en C s fout d. Utspraken A en C zjn just en B s fout e. Utspraken A,B en C zjn just x x x x x s x s Utspraak A: z =, met x = x s zodat z = = = = 1 s s s s Utspraak B: genormalseerde standaardscores bepaal je op bass van de cumulateve frequenteverdelng van de waargenomen varabele. De medaan heeft nderdaad standaardscore 0, maar de andere meetwaarden worden bj het standaardseren net n functe van hun afstand tot de medaan toegewezen aan x

4 standaardscores, maar n functe van de cumulateve frequente. Bj onregelmatge verdelngen heeft dt tot gevolg dat de standaardserng ahw werkt op de x-as als een elastek de net over de gehele lengte op de zelfde maner rekt. Beschouw de cumulateve frequentecurve de hoort bj de opgave n vraag 14: Medaan = 9, met cum freqente 30. De sd s.70. De cumulateve frequente voor de (medaan 1s) s ongeveer 1, de cumulateve frequente voor de (medaan + 1 s) s ongeveer 53. Aangezen deze laatste cumulateve frequentes net symmetrsch lggen tov de cum frequente van de medaan s utspraak B net waar. Utspraak C: Net waar omwlle van een geljkaardge redenerng als voor B. Normalserng werkt net regelmatg op de meetwaarden zoals de lneare standaardserng. Bj onregelmatge verdelngen kunnen bjgevolg sommge genormalseerde standaardwaarden groter zjn dan lneare, andere zjn dan weer klener.

5 5. Een psycholoog heeft een neuwe depresseschaal ontworpen en overweegt om percentele rangen te vermelden als transformatemeetwaarden n de handledng van de test. Heronder staat de frequenteverdelng van de ruwe scores n de normernggroep (normalen) , , , , Stel nu: A = percentele rang van een persoon met ruwe score X = 1 B = percentele rang van een persoon met ruwe score X = 3 C = percentele rang van een persoon met ruwe score X = 7 D = percentele rang van een persoon met ruwe score X = 9 a. (B-A) > (D-C) b. (B-A) < (D-C) c. (B-A) = (D-C) d. (B-A) (D-C) e. (B-A) (D-C) Percentele rang (PR) geeft weer met welk percentel een meetwaarde overeenkomt. ruwe frekwente cumuateve percentel score frequente ,33 A B , , C ,67 D Bjgevolg s B-A = ; D-C = 16.67

6 6. Een onderzoeker vndt een correlate van 0.03 tussen de meetwaarden op een test en de leeftjd van de onderzochte deelnemers aan de test. a. Op bass van deze correlate kan hj met zekerhed besluten dat er (zo goed als) geen verband bestaat tussen de testresultaten en de leeftjd b. Hoewel de correlate bjna geljk s aan nul s het desondanks toch nog mogeljk dat er wel degeljk een sterk verband bestaat tussen de testresultaten en de leeftjd c. Hj kan besluten dat er zeker geen analytsch verband bestaat tussen de testresultaten en de leeftjd, een matg stochastsch verband s evenwel nog mogeljk. d. Hj moet bjgevolg nog meer deelnemers onderzoeken om deze correlate op te drjven tot een aanvaardbaar nveau (mnstens 0.6) e. Dt resultaat geeft aan dat er een probleem s met de betrouwbaarhed en/of valdtet van de gebrukte test In dt verband kan je transparanten 7 en 9 ut de eerste set bekjken. Inden een verband tussen varabelen net-lnear s (net overeenkomt met een rechte, dwz bvb meerdere rechten de mekaar opvolgen ofwel een heel andere vorm, bvb krom) kan je een erg lage correlate vnden. Zelfs nden het een analytsch net-rechtljng verband s kan de correlate laag zjn. Meer gegevens verzamelen heeft geen zn: je bljft gegevens trekken ut een puntenwolk de net op een rechte lgt en je correlate zal net veranderen. Betrouwbaarhed en/of valdtet komen enkel ter sprake nden je van te voren reden had om te veronderstellen dat er een verband was. 7. Beschouw volgende utspraken A. Emprsche begrppen lenen zch tot drecte metng ; hypothetsche begrppen moet men ndrect meten B. Hoe hoger de objectvtet van een test, hoe hoger ook de valdtet ervan C. Als men wlt nagaan of er een verband bestaat tussen het nkomen van mensen en hun ntellgente, dan kan men hun nkomen net zo goed correleren met hun ruwe score op een ntellgentetest als met hun lneare z- score omdat dat hetzelfde resultaat oplevert a. A., B. en C. zjn just b. A. en C. zjn just, B. s fout c. A. s just, B. en C. zjn fout d. A. s fout, B. en C. zjn just e. A.en B. zjn just, en C. s fout A: ze transparant van set B: lchaamslengte gemeten met een volautomatsch apparaat op bass van laserstralen geeft wellcht een heel erg objectef resultaat dat evenwel volstrekt net valde s om de ntellgente van een persoon te bepalen C: een lneare z-score komt egenljk neer op het anders jken van de as van meetwaarden. Je verschuft het nulpunt en deelt dan door de standaardafwjkng. In een spredngsdagram van ntellgente / nkomen betekent dt dus dat je nks aan de vorm van de fguur (en bjgevolg ook net aan de correlate) verandert

7 8. Een hoge correlate tussen twee varabelen (A en B) betekent dat a. A oorzaak s van B b. B oorzaak s van A c. Ofwel s a. just ofwel b., maar om ut te maken welke van bede just s moet men een experment doen. d. er een assocate bestaat tussen A en B en mogeljk ook een causale relate e. er een lnear causaal verband bestaat tussen A en B Er zjn vele mogeljke causale relates de tot hoge correlates kunnen leden (ze transparant 10 n set 1) tussen varabelen. a. en b. zjn er daar slechts van. Maar een correlate zegt altjd dat een een assocate s, welke de oorzaak daarvan s s een andere zaak. 9. Psychologen hebben nood aan operatonele defntes a. om hypothetsche begrppen te kunnen meten b. om emprsche begrppen te kunnen meten c. om de procedures van hun experment te beschrjven d. a en b e. alle voorgaande antwoorden zjn goed emprsche begrppen zjn drect waarneembaar: bvb lengte meet je rechtstreeks. Maar een hypothetsch begrp zoals ntellgente kan je net drect meten, je moet aan je proefpersoon bepaalde opdrachten geven waarn de kan tonen n welke mate de ntellgent s en de meetwaarde de je gaat vastleggen komt ut een nterpretate van het gedrag dat je observeert bj het volbrengen van de gegeven opdrachten. 10. Een knd van 1 behaalt een ruwe score van 6 op een ntellgentetest. Voor 1- jargen s de gemddelde score 8, met standaardafwjkng (je mag veronderstellen dat ntellgente normaal verdeeld s). a. aan de hand van deze gegevens kan men het ntellgentepel van dat knd vatten n 1 cjfer zoals Bnet dat deed b. aan de hand van deze gegevens kan men het ntellgentepel van dat knd vatten n 1 cjfer zoals Stern en Terman dat deden c. aan de hand van deze gegevens kan men het ntellgentepel van dat knd vatten n 1 cjfer zoals Wechsler dat zou doen dmv een devate-iq d. meerdere antwoorden zjn goed e. geen van bovenstaande antwoorden s goed Wechsler bepaalt een devate IQ, te vergeljken met een lneare z of t-score, maar dan met gemddelde 100 en standaarddevate 15. Her lgt de score van het knd 1 standaarddevate onder het gemddelde voor de leeftjd en dus s de score =85. Bnet bepaalt de mentale leeftjd, en we weten her net voor welke mentale leeftjd de ruwe score gemddeld 6 bedraagt. Voor Stern en Terman hebben we ook de mentale leeftjd nodg.

8 11. Hans behaalt een meetwaarde van 14 op een angstschaal. a. Door onbetrouwbaarhed s deze meetwaarde wellcht een onderschattng van de angst de Hans ervaart b. Een gebrekkge valdtet van deze schaal ledt wellcht tot een onderschattng van het werkeljke angstnveau c. Inden de operatonalserng van het begrp angst correct s geeft deze meetwaarde het juste angstnveau weer d. Inden we gedurende een week elke dag op hetzelfde moment met deze schaal bj Hans komen tot dezelfde meetwaarde 14, dan s dat een bewjs van de hoge betrouwbaarhed van deze schaal e. geen van de gegeven antwoorden s helemaal correct a. Onbetrouwbaarhed ledt zowel tot over als onderschattng b. Gebrekkge valdtet betekent dat je wat anders meet dan je egenljk wlt meten en dat kan ook zowel tot over- als onderschattng leden c. Ook als de operatonalsate correct s ontsnappen we net aan toevallge meetfouten. d. Angst s typsch een voorbeeld van een TIJDELIJKE toestand. Je bent geen hele week door preces even angstg. Bjgevolg heeft een herhaalde metng geen zn om de betrouwbaarhed van een angstschaal te meten. Her zou je eerder de nterne consstente moeten nagaan en dus een KR0 of alfa moeten toepassen e. dt was dus de goede 1. In een onderzoek op 40 deelnemers beschouwen we de resultaten van 4 onder hen: An heeft ruwe score 10, Ben heeft ruwe score 15, Carlo heeft 0 en Dna heeft 5 a. Als de percentele rang van An 5 s en de van Ben 30 dan s de percentele rang van Carlo zeker 35 en de van Dna 40. b. Als de lneare t-score van An 45 s en de van Ben s 50, dan s de lneare t-score van Carlo zeker geljk aan 55, de van Dna s 60 c. Als de genormalseerde t-score van An 45 s en de van Ben s 50, dan s de genormalseerde t-score van Carlo zeker geljk aan 55, de van Dna s 60 d. a., b. en c. zjn fout e. b. en c. zjn just Enkel de lneare standaardscores komen neer op een herjken van de as van meetwaarden. In dt geval s bljkbaar de standaarddevate 10 en het gemddelde 35 voor de ruwe scores 13. Observate van spontaan gedrag s een vorm van voorwetenschappeljk onderzoek omdat a. het mnder effcënt s dan een test b. dat net gestandaardseerd s en er geen normen voor bestaan c. de objectvtet net gegarandeerd s d. geen van de aangehaalde argumenten s just e. alle aangehaalde argumenten zjn just Ze transparant 7 ut set 3

9 14. Heronder vnd je de (fcteve) resultaten van 60 ad random geselecteerde jongeren van 15 jaar op een vragenljst: Meetwaarde Frequente Absolute Cumulateve x f x x f frequente SOM Bepaal de genormalseerde t-score van Sara als je weet dat haar meetwaarde 10 s. Bovenden kan je ut de tabel de standaardafwjkng op de scores berekenen: sd=.70 a. men kan voor deze gegevens de genormalseerde t-score van Sara net bepalen omdat de waargenomen verdelng dudeljk anders s dan de normaalverdelng b. de genormalseerde t-score van Sara s 48.0 c. de genormalseerde t-score van Sara s 58.4 d. de genormalseerde t-score van Sara s 53.7 e. de genormalseerde t-score van Sara s 55. Score 10 heeft cumulateve frequente 4, wat overeenkomt met percentel = 70. Bjgevolg moeten we 0.30 opzoeken n de tabel (de onderste op het 60 formuleblad). Herut bljkt dat z=0.5, dwz n de standaardnormale verdelng lggen 70% van de z-waarden onder 0.5, 30% zjn hoger dan 0.5. Nu moet deze z- waarde nog omgezet worden tot een t-waarde: t = 10 z + 50 = = Bepaal voor de gegevens ut vorge vraag het stanne waartoe emand behoort de een ruwe score behaalt van 5 a. 1 b. c. 3 d. 4 e. 5 6 Ruwe score 5 komt overeen met percentel 100 = 10. Dt komt overeen met 60 z = Vervolgens weten we dat stannes 0.5 standaarddevates breed zjn en dat stanne 5 lgt op het nterval [-0.5;0.5]. Dus

10 Stanne Interval 5 [-0.5;0.5] 4 [-0.75;-0.5] 3 [-1.5;-0.75] [-1.75;-1.5] zodat de ruwe score 5 utendeljk lgt n stanne omdat 1.8 lgt n het overeenkomstg nterval. 16. De correlate tussen de lneare z-scores en genormalseerde z-scores op een test a. s exact geljk aan 1 b. s een maat voor de nterne consstente van de test c. s meestal negatef d. kan men net berekenen omdat correlates enkel berekend kunnen worden op ruwe gegevens e. geen van de gegeven antwoorden s correct Geen commentaar, dt volgt ut al wat hervoor al s gezegd over het verschl tussen bede typen standaardscores. 17. Om de kwaltet van een test na te gaan wordt aan verschllende psychologen gevraagd om het reeds ngevulde testformuler van 10 knderen te scoren (de afname werd dus vooraf gedaan door emand anders, de psychologen moesten nog enkel de ruwe scores van de knderen bepalen). Herut bljkt dat de psychologen tot onderlng erg verschllende resultaten komen. Herut moet men besluten dat er wat schort met a. de valdtet van de test b. de betrouwbaarhed van de test c. zowel de valdtet als de betrouwbaarhed van de test d. de representatvtet van de test e. de nterne consstente van de test Bljkbaar zjn de psychologen het onderlng oneens. Dat betekent dat de resultaten net stabel zjn (betrouwbaarhed), maar automatsch betekent dat ook dat dt allemaal naar andere dngen kjken, zodat ze allemaal wat anders meten en dus de valdtet net goed s. Dt s een algemeen gegeven. Als de betrouwbaarhed van een test laag s dan s automatsch ook de valdtet laag (net andersom)

11 18. Gegeven zjn de ICC (Item Karaktersteke Curven) van tems. Je mag aannemen dat de scores n de onderzochte groep geljkmatg (rechthoekg) verdeeld zjn van laag tot hoog Kans op just antwoord 1 Item B Item A Laagste testscore Hoogste testscore a. De dscrmnate-ndex van tem A s lager dan de van tem B b. De dscrmnate-ndex van tem A s hoger dan de van tem B c. Item A s dudeljk gemakkeljker dan tem B d. Item A correleert negatef met de testscore e. Item A s een beter tem dan tem B omdat de moeljkhed ervan meer geledeljk afneemt met de testscore Uc Lc De dscrmnate-ndex s d =. (transparant 8 van set 10). Voor tem B levert U zeer groot getal zeer klen getal dt d =, voor tem A geeft dt U mnder groot getal mnder klen getal d =. U Deze breuk s klener voor A dan voor B 19. Van een test bedraagt de splt-half betrouwbaarhed r = Bepaal de r standaardmeetfout van de test als je bovenden weet dat de scores op de test utgedrukt worden als genormalseerde t-scores. a b..9 c d e r X = 1+ r 0.80 = X xx' = X1X 0,8889 genormalseerde t-scores, dus standaarddevate s 10. x1x

12 Ut de formule r XX ' S = S S = S S E ( T ) ( X ) ( T ) ( X ) ( X ) S ( E) S ( E) = 1 S ( X ) S ( X ) ( E) = S ( X )( 1 rxx ') ( ) = S( X ) 1 r ' ( X ) S ( E) S ( X ) S S = = haal je volgens transparant 4 ut set 7 dat S r XX ' XX De berekenng geeft S ( E) = S( X ) 1 rxx ' = = De standaardmeetfout van de WAIS (Wechsler Adult Intellgence Scale) bedraagt Dt betekent a. dat emand de een IQ van 100 behaalt n fete een werkeljk IQ heeft dat lgt tussen en b. dat 95.46% van de mensen n de normernggroep een IQ behaalden tussen 93.3 en c. dat je 95% kans hebt dat emand de een IQ van 100 behaalt n fete een werkeljk IQ heeft dat lgt tussen 93.3 en d. dat je 95% kans hebt dat emand de een IQ behaalt tussen 93.3 en n fete een werkeljk IQ heeft van 100 e. geen van de overge antwoorden s goed In de standaardnormale verdelng zjn 0.05 waarden groter dan Bjgevolg zjn.5% van de IQ s groter dan 100 plus 1.96 keer 3.35 (106.7), aan de symmetrsche kant net hetzelfde: 100 mn 1.96 keer 3.35 geeft 93.3 OPEN VRAGEN (volledg maar BONDIG antwoorden OP HET OPGAVENFORMULIER) 1. Een test voor rumteljk nzcht heeft een test-hertest betrouwbaarhed van 0.65, men wenst echter een betrouwbaarhed van.90 te bereken. De test omvat nu reeds 100 tems en duurt 1 uur. WAT ZOU JIJ VOORSTELLEN? (toon al je berekenngen nden je er maakt!) rvt ( 1 rtt ) In prncpe zou je denken aan testverlengng, maar K = = betekent 4.8 uur, 480 rtt ( 1 rvt ) tems. Het ljkt totaal onredeljk om mensen gedurende bjna 5 uur te testen om ets te weten over hun rumteljk nzcht. Wellcht s de eerste test zeer slecht en s verlengng net de goede maner om de betrouwbaarhed op te krkken. Daarom: beter neuwe maken, nhoud krtsch bekjken.

13 . Stel een Mult-Trat-Mult-Method matrx op de een neuwe psychologsche Test voor Emotonele Intellgente (TEI) vergeljkt met een klasseke ntellgentetest (IQ) enerzjds en anderzjds met de resultaten van een psychologsch ntervew dat pelt naar zowel Emotonele Intellgente (EI) als naar Algemene Intellgente (AI). Om je op weg te helpen krjg je heronder een reeds gedeelteljk ngevulde tabel. Op alle stppelljnen moet jj nog ets nvullen volgens de nstructes..... Test Intervew TEI.... AI IQ - - EI.. Plaats nu volgende cjfers op correcte wjze n de tabel: a) betrouwbaarhed van de TEI =.90, alle overge betrouwbaarheden bedragen.80 b) convergente valdtet voor emotonele ntellgente =.75, voor de gewone ntellgente bedraagt deze.7 c) dscrmnante valdtet van de tests =.85, van de ntervews =.4 d) alle nonsens correlates =.30 Antwoord: Test Intervew Test Intervew TEI IQ EI AI TEI IQ EI AI