Psychometrie werkgroep: De antwoorden

Transcriptie

1 Psychometrie werkgroep: De antwoorden Week 1: Schaling en Normering Opdracht 1. a) Psychometrie is de studie naar procedures die gebruikt worden om items van testen te schatten en te evalueren. Gedrag van mensen wordt door een test gerelateerd aan achterliggende psychologische constructen b) Een voorbeeld van een psychologische meting is de IQ-test, welke betrekking heeft op niet direct observeer baar gedrag, namelijk je intelligentie. Ook een tentamen is een goed voorbeeld. Hierbij wordt je hoeveelheid kennis over een bepaald onderwerp getest, ook dit is niet direct observeer baar gedrag. c) Een psychologische test is een systematische procedure om het gedrag van twee of meer mensen met elkaar te vergelijken op individueel niveau. De dimensies die hierbij van belang zijn volgens Furr & Bacharach (2008): 1. Inhoud 2. Soort response (open of gesloten) 3. Methode van afname (individueel of groep) 4. Gebruiksdoel (criterium of norm; bij criterium wordt er gekeken naar een vast punt en bij de norm naar het gemiddelde. Bij criterium kan iedereen een winnaar zijn. 5. Tijdslimiet (speed of power) De IQ test is een voorbeeld van norm referenced en power. d) Differentiële psychologie houdt zich bezig met de verschillen tussen mensen. O&O en KLIG houden zich hier veel mee bezig, bij hun staat het individu centraal. Bij COG en S&O staan de wetmatigheden meer centraal en speelt differentiële psychologie een minder grote rol. e) Meten is het toekennen van getallen aan objecten of gebeurtenissen met bepaalde regels in gedachten. Schalen is het toekennen van waarden aan psychologische attributen, ofwel meetniveaus. 1. Nominaal; Identiteit van de categorie, welke wederzijds uitsluitend en exclusief moeten zijn. 2. Ordinaal: Nominaal + rangorde 3. Interval: Ordinaal + kwantiteit van de rangorde. Dus 3-2 = 8-7. Bijv. IQ test. 4. Ratio: Interval + vast nulpunt. Dus 6*2 = 12. Dit geldt niet voor een IQ test. f) + g en h

2 Berekeningsformules: Opdracht 2. a) De codes van de tien vormen van necrofilie uit het artikel van Aggrawal (2009), voldoen niet helemaal aan een nominale schaal. Niet alle categorieën zijn namelijk wederzijds uitsluitend; dat betekent dat een persoon in meerdere categorieën zou ingedeeld kunnen worden. b) Er is een klein beetje sprake van een ordinale schaal. Er is wel ordening in de codes, maar dit zijn veel verschillende soorten. c) Als er een nul zou bestaan zou dat een absolute nul zijn: afwezigheid van necrofilie. Opdracht 3. a) Het voorbeeld item uit de BDI voldoet officieel niet helemaal aan de eisen. De categorieën zijn niet wederzijds uitsluitend. Maar mensen geven waarschijnlijk toch het meest passende antwoord. b) Er zijn verschillende soorten ordening, maar er is geen sprake van een ordinale schaal c) Er is waarschijnlijk geen interval schaal, zie b. d) Geen ratioschaal, want er is ook geen intervalschaal.

3 Opdracht 4. Hieronder volgt een berekening van normscores uit de Tabel 3.1(p 34) van Furr & Bacharach (2008). IQ score Z-score T- score

4 Week 2: Betrouwbaarheid Opdracht 1: a) Een geobserveerde score is een testscore en is slechts een schatting; deze bevat altijd een meetfout. Een ware score is een psychologisch kenmerk wat niet direct observeer baar is. b) De theoretische betekenis van betrouwbaarheid is de mate waarin individuele verschillen in geobserveerde scores overeenkomen met individuele verschillen in ware scores. De betrouwbaarheidscoëfficiënt kan de proportie verklaarde variantie zijn of de gekwadrateerde correlatie. c) De standaardmeetfout is de standaarddeviatie van de error, wordt gebruikt om de nauwkeurigheid van individuele scores te schatten. d) Alternate forms: Correlatie tussen twee paralleltesten; deze meten het zelfde construct en hebben de zelfde variantie van de error. Test-hertest: correlatie tussen twee afnamens van dezelfde test (met een vaste tussentijd, wat deze test gevoelig maakt). Interne consistentie: gebaseerd op de correlatie tussen twee of meer onderdelen van dezelfde test, na correctie van de testlengte. e) De correctie voor attenuatie is de schatting van de correlatie tussen twee ware scores op bijvoorbeeld de correlatie van de bijbehorende geobserveerde testscores en betrouwbaarheden van beide test. Opdracht 2: a) De betrouwbaarheid van deze test is: Rxx = 75/100 = 0,75 b) = 25 = 5 c) Het 95% betrouwbaarheidsinterval voor Harry s score: *5 < Xb < *5 90,20 < Xb < 109,80 d) De betrouwbaarheid van de test met een lagere ware score variantie: S o 2 = 85 Rxx= 60/85 = 0.71 e) De betrouwbaarheid van de nieuwe test: S e 2 = 15 i.p.v. 25 Kinderen: 60/75 = 0,80 Volwassenen: 75/90 = 0,83

5 Opdracht 3: 2 a) De breuk wordt groter (omdat S o kleiner wordt) De betrouwbaarheid wordt kleiner b) De standaardmeetfout blijft gelijk (aanname) Opdracht 4: a) b) Alternate forms: Rxx = Rxy = 0.50 c) Discrepantie: Mogelijk zijn test X en Y niet parallel onderschatting alternate forms Opdracht 5: a) b) c) Opdracht 6: a) K = 1: betrouwbaarheid 0.14 K= 12: betrouwbaarheid: 0,67 b) Hoe meer items, hoe betrouwbaarder de test is c) De gemiddelde correlatie van de test is gelijk aan de correlatie tussen test en paralleltest (dus 1 item test) en dus 0.14 Opdracht 7: a) De correlatie tussen onderliggende ware scores X en Y is 0,20/ 0,7x0.8 = 0.27 b) De maximale correlatie als Rx = 1. 1 * 0,7x0.8 = 0,75 Opdracht 8: Betrouwbaarheid neemt toe bij een hogere gemiddelde correlatie of bij een groter aantal items. De hoge correlatie is goed als items inhoudelijk verschillen, maar wel hetzelfde construct meten. Niet oké: telkens dezelfde vraag in andere woorden. Een groter aantal items is goed als de test ondanks een lage r wel een 1 dimensionale structuur heeft. Niet goed als de test meerdimensionale structuur heeft.

6 Week 3: Validiteit van testscores Opdracht 1 a) Validiteit is de mate waarin bewijs en theorie de interpretatie van testscores ondersteunen, met de vooropgestelde doelen van een test tot gevolg. Validiteit is dus een toepassing. Een nieuwe titel zou kunnen zijn: Validiteit van interpretatie en toepassingen van testscores. b) Construct validiteit is de mate waarin testscores geïnterpreteerd kunnen worden als zijnde psychologisch construct. De vijf theoretische aspecten daarbij zijn: 1. Inhoud: Representatief voor domein? 2. Response: reactie zoals beoogt. 3. Interne structuur: relaties tussen items van de test 4. Externe variabele: relatie test met andere testen (convergent/discriminant) 5. Gevolgen: gunstig/ongunstig voor proefpersoon; kan gezien worden als ethische richtlijn. c) Bij inhoudsvaliditeit reflecteert de inhoud van een meting het volle domein van het construct. Bedreigingen hierbij zijn: - Niet relevante inhoud i.v.m. construct - Onder representatie van het construct (te weinig items). d) Interne structuur houdt in hoe delen van de test gerelateerd zijn tot elkaar. Kan onderzocht worden met PCA of IRT. e) Als de response niet zo is als beoogt, is dit een bedreiging voor de validiteit van de test. f) Convergente en divergentie evidentie gaan over de relaties tussen testen op basis van correlaties. Convergent gaat over correlaties tussen het zelfde kenmerk, divergentie gaat over de correlatie tussen verschillende kenmerken. MTMMM staat voor multitrait-multimethodmatrix. g) Bij consequential validity is er geen sprake van test bias. Van test bias is sprake wanneer een test twee verschillende dingen voorspelt/meet. Opdracht 2: a) De betrouwbaarheid van multi-point is hoog, die van t-p middelmatig en die van selfreport is laag. (schuine diagonaal). b) Vijf van de zes zijn oke, dus de convergente validiteit is goed. c) De discriminante validiteit is goed, er is geen correlatie tussen Burn-out en Order.

7 Opdracht 3: a) Gecorrigeerde correlaties: MP: 0.65 TF: 0.88 SR: 0.93 b) Deze correctie heet attenuatie correctie; wat zoiets betekent als vermindering. c) De hoogst mogelijke correlaties zijn: MP: 0.88 TF: 0.78 SR: 0.65 Opdracht 4: Deze vraag gaat over de verwachte succeskans na het gebruik van een selectietest. De predictieve validiteit is de correlatie tussen testscore en criteriumscore. De selectieratio is het beste percentage (X). a) De base rate is de succeskans zonder selectie test, dus b) Er is een verbetering van 9% na de selectietest c) De selectieratio moet 0.10 zijn om de beoogde resultaten te krijgen d) De predicitieve validiteit moet 0.40 zijn met een validiteit van 0.75.

8 Week 4: PCA en Factoranalyse Opdracht 1: a) Het doel van PCA is het reduceren van data. We gebruiken het in de psychometrie om onderliggende dimensies bloot te leggen en latente variabelen op te sporen b) Theoretisch gezien is een component een dimensie in een test (psychologisch construct). Algebraïsch is het een lineaire combinatie van variabelen en geometrisch is een component een vector (richting in de ruimte). c) Een factorlading is de correlatie van een variabele met een component. Als deze negatief is, is er een negatief verband (vooral bij contrasten). Als de factorlading nul is dan wordt er geen variantie verklaard d) Een communaliteit is de som van de gekwadrateerde componentladingen voor een variabele. Als de communaliteit laag is, wordt de variabele niet goed verklaard door alle componenten en is deze uniek/anders dan de rest. Maar dit hangt af van de context e) De eigenwaarde is de som van gekwadrateerde componentladingen voor de component. Als deze laag is dan voorspeld de component weinig variantie, die variantie wordt dan verklaard door een component met een hogere eigenwaarde. Opdracht 2: a) Op basis van de eigenwaarde moet je kiezen voor 14 componenten, dit is de bovengrens. b) Op basis van de knik kies je 7 (6 of 8) componenten c) Op basis van interpretatie is het erg lastig, misschien 8. Opdracht 3: a) De communaliteiten zijn: 0,760; 0,685; 0,621; 0,435; 0,707. b) De eigenwaarden zijn: Component 1: 2.272; 2: 0,936. Rotatie 1: 1,763; 2: 1,444 c) Proportie verklaarde variantie: Component 1: 0,4544 2: Rotatie 1: :0.289 d) Plaatje: Omhoog vector 2 en 4. Naar rechts en onder de Y-as, vector 6, 7, 8. e) Item 2 en 4 gaan meer of aansporing, je moet.

9 Opdracht 4: a) Uit de vier-factor oplossing, 1 soort motivatie op elke component b) Eigenwaarde: 5. Knik: 4 (3 of 5). Interpretatie: 3 c) 1: negatieve motivatie 2: 1 + positieve affiliatie 3: positieve prestatie : Positieve prestatie op 3 en 4 d) Misschien kijken naar de hele test voor een beter oplossing

10 Week 5: Confirmatieve factoranalyse Opdracht 1: a) Latente variabelen zijn niet observeer baar en moeten worden geschat. Manifeste variabele daarentegen zijn wel geobserveerd; testscores. In CFA modellen zijn errors en factoren latente variabelen. b) Een pijl die niet in ons model zit kan betekenen dat de errors ongecorreleerd zijn, dat er op een variabele geen factorlading is, of dat factoren onderling ongecorreleerd zijn. c) Als de chi-kwadraattoets significant is dan zegt het model nee tegen de data. d) Een goede fit betekend dat er een goede overeenkomst is met het model Chikwadraat is dan niet significant. N.B. bij een grote N kijken we liever naar de fit maten e) Residuen zijn het verschil tussen de werkelijke en terug geschatte covarianties. Deze worden bij CFA gebruikt om te kijken welke parameters er kunnen worden vrij gemaakt, om zo de fit te verbeteren. Opdracht 2:

11 Opdracht 3: a) Er zijn 1634 cases b) Er zijn 13 variabelen: 1: Cigs 2: Beer 3: Wine 4: Liqour 5: Cocaïne 6: Trauma 7: Drugst 8: Heroïne 9: Marija 10: Hasj 11: Inhalts 12: Hallucn 13: Amphet c) Een ster betekend dat de parameter geschat is. Als er geen ster staat is deze parameter op 1 gesteld d) Dat de varianties tussen de factoren worden geschat f) Chi-kwadraat zegt nee tegen het model. Vrijheidsgraden: V = (13x14)/2 = 91. P = = = 58. g) De fit maten zegen ja tegen het model h) Fit maten zeggen iets over overeenkomsten. Chikwadraat over de kans dat de data als model kloppen. Maar Chi-kwadraat wordt te snel significant bij groter power, dus dan kan je beter naar de fit maten kijken i) Het grootste gestandaardiseerde residu is (tussen V7 en V11) j) De residuen zijn redelijk normaal verdeeld. (negatief en positief zijn bijna gelijk). k) Ze zijn identiek omdat de correlaties geanalyseerd zijn l) De ruwe regressie coëfficiënt tussen F3 en V5 = 0,456. F = 18,079 wat groter is dan 1,96 dus significant m) Zie E n) 1091,44 323,91 = 767,53 met = 3 vrijheidsgraden. P < Dus significant beter model Opdracht 4: a) Ja, geneste modellen b) Nee, geen geneste modellen c) Nee, geen geneste modellen.

12 Week 6: Item-responstheorie Opdracht 1: a) De persoonskenmerken en item kenmerken bepalen de respons op een bepaald item volgens de IRT b) De statistieken percentage goed en item-rest correlatie uit de KTT zijn in overeenstemming met de moeilijkheid en de discriminatie uit de IRT. c) Bij KTT zijn de kernbegrippen betrouwbaarheid en populatie-afhankelijkheid. Bij IRT zijn dit test-informatie en afhankelijk van vaardigheden d) Het doel van CFA en IRT is het modelleren van continue latente dimensies die ten grondslag liggen aan responsen op test-items. Dit zijn latente variabele modellen. e) CFA: Intervalniveau en meerdere dimensies IRT: Dichotoom en ;één dimensie f) Voorbeelden van toepassingen zijn person-fit en CAT Opdracht 2 a) Er zijn vier verschillende scorepatronen mogelijk b) De score patronen zijn: 100, 110, 111 en 000 c) Bij k items zijn er k+1 scorepatronen mogelijk d) Het model van Guttman is deterministisch; het antwoord wordt volledig bepaald door vaardigheid en moeilijkheid e) Bij -.5 is het scorepatroon 100. Bij 1.5 is dat 111 Opdracht 3 a) Het mogelijk aantal scorepatronen is 2 3 = 8. Dit zijn: 000, 100, 101, 110, 111, 001, 010, 011. Het maximum aantal is altijd 2 k met k = aantal items b) Dit model is probabilistisch, dus met getallen tussen 0 en 1. c) Met een vaardigheid van zal het scorepatroon waarschijnlijk 100 zijn. d) Dat is het vaardigheidsniveau waarbij er 50% kans is dat het antwoord correct is e) Bij een vaardigheid van 0,8 en een moeilijk van 0 is de kans 0,69 op een goed antwoord f) Hier is de kans op een goed antwoord 0,10. Kans op fout is dan 1 0,10 = 0.90 g) Bij een hoge discriminantie wordt dit een Guttman model

13 Opdracht 4: a) Item 2 heeft de hoogste discriminatieparameter b) Als de discriminatieparameter groter is dan heeft dit item een groter onderscheidend vermogen c) Als alle discriminatieparameters gelijk zijn hebben we een 1PL model. d) De discriminatieparameter is te vergelijken met de communaliteit van de CFA e) Als de discriminatieparameter 0 is dan is dit item niet representatief voor het onderliggende construct f) De kans is hier 0,83 op een correct antwoord Opdracht 5: a) Het is te zien dat dit een Rasch model is omdat alle discriminatieparameters gelijk zijn aan elkaar. b) Item 2 is makkelijk en item 1 is moeilijk, dit geldt ook bij het 2PL model c) Item 10 heeft het laagst onderscheidend vermogen d) De winst is erg gering, want de range van de discriminatieparameters is niet heel erg groot e) De kans op een goed antwoord is bij 1PL: 0,68 en bij 2PL: 0,67 f) De hoogste informatie geldt bij een vaardigheid van (als P = 0,5, hoogste punt en β = θ. g) \Als alle informatie item curves bij elkaar worden opgeteld krijg je de test informatie curve h) Bij een vaardigheid van 0, geeft de test als geheel de meeste informatie. Dit geldt dus voor de leerlingen met een gemiddeld niveau.