Met testscores bepalen we de kwaliteit van bepaalde items. De eisen voor kwaliteit zijn van groot belang voor psychologische testen.

Transcriptie

1 Psychometrie: College 1: Schaling en Normering Kees van Putten Psychometrie: In de psychometrie bestudeert met de testscore. Hierbij gaat men van kwalitatief materiaal (antwoorden op testitems) naar kwantitatieve testscores. Daarbij stelt men zich de vraag wat de kwaliteit is van deze scores. Psychologische testen: Testgebruik vindt plaats in individuen en in systemen. Het wordt gebruikt voor: classificatie van personen, diagnose & behandeling, zelfkennis, evaluatie en onderzoek. Er zijn verschillende testen die dit blok terug zullen komen, zoals: PCA: de principale componenten analyse CFA: de conformatieve factoranalyse DA: de discriminante analyse. Hierover zal nog meer informatie volgen. Testen zijn van belang bij de volgende processen: 1. Standaardisatie: de setting wordt hierbij constant gehouden tijdens verschillende testen, waardoor de scores van mensen met elkaar kunnen worden vergeleken. 2. Steekproef: items vormen een steekpoef uit het alomvattende gedrag van de mens, waaruit vervolgens een score en interpretatie over een breder gedrag kunnen leiden. 3. Scores afleiden: een individu kan in een categorie geplaatst worden, door de score te interpreteren aan de hand van een norm. Ook zijn scores van belang om andere kenmerken te interpreteren; zo kan men via de Cito-toets al iets vertellen over het onderwijsniveau wat een kind later het beste kan gaan volgen. Testscores: Met testscores bepalen we de kwaliteit van bepaalde items. De eisen voor kwaliteit zijn van groot belang voor psychologische testen. Het vaststellen van kwantitatieve scores gaat via meetinstrumenten en het vaststellen van de werking van deze meetinstrumenten. a

2 De testscore is de som van de itemscores. De som score wordt alleen bij aanwezigheid van alle items berekend. Ruwe scores kunnen op zichzelf slecht worden geïnterpreteerd. De hoogte van een testscore is namelijk afhankelijk van het aantal items en de verschillende itemscores. Daarom worden er normen gesteld, om zo ruwe scores te interpreteren. Voorbeelden van deze normen zijn percentiel- en standaardscores. Percentielscores en standaardscores: Bij percentielscores wordt gekeken naar een percentage personen met eenzelfde of een lagere score. De boeken zijn hier nog weleens verschillend in, maar deze regel wordt gehanteerd op het tentamen! Standaardscores zijn lineaire transformaties van ruwe testscores. De verdeling zal hierbij echter hetzelfde blijven. De ruwe scores kunnen worden omgezet naar Z-scores door middel van de volgende formule: Z x = (X-M x )/SD x Waarbij geldt SD z = 1 en M z = 0 Ook kunnen er T-scores worden uitgerekend, welke veel beter te begrijpen zijn doordat er geen negatieve scores meer voorkomen. Deze worden berekend met de volgende formule: T x = 10*Z x + 50 Waarbij geldt SD T = 10 en M T = 50 Normtabellen bevatten elke voorkomende ruwe score, geordend van laag naar hoog, gekoppeld aan normscores en eventueel met verwachtingen. College 2: Betrouwbaarheid Peter de Heus Betrouwbaarheid is te beschrijven aan de hand van de vraag In hoeverre zijn verschillen in testscores een functie van werkelijke individuele verschillen? Testen kunnen nooit de werkelijke score meten, zij geven alleen de testscore weer. Bij de test ontstaan namelijk ook random meetfouten, welke error genoemd worden. In de klassieke testtheorie wordt hiervoor de volgende formule weergeven. Xo = Xt + Xe. Waarbij de geobserveerde score ( Xo) de optelling is van de ware score (Xt) en de error ( Xe). De ware score (Xt) is dus niet direct observeerbaar. Daarom wordt dit een latente variabele genoemd, welke geschat moet worden. b

3 Aan de klassieke testtheorie zitten drie assumpties vast. Aangezien Xo de som is van twee onbekende factoren, wat onoplosbaar is, geldt: 1. µ e = 0. De gemiddelde errorscore in de populatie is nul. 2. r et = 0. De correlatie tussen error en ware score is nul. Iedereen heeft een gelijke kans. 3. r eiej = 0. De error van persoon 1 zegt niets over de error van persoon 2 en zijn dus niet gecorreleerd. De variantie van X O is S O 2 = S T 2 + S E 2. In de ideale test is S T 2 gelijk aan S O 2 en zijn er dus geen random meetfouten gemaakt. In alle andere gevallen is er wel een error, welke negatief op positief kan zijn. Betrouwbaarheidscoëfficiënt: R xx is de betrouwbaarheidscoëfficiënt, wat gelijk staat aan de proportie verklaarde variantie van X O door X T. R xx = S T 2 / S O 2 of R xx = 1 (S E 2 / S O 2 ). R xx zit tussen de nul en één, en is verder gelijk aan de gekwadrateerde correlatie r OT 2. Aangezien ware scores, errors en varianties onbekend zijn, moeten voor het schatten van de betrouwbaarheid minstens twee observaties zijn gedaan per persoon. Dit kan gedaan worden met parallelle metingen. Parallelle metingen: Parallelle metingen zijn metingen waarbij de errors ongecorreleerd zijn, de ware scores gelijk zijn en de varianties van de errorscores gelijk zijn. Zodat alles wat meting X en Y gemeen hebben van de ware score komt. Er zijn drie manieren van parallelle metingen: Alternate forms, test-hertest en split-half. Bij alternate forms zijn er twee verschillende test voor hetzelfde construct. Hierbij kunnen carryver effect ontstaan; test 1 beïnvloed resultaat test 2, wat tot een overschatting van de betrouwbaarheid leidt. Bij test-hertest wordt dezelfde test twee keer afgenomen op een ander tijdstip, maar ook hier kunnen carry-over effecten optreden. Bij split-half worden er in één test twee parallelle helften gemaakt. De betrouwbaarheid voor de hele test wordt vervolgens berekend met de Spearman-Brown formule. N is in deze formule de factor waarmee een test vergroot of verkleind wordt. Er kunnen natuurlijk uitputtend veel tweedelingen worden gemaakt. Daarom kan er ook voor worden gekozen om alle items van de test als aparte test te zien. Er kunnen nu berekeningen worden uitgevoerd met de Cronbach s alpha. c

4 Standaard meetfout: De standaard meetfout kan men als volgt berekenen: S E 2 = S O 2 * (1-R xx ). De standaard meetfout wordt vaak afgekort met S em. Deze geeft de nauwkeurigheid van individuele metingen aan; er wordt vaak ook een 95% betrouwbaarheidsinterval bij gegeven. College 3: Validiteit Kees van Putten Validiteit: Bij validiteit kijken we of een instrument meet wat het beoogt te meten. Een test is valide in die mate dat er juiste, betekenisvolle en bruikbare gevolgtrekkingen mee gemaakt kunnen worden. In het boek van Furr en Bacharach wordt validiteit besproken als de interpretatie en het gebruik van testscores. Validiteit gaat dus niet over de waarden op zich, maar over wat men hiermee doet. Validiteit is multidimensionaal ( heeft meerdere eigenschappen) en gradueel (er is een bepaalde mate van validiteit, het is niet zomaar aanwezig of afwezig). Constructvaliditeit: Constructvaliditeit is de interpretatie van een test als weergave van een psychologisch construct. Men kijkt hierbij dus in hoeverre de interpretatie overeenkomst met de gemeten constructen. Er zijn 5 soorten bewijs voor contructvaliditeit: - testinhoud - interne structuur van de test - response processen - associaties met andere variabelen - gevolgen van testgebruik Inhoudsvaliditeit: Bij inhoudsvaliditeit wordt gekeken of de deelconstructen van de vraag aansluiten mij de gehele test. Bedreigingen die hierbij opspelen zijn dat items soms irrelevant zijn voor een test en dat deelconstructen soms niet goed vertegenwoordigd worden (door te weinig items respectievelijk). Interne structuur van een test: De hoofdvraag bij het bekijken van de interne structuur van een test is of de items van een test één samenhangend geheel vormen. d

5 Wanneer het antwoord op deze vraag ja is, is er sprake van homogeniteit. Er is één onderliggende dimensie aan het construct. Zo nee, dan is er sprake van heterogeniteit en zijn er meerdere onderliggende dimensies. Response processen: Een test is een valide meting van een kenmerk als dat kenmerk bestaat, de variatie van dat kenmerk gelijk is aan die van de uitkomst. Er is dan dus sprake van een causale relatie. Associaties met andere variabelen: Predictieve validiteit is het voorspellen van een uitkomst in de toekomst. Multitrait- multimethod matrix ( MTMMM): Als je kijkt naar sheet 11 van de PowerPointpresentatie zie je een matrix. Deze matrix gaat over de correlaties tussen bepaalde groepen. De dikgedrukte getallen zijn de Cronbach s alfa s voor de desbetreffende scores. Onder de Cronbach s alfa staat de correlatie tussen 2 constructen. Convergente evidentie: correlaties tussen dezelfde traits zijn hoog in verschillende testen. Discriminante evidentie: correlaties tussen verschillende traits zijn laag en dus onafhankelijk van elkaar. Als we weer terugblikken op de matrix zijn we dat de onderstreepte getallen de convergente evidenties zijn. Taylor- Russell tabel: Op sheet 13 zien we een voorbeeld van een Taylor-Russell tabel. Hier staat bovenin de base rate genoemd. Met de base rate bedoelen we in dit geval een succesvolle afronding van de opleiding Geneeskunde. We zien dat dit op dit moment het geval is als 44 procent wordt toegelaten en de predictieve validiteit gelijk is aan 0. Als we deze ophogen tot 0.2 zien we dat de base rate al verhoogd met Bias: Er bestaat zowel test als itembias. Test bias komt voor wanneer een test andere dingen meet bij verschillende groepen. Predictieve bias is het fenomeen waarbij het voorspellen van scores verschillende consequenties heeft voor verschillende groepen. In een figuur is dit te zien als de regressielijn anders gaat lopen. Wanneer er sprake is van andere regressieformules, is er een bias aanwezig. Constructbias is het fenomeen waarbij een test verschillende constructen meet in verschillende groepen. e

6 Wanneer men een bias vermoedt, dan kan men aan de verschillende groepen verschillende behandelingen geven. Zo kan men bij een predictieve bias adviezen gaan geven op basis van de regressielijn die de verschillende groepen hebben. Item bias komt voor wanneer personen uit verschillende groepen met dezelfde vaardigheid een ongelijke kans hebben om een item goed te maken. Denk hierbij bijvoorbeeld aan geslacht of etniciteit. College 4: PCA en FA Peter de Heus PCA en FA: Principale Componenten Analyse en Factor Analyse zijn analyses waarbij het reduceren van data het doel is. Datareductie is een grote set verkleinen tot een veel kleinere set. Het verschil tussen Principale Componenten Analyse en Factor Analyse is dat Factor analyse een expliciet model heeft en je bij Principale Componenten Analyse alleen observeert zonder hypothese. Bij Factor Analyse gaan we met een gedetailleerde hypothese bekijken of het idee wat we over de data hebben ook daadwerkelijk klopt. Bij Principale Componenten Analyse gaan we kijken naar de data zonder verwachtingen. Er wordt dus alleen geobserveerd. Functie van PCA: PCA kunnen we op zowel een algebraïsche manier als een geometrische manier bekijken. Als we kijken naar de algebraïsche manier is een principale component een lineaire combinatie van variabelen. De eerste component moet zoveel mogelijk variantie verklaren van de variabelen. Zo komt de eerste component het dichtste in de buurt met het beschrijven van de variabelen. Ieder opvolgende component probeert ook zoveel mogelijk variantie te verklaren, maar is totaal niet gecorreleerd aan de voorafgaande component (orthogonaliteit). Hierdoor zullen een aantal componenten een overgroot deel van de variantie verklaren en kunnen de belangrijkste componenten geselecteerd worden. De data zijn nu gereduceerd. Als we PCA op de geometrische manier bekijken zijn de componenten gelijk aan vectoren. Hoe meer deze naar rechts of naar boven gelegen is, hoe hoger de score op een van de componenten. De opvolgende vector is niet gecorreleerd aan de voorafgaande vector en staat daarom loodrecht op de eerste vector. Het is lastig om dit model te maken voor meer dan 2 variabelen, omdat er dan een ruimtelijke structuur ontstaat. Communaliteit en componentlading: De uniekheid van een variabele wordt aangegeven met de communaliteit. Hoe lager de communaliteit, hoe unieker de variabele. Het is de proportie verklaarde variantie per f

7 variabele. Verder is het de som van gekwadrateerde componentladingen. In deze formule is k het maximaal aantal componenten, h i 2 is de communaliteit, Cij 2 is de componentlading in het kwadraat. C ij is de componentlading. Wanneer de componentlading gelijk is aan 0, hebben de variabele en het component niets met elkaar gemeen. I is de variabele en J is het component. Eigenwaarde: De eigenwaarde van een variabele is de som van de gekwadrateerde componentladingen per component. Het is de hoeveelheid verklaarde variantie van alle variabelen bij elkaar. Als we dit delen door het aantal variabelen krijgen we de proportie verklaarde variantie. Criteria voor het aantal componenten: Om te bepalen tot hoeveel componenten men het best kan reduceren, zijn er een aantal richtlijnen, namelijk: 1. de eigenwaarde moet groter zijn dan 1. Je kunt alle componenten gebruiken die een eigenwaarde hebben die groter is dan Knik: als we naar de grafiek op sheet 12 kijken, zien we een grafiek met daarin een lijn die componenten aangeeft en hun bijbehorende eigenwaarde. We zien dat de lijn erg snel afneemt met het toenemen van het aantal componenten. Als we een grens willen stellen voor het aantal componenten welke gebruikt kunnen worden voor de analyse, moeten we kijken naar de knik in de lijn. Dit is een vage omschrijving, maar meestal geeft dit wel het juiste antwoord. Vaak kan er ook 1 component meer of minder worden gebruikt. 3. Interpreteerbaarheid: alle oplossingen bekijken en dan de oplossing kiezen waar je het beste een verhaal van kunt maken. Dit is een hele vage methode. Hoeken en componenten: Als we kijken naar sheet 14 zien we hierop een plaatje met vectoren. Wanneer de hoek tussen de verschillende vectoren klein is, zullen de vectoren meer met elkaar correleren. Een hoek kleiner dan 90 graden geeft een correlatie aan. Als de hoek gelijk is aan 90 graden, zullen de componenten die zijn uitgebeeld via de vectoren onderling niet correleren. g

8 College 5: Confirmatieve factoranalyse Peter de Heus CFA en SEM: CFA is een onderdeel van de SEM, wat staat voor structural equation modelling. Met SEM onderzoek je expliciete modellen voor (causale) relaties van 3 of meer variabelen. Het is een toets voor een model als geheel. Bij SEM zijn manifeste en latente variabelen goed te onderscheiden en kunnen de onderlinge relaties worden geschat en getoetst. SEM cyclus toegepast op CFA: Er zijn een aantal stappen die standaard worden doorlopen in het SEM model. Dit heet de SEM cyclus en hieronder vallen de volgende stappen: - Modelspecificatie Hierbij wordt uit de theorie een model gevormd, die verschillende onderdelen bevat. Manifeste variabelen zijn testscores. Latente variabelen zijn psychologische constructen. Alle manifeste variabelen hebben error. Error zelf is een latente variabele. Ook hebben we pijlen nodig voor het model. Een eenrichtingspijl toont een causaal verband aan en een wederkerige pijl laat een correlatie zien. Bij het SEM model voor CFA bestaan er alleen inkomende pijlen. Als er geen pijlen tussen factoren aanwezig zijn, betekent dit ook meteen dat er geen relatie is tussen de factoren. - Modelidentificatie Wanneer we het SEM model willen gaan toetsen, moeten er niet teveel onbekende variabelen in de vergelijking zitten. We kunnen dit zien aan het aantal vrijheidsgraden. Als dat getal positief is (groter dan 0), is het model toetsbaar. Je kunt het aantal vrijheidsgraden op de volgende manier berekenen: Df = V P. V is het aantal varianties en covarianties; (k(k+1)/2), P= het aantal pijlen in het model. - Parameterschatting Men kan kijken of er warnings zijn. Warnings zijn varianties of covarianties die op bepaalde factoren hoog scoren, terwijl ze niet mogen correleren of andersom. Op sheet 20 is een variantie-covariantiematrix te zien. Hierin mogen tussen X1, X2, X3 en X4,X5,X6 geen hoge covarianties aanwezig zijn. h

9 - Modelevaluatie Met een Chi-kwadraat toets evalueren we het model. Wanneer er een significant resultaat wordt gevonden, klopt ons model niet. Ho wordt dan namelijk verworpen. In dit geval is Ho dat de data en het model overeenstemmen. Er zijn wel wat problemen met de Chi-kwadraat toets, zoals dat deze erg snel significant wordt bevonden met een groot aantal deelnemers. We kijken daarom ook naar de volgende fit-maten: RMSEA: een fitmaat kleiner dan 0.1 is goed NFI: een fitmaat groter dan 0.9 is goed NNFI: een fitmaat groter dan 0.9 is goed CFI: een fitmaat groter dan 0.95 is goed - Modelbijstelling Residuen: Als blijkt dat het model niet klopt, kunnen we kijken of er toch meer factoren zijn die correleren en aan de hand daarvan het model wijzigen. Residuen kunnen ons helpen bij de keuze hoe we een model kunnen verbeteren. Een residu is het verschil tussen de covariantie en de terug geschatte covariantie. We rekenen graag met gestandaardiseerde residuen: Zresdij= rij- r(gem)ij. Een residu is groot wanneer het groter is dan 0.10 of kleiner dan Het verbeteren van een slechte fit: Men kan de fit verbeteren door de parameters vrij te maken. Dit kan door meer pijlen aan het model toe te voegen. Men kan zien of deze pijlen ontbreken door te kijken naar een patroon in residuen. Wanneer deze allemaal positief of allemaal negatief zijn, kan het zo zijn dat er een correlatie is tussen twee factoren. Wanneer is een model bewezen? Met de CFA kan men eigenlijk alleen een model falsifiëren. Een model bewijzen is erg moeilijk. Men kan een modeltoets doen om te kijken of het bewerkte model een significante verbetering heeft ten opzichte van het eerdere model. Dit kan aan de hand van de volgende formules: Δ X 2 = X 2 (1) X 2 (2) Δ df= df(1) df(2) i

10 De uitkomst hiervan kunnen we vergelijken met de tabel van de Chi-kwadraat toets en zo de bijbehorende p-waarde vinden. De toets kan alleen worden uitgevoerd wanneer beide modellen genest zijn met elkaar. Dit betekend dat alle pijlen van Model A ook in Model B aanwezig zijn, maar in model B kunnen nog extra pijlen voorkomen. Tot slot: SEM modellen vereisen een groot aantal personen. Daarnaast is CFA niet werkelijk toetsend. Je nieuwe model is gebaseerd op het vorige model. Hierdoor gaat men steeds meer geloven in het model en smokkelen we eigenlijk met de statistische regels. College 6: Item Response Theorie en Personeelsselectie Marian Hickendorff IRT als alternatief voor KTT Het verschil tussen KTT en IRT ligt bij de stap van het berekenen en evalueren van testscores. Bij KTT is betrouwbaarheid het centrale begrip. Er wordt gekeken in hoeverre de testscores overeenkomen met de ware scores, hierbij spelen de item-kenmerken geen rol. De statistieken van KTT zijn dus populatie afhankelijk. Het doel van IRT is om personen en items op dezelfde schaal te ordenen. Doordat bij IRT de itemkenmerken ook mee worden genomen in het model, zijn deze niet populatie afhankelijk. Het persoonskenmerk is de vaardigheid (θ), een latente variabele, waarbij geldt hoe hoger de vaardigheid, hoe waarschijnlijker een correct antwoord. Een itemkenmerk uit het model is de moeilijkheidsgraad β. Als deze hoog ligt, dan is het onwaarschijnlijk dat er een correct antwoord wordt gegeven. Tussen de vaardigheid en de moeilijkheidsgraad ligt een verband, wat bepaald wordt door specifieke IRT-modellen Specifieke IRT-Modellen We zullen drie verschillende modellen bespreken. De verschillen tussen deze modellen zitten in de itemkenmerken en de uitkomsten. Het Guttman model: Dit is het eerst IRT model; hierbij wordt de respons volledig verklaard door de vaardigheid en de moeilijkheidsgraad. Hierdoor ontstaat er een stapsgewijze curve en is er geen vloeiende overgang aanwezig. Dit noemen we ook wel een deterministisch model. Als de vaardigheid kleiner is dan de moeilijkheidsgraad is het antwoord fout (0). Ligt de vaardigheid hoger dan is het antwoord goed (1). Dit model is erg beperkend, aangezien er maar k + 1 antwoordmogelijkheden zijn. (je kunt nooit makkelijke vragen fout hebben en moeilijke goed). Bij probabilistische modellen is de lijn wel vloeiend en stijgt de curve langzaam van 0 naar 1. Het is een S-curve. Dit model wordt weergegeven met een logaritmische functie, waardoor er 2 k antwoordmogelijkheden zijn. Sommige antwoordpatronen zijn echter onwaarschijnlijker j

11 dan andere. Voorbeelden van probabilistische modellen die we nu gaan bespreken zijn de 1PL en 2PL. Het Rasch-model(1PL): Het Rasch-model is een 1 dimensionaal model. Dit betekent dat er slechts één item parameter relevant is. Dit is de moeilijkheidsgraad β; het persoonskenmerk is nog steeds de vaardigheid θ. Wanneer de moeilijkheidsgraad gelijk is aan het vaardigheidsniveau, dan is de kans dat een persoon een item goed beantwoord 50%. De formule die hierbij hoort: Dit is de kans dat het antwoord goed is, gegeven de vaardigheid en de moeilijkheidsgraad. Twee parameter logistisch model (2PL): Het 2PL model is een model waarbij twee item parameters relevant zijn. Dat zijn de moeilijkheidsgraad en de α i (het onderscheidend vermogen). Dit is de mate waarin een item personen met een laag en hoog niveau van elkaar kan onderscheiden. Deze kan voor elk item anders zijn. Dit leidt tot de volgende formule: De discriminatieparameter geeft de steilheid van curve aan, op het steilste punt snijdt deze de kans van 50%. Hier geldt θ = β. Er zijn ook nog 3PL modellen, hierbij wordt nog de item parameter gok kans toegevoegd Kwaliteit van items en testen: Wat zeggen de scores eigenlijk over de betrouwbaarheid? Dit hangt af van de vaardigheid van de persoon, een makkelijke test is meer onderscheidend voor mensen met een laag vaardigheidsniveau. Deze geeft dus meer informatie. De informatie is dus het hoogste op het moeilijkheidsniveau. Door deze afzonderlijke iteminformatie scores bij elkaar op te tellen, kom je tot de test informatie. Toepassingen van IRT: Er zijn verschillende toepassingen van IRT. Zo kunnen testen worden verbeterd, door te kijken welk item de meeste informatie geeft of het best onderscheid maakt; ook kan gekeken worden naar de test-informatie. Bij het equivaleren van testen wordt er onderscheid gemaakt tussen de moeilijkheid en de vaardigheid, door bij twee test gebruik te maken van anker-items. Deze items overlappen in beide toetsen. k

12 Bij item-bias kan met IRT onderzocht worden of elk construct gelijk is voor (bijv.) mannen en vrouwen. Bij person-fit kunnen door middel van IRT de onwaarschijnlijke antwoordpatronen worden opgespoord. Hierdoor kan bijvoorbeeld afkijken worden herkend. Als laatste wordt IRT gebruikt bij CAT. Dit staat voor computergestuurd adaptief testen. Op de computer worden antwoorden gegeven op items. Aan de hand van de antwoorden gaat de computer naar elk item een herberekening maken van de vaardigheid van de persoon. Op basis hiervan wordt het volgende item gekozen. Het is dus een toets op maat, die leidt tot maximale informatie l