Tools voor itemanalyse

Transcriptie

1 Tools voor itemanalyse Wido La Heij Cognitieve Psychologie Klazine Verdonschot ICT en Onderwijscoach

2 De weg naar het Grade Center

3

4 Menu van de toetskolom

5 Quick Column Information

6 Grade Attempts Vragen becijferen per student, per vraag.

7 Grade anonymously Vragen becijferen per student, per vraag, maar er is niet bekend welke student dit is. De student is anoniem.

8 Poging statistieken Iedere vraag staat onder elkaar vermeld. Een ietwat onhandige layout, maar alles is te vinden. Bij 450 studenten duurt het ongeveer 1:30 min om dit te laden. P-Waarde 0,88

9 Download results

10 Alle pogingen bekijken

11 Cijfers toekennen aan vragen

12 Cijfers toekennen aan vragen (2)

13 Edit Column Information

14 Column Statistics

15 Overig Clear attempts for all users Alle pogingen resetten Sort Ascending van laag naar hoog sorteren Sort Descending van hoog naar laag sorteren Hide Column Kolom verbergen

16 Download results

17 Download results (2)

18 Verschil Bij user: Iedere regel bevat de vragen en antwoorden van één student Bij question and user: Van iedere student staan de vragen onder elkaar gesorteerd.

19 LET OP!!! Als de toets presentatie at random is ingesteld, worden deze ook at random in het databestand opgeslagen!!!

20 Eerste analyse van toetsresultaten: histogram behaalde cijfers + itemanalyse Wido La Heij Cognitieve Psychologie laheij@fsw.leidenuniv.nl

21 Electronische Deeltoets Inleiding in de Psychologie 430 deelnemers Cursus van 8 weken Deeltoets op Blackboard in week 5 (begin oktober) 30 MC vragen Vrijwillig cijfer telt niet mee voor eindresultaat Na aanvang toets 1.5 uur de tijd Mogelijkheid om naar vragen terug te keren Na afsluiten: feedback op de vragen Na afsluiten: totaalscore ( pnt per vraag) Zelf cijfer opzoeken in lijst Feedback later: Percentage geslaagd, histogram van cijfers Bespreking 5 moeilijkste vragen in werkgroep Nuttigheid deeltoets 4.2 op 5-puntschaal

22 Control Panel > Full Grade Center > Downloaden naar excel

23 Excel output (by user) Kolommen: Username Last name First name Question ID 1 (=1e item gepresenteerd!) Question (tekst van vraag) Answer (tekst van goede alternatief) Possible points Auto Score Manual Score

24 Excel bewerkingen file opschonen Lege rijen deleten Aantal kolommen deleten. Over laten: Username Last name First name Auto Score van vragen (1-30) Totaalscore per student (rij) berekenen.

25 Excel bewerkingen totaal score per student In cel typen: =sum(d2:ag2) (of rij selecteren) In hoek dubbelklikken (of trekken)

26 Excel bewerkingen dat sorteren op totaal score Tabel sorteren op Totaal score: Hele tabel selecteren (cel linksboven klikken) In Menu kiezen: Data Sort My data range has header row - aanvinken Sort by : Totaal score selecteren Descending - aanvinken

27 Excel bewerkingen cijfers toekennen Cijfers (met formule of handmatig) aan scores toekennen. Lege rijen onderaan de tabel deleten.

28 Excel output - cijfertoekenning Cijferbepaling bij Psychologie Bij 30 items, stel 20 goed: Cijfer(ruw) = 10 * (x p/k) / (p - p/k) Cijfer(ruw) = 10 * (20 30/4) / (30 30/4) = 5,5555 Cijfer(ruw) = 5,6 = 6 = voldoende Cijfers bij <=10 goed allemaal op 1 zetten

29 Excel bewerkingen Voldoende/onvoldoende 226 geslaagd (227 1 header row) 430 deelnemers Slaagpercentage = 226/430 *100 = 52,6%

30 Excel bewerkingen cijfers toekennen Cijfers met copy-paste in SPSS datafile zetten OF: Histogram maken met Excel:

31 Histogram maken: : SPSS Graphs - Chart builder Kolomnaam kiezen ( Cijfer ) Onder Menu item Graphs klikken Kiezen voor Chart Builder. Kies voor Staafdiagram (Bar) Trek variabele Cijfer naar horizontale as.

32 SPSS: Histogram cijfers Layout volledig aan te passen door dubbelklikken op delen.

33 Itemanalyse: p-waarde, (RIT &) RIR Excel file p-waarde: proportie studenten die de vraag correct heeft beantwoord. = sum(a2:a431)/4300 (als alle studenten vraag goed: 430 x 10) = moeilijkheid van de vraag

34 Itemanalyse: (RIT &) RIR Hoe goed discrimineert een vraag tussen goede en slechte studenten? RIT = correlatie tussen itemscore en de totaalscore, over de studenten RIR = correlatie tussen itemscore en de totaalscore-min-dat-item, over de studenten (item-rest correlatie) Positieve/hoge RIR: Relatief goede studenten maken de vraag goed (goed item) RIR dicht bij 0: Item onderscheidt goede en slechte studenten niet (slecht item) Negatieve RIR: Relatief slechte studenten maken de vraag goed (slecht item)

35 Itemanalyse: (RIT &) RIR RIR : 1- score op item per student 2- totaalscore per student 3- totaalscore itemscore per student 4- correlatie (1) item en (3) totaal-item Formule: =correl(array1;array2) Correl(Item12:Item1431;Totaalscore-item2:Totaalscore-item431) Let op: dit werkt alleen als items (vragen) in vaste volgorde worden aangeboden.

36 Itemanalyse p-waarde, RIR Cronbach s alpha: Betrouwbaarheid/ Interne consistentie Met macro (geschreven door Dato de Gruijter): p-waarde, rir, alpha Check op: - Lage/hoge p-waarde - Lage (negatieve) rir - Combinatie! - Eventueel naar Test-statistics van BB om p- waarden van foute alternatieven te bekijken.

37 EINDE presentatie