Hoe gaat de normering?

Transcriptie

1 Hoe gaat de normering? Introductie voor wiskundedocenten Paul van der Molen Ger Limpens 12 maart 2019

2 Inhoud van de presentatie Historische Schets Het proces van de normering De pretest De normering met behulp van de pretest Normering tweede tijdvak

3 Historische schets (1) Jaren 70 en 80: centrale examens (zoals we ze nu kennen) Twee normeringstechnieken: - 90 punts-schaal: cijfer = (aantal punten)/ Voor de moderne vreemde talen: 50 punts-schaal 1994: eerste normhandhaving

4 Fluctuatie cijfers centraal examen eind jaren 90

5 Historische schets (2) 2000: Introductie N-term: cijfer = (procentuele score) x 9 + N Werken met referentie-examen (% onvoldoende van het referentie-examen = % onvoldoende actuele examen) Aanscherping uitslagregels CE-eis gemiddeld 5,50 (2012) Kernvakkenregel (2013)

6 Introductie van de N-term Uitgangspunt: (citaat uit Regeling omzetting scores in cijfers ) De normering van de centrale examens dient er zorg voor te dragen dat in opeenvolgende jaren aan kandidaten bij een zelfde vak in hetzelfde schooltype/dezelfde leerweg dezelfde eisen worden gesteld. Omdat het technisch onmogelijk is onze examens van jaar op jaar 'precies even moeilijk' te maken, zorgt de keuze van de normeringsterm (N-term) daarvoor.

7 Hoe werkt de N-term cijfer = 9 ) behaalde score maximale score + N

8 Het proces

9 Hoe komt de technische N-term tot stand Bij wiskunde: met behulp van de pretest Wat is een pretest? Hoe worden de uitkomsten verwerkt?

10 Pretesten een tijdbalk:

11 Pretesten Examen 2021: mei/juni

12 Pretesten Voorjaar 2019: pretestafnames Examen 2021: mei/juni

13 Pretesten Voorjaar 2018: start constructie opgaven/ examen Voorjaar 2019: pretestafnames Examen 2021: mei/juni

14 Pretesten Voorjaar 2018: start constructie opgaven/ examen Voorjaar 2019: pretestafnames Examen 2021: mei/juni

15 Pretesten voorjaar 2019: per deelnemende school één toets die zowel opgaven bestemd voor 2021 bevat als zogeheten ankeropgaven ankeropgaven zijn vast en worden dus ook in andere pretestjaren (bijvoorbeeld ook in voorjaar 2018) gebruikt

16 Pretesten Voorjaar 2018: start constructie opgaven/ examen (inzoomen op de huidige periode) Voorjaar 2019: pretestafnames Najaar 2018: start constructie div.schoolversies

17 Pretesten Voorjaar 2018: start constructie opgaven/ examen Voorjaar 2019: pretestafnames Examen 2021: mei/juni Najaar 2018: start constructie div.schoolversies Zomer 2019: begin verwerking pretestgegevens

18 Pretesten Voorjaar 2018: start constructie opgaven/ examen Voorjaar 2019: pretestafnames Examen 2021: mei/juni Najaar 2018: start constructie div.schoolversies Zomer 2019: begin verwerking pretestgegevens Zomer 2020: vaststelling definitief examen

19 Pretesten Analyse: voorjaar 2018 voorjaar 2019 A: anker x x examen 2020 B: opgave 2020 x x examen 2021 C: opgave 2021 x x (p-waarde A) : (p-waarde B) is te bepalen en ook (p-waarde A) : (p-waarde C) dan is ook (p-waarde B) : (p-waarde C) te bepalen

20 Het design

21 Pretesten Op grond van normeringstabel met % voldoende/onvoldoende van kandidaten in 2020 is dan te bepalen wat de populatie van 2020 gescoord zou hebben op het examen van Uitgaande van de gerealiseerde N-term van 2020 en het daarbij horende waargenomen percentage onvoldoende in 2020 is dan de N-term van 2021 te bepalen: die hoort dus bij het (hypothetische) percentage onvoldoende van de 2020-kandidaten op het 2021-examen. Hiermee wordt zowel het verschil in moeilijkheidsgraad tussen het 2020-examen en het examen als het mogelijke vaardigheidsverschil tussen de 2020-populatie en de 2021-populatie verdisconteerd. Conclusie: de examens 2020 en 2021 leggen op deze wijze dezelfde prestatie-eis vast (en dat is wat we nastreven: door de jaren heen gelijke eisen).

22 Normeren met behulp van de pretest Niet alle vragen in het examen zijn gepretest Gebruik referentiegegevens: Bijvoorbeeld gemiddeld cijfer 6,4 en %onv 25,6 Ngp: Normeren op basis van gelijke populatie De N-term kiezen zodat zo dicht mogelijk bij referentiegegevens

23 De resultaten van de pretest

24 Normering tijdvak 2 Uitgangspunt: Het examen tijdvak 2 is even moeilijk als het examen tijdvak 1. Voorlopige N-term an-term tijdvak 2 = N-term tijdvak 1 an-term tijdvak 2 is kleiner dan N-term tijdvak 1 Als in tijdvak 1 gecompenseerd is voor een fout in het examen.

25 Normering tijdvak 2 Moeilijkheidsgraad vaststellen: We kijken naar de groep herkansers die in tijdvak 1 een onvoldoende had. We vergelijken hun prestatie in tijdvak 1 en tijdvak 2. Scoren zij op tijdvak 2 slechter dan wij verwachten, dan concluderen we dat tijdvak 2 moeilijker is. De definitieve N-term tijdvak 2 wordt dan naar rato opgehoogd.

26 Normering tijdvak 2 N-term vaststellen: Ø Examen even moeilijk als tijdvak 1 N-term is gelijk aan voorlopige N-term Ø Examen makkelijker dan tijdvak 1 N-term is gelijk aan voorlopige N-term Ø Examen moeilijker dan tijdvak 1 N-term is hoger dan voorlopige N-term

27 Actualiteit: Brief van de minister aan de Kamer Vraag van de minister naar aanleiding van onderzoek aan de VU: Cito en CvTE, zoek mogelijkheden voor eigenstandige normering van 2 e tijdvak Uitdaging: Teken twee grafieken. X-as: het gemiddeld cijfer van SE en CE Grafiek 1: voorafgaand aan tv2 Grafiek 2: na afloop van tv2 Y-as: aantal leerlingen

28 Gemiddeld cijfer voor en na herkansing

29 Weinig vs veel beoordelaarsruimte

30 Voorlopige N-term 2 e tijdvak Wel bekend: Prettig voor leerling: bodem Prettig voor docent: teacher discretion Niet bekend: Eerlijker correctie N-term ook naar beneden: Eerlijker cijfers

31 Meer informatie Mocht u vragen hebben over deze presentatie of over andere zaken betreffende de N-term, dan kunt u mailen met: Paul van der Molen: Paul.vanderMolen@cito.nl Ger Limpens: Ger.Limpens@cito.nl