EVALUATIE PRE-PILOT ENGELS

Transcriptie

1 EVALUATIE PRE-PILOT ENGELS

2 PROGRAMMA Aantallen afnames Voorbereiding afname Inhoud examen Cesuur en normering Resultaten en rapportages 2

3 AANTALLEN AFNAMES 4978 afnames 23 instellingen Toetstijd: 3

4 VOORBEREIDING Afnames alleen in Facet Wat is anders in Facet dan in EX: Systeem wijst varianten toe Geen speciale variant voor dyslexie; als kandidaat recht heeft op verklanking, dat aangeven bij invoer (afnameplanner); 4

5 INHOUD EXAMEN Basisvarianten + ankermateriaal Aantal vragen (scorepunten) Variatie komt voort uit ankeropgaven; Ankeropgaven uit: lezen GT, lezen Havo, lezen +luisteren CRETA; Examen is ingekort omdat er vrees was voor tijdnood, (bleek niet nodig); Eerst lezen dan luisteren (maar kandidaat kan volgorde wijzigen) verdeling lezen luisteren:

6 INHOUD EXAMEN Geen sprake van tijdnood; opgaven waren aan de gemakkelijke kant (hoge p-waarde); Betrouwbaarheid van examen is op streefniveau (dus toeval speelt nauwelijks een rol) Weinig reacties van studenten; Uit enquêtes blijkt (n = 608): 46% geen moeite met lezen van scherm; 45% heeft geen gebruik gemaakt van woordenboek; 53% had ruim voldoende tijd, 43% had voldoende tijd; 54% wist van tevoren wat te verwachten; Lessen gehad ter voorbereiding: 55% In deze lessen geoefend voor dit examen: 61% Lijken de opgaven in de les op dit examen: 69% 6

7 INHOUD EXAMEN Hoe vond je het onderdeel lezen van dit examen Engels? erg gemakkelijk 47 8% gemakkelijk % niet gemakkelijk, maar ook niet moeilijk % moeilijk 86 14% erg moeilijk 35 6% Hoe vond je het onderdeel luisteren van dit examen Engels? erg gemakkelijk 61 10% gemakkelijk % niet gemakkelijk, maar ook niet moeilijk % moeilijk 62 10% erg moeilijk 19 3% Wat verwacht je als uitslag voor jouw examen? Ik heb een voldoende % Ik heb een onvoldoende 53 9% Ik heb geen idee % 7

8 ERVARINGEN UIT INSTELLINGEN Tijdnood? Is dit representatieve steekproef? Onderwijs ter voorbereiding? 8

9 NORMERING EN CESUUR Standardsetting door panel van 13 docenten Engels uit mbo: Nemen een kandidaat die net B1 beheerst in gedachten, hoeveel opgaven uit een setje beantwoordt deze kandidaat goed? Verschillende rondes -> leiden tot consensus; Resultaat is adviescesuur van SS; Via ankering: Waar zou de cesuur liggen als dit een CRETA examen was; Waar zou de cesuur liggen als dit CE lezen GT was; Waar zou de cesuur liggen als dit een CE havo lezen was; 9

10 NORMERING Normering op vaardigheidsschaal: Van elke opgave wordt bekeken in hoeverre het goed beantwoorden van deze opgave bijdraagt aan het aantonen van de gewenste vaardigheid; Opgaven worden achter elkaar gelegd in moeilijkheidsgraad; Dit gebeurt voor elke variant: dus verschillen in lengte en moeilijkheidsgraad spelen geen rol meer; m Vaardigheidsschaal is nu nog ; Er is nog geen referentieset van opgaven; Cesuur wordt uitgedrukt op deze vaardigheidsschaal; 10

11 NORMERING EN CESUUR Advies Cito -> advies Vaststellingscommissie -> besluit CvTE leiding Cesuur ligt op 450: Conform advies SS Boven GT cesuur Onder Havo cesuur Iets boven CRETA cesuur; Hiermee heeft 71% een voldoende; Er zijn ook cesuren bepaald voor 4/5 en 7/8 grens; Deze examens onderscheiden nog niet genoeg op de hele vaardigheidsschaal, dus naar boven toe te weinig onderscheid, veel 10-en! 11

12 CIJFERS VOLGENS ADVIESCESUUR Cijfer N Perc % % % % % % % % % % 12

13 ERVARINGEN Resultaten: T.o.v. verwachting? Verhouding t.o.v. andere onderdelen (instellingsexamen) 13

14 TOEKOMST Volgens jaar ankering met deze afname; Volgend jaar weer SS; cesuur kan nog wijzigen, is nog niet definitief! 1 Variant wordt gepubliceerd als voorbeeldexamen (begin april); Syllabus is gepubliceerd, kan nog wijzigen de komende jaren; Volgend jaar: 3 periodes: P2, P3 en P4; Adviescesuur? Ca. 40 opgaven (scorepunten); Iets moeilijker (betekent niet dat de lat hoger gelegd wordt!) Beter onderscheid in bovenkant schaal 14

15 RESULTATEN EN RAPPORTAGE Omzettingstabellen gepubliceerd; Resultaten definitief via zakelijk portaal (Facet) Cesuur was adviescesuur: geen meldingen bij CvTE over afwijking van advies! Deelrapportages beschikbaar (op domein lezen en luisteren afzonderlijk); 15