De koppeling van de Cito kijk- en luistertoetsen moderne vreemde talen aan het Europees Referentiekader

Transcriptie

1 De koppeling van de Cito kijk- en luistertoetsen moderne vreemde talen aan het Europees Referentiekader Cito, april 7

2 Stichting Cito Instituut voor Toetsontwikkeling Arnhem 6. Auteursrecht voorbehouden. Niets uit deze uitgave mag zonder voorafgaande schriftelijke toestemming van Stichting Cito Instituut voor Toetsontwikkeling worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotokopie/fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook.

3 Inhoud 1 Inleiding 5 2 Het beoordelingsproces 7 3 Beoordelaarsovereenstemming 9 4 Het bepalen van de minimumscores voor relevante ERKniveaus bij de schoolexamens luistervaardigheid 11 5 Samenvatting en conclusies 15 6 Referenties 17 Bijlage 19 3

4 4

5 1 Inleiding De kijk- en luistertoetsen van Cito bestaan al enkele decennia. Deze toetsen zijn vanaf de start geschaald met het Rasch-model. Rond 199 zijn we over gestapt op OPLM (Verhelst e.a., 1993), een uitbreiding van het Rasch-model. In OPLM kennen we naast de moeilijkheid van een item ook een gewicht toe aan een opgave. Beide modellen maken het mogelijk toetsscores en toetseigenschappen af te beelden op een onderliggende schaal over de jaren heen. Daarmee zijn equivaleringsproblemen of handhaving van de cesuur onder controle. In het onderhavige onderzoek proberen we op de bestaande schalen de ERK-niveaus af te beelden. Deze koppeling proberen we te verwezenlijken via een beoordelingsonderzoek, analoog aan de standaardbepaling die is ontwikkeld voor het project DIALANG (2). Het doel is om vast te stellen op welk ERK-niveau de kandidaten van de schoolexamens zich bevinden. Merk op dat er voor elke combinatie van taal en schooltype een aparte onderliggende schaal is. 5

6 6

7 2 Het beoordelingsproces Hieronder volgt een kort overzicht van de verschillende stappen in het beoordelingsproces. We baseren ons hierbij op vergelijkbaar onderzoek waarbij de centrale examens leesvaardigheid moderne vreemde talen zijn gekoppeld aan het ERK (Noijons en Kuijper, 6). Bepaling van de doelen van de beslisprocedure Het doel van het beoordelingsproces is dat beoordelaars het minimale ERK-niveau bepalen dat een kandidaat moet hebben om een bepaalde luistertoets met succes uit te voeren. Met andere woorden, om voor ieder schoolexamen de cesuur te bepalen waarbij van een kandidaat gezegd kan worden dat hij een ERK-niveau heeft behaald dat relevant is voor het doel van het betreffende schoolexamen. De data zijn verzameld via de zogenaamde mandjes -methode (standaardisatie). Iedere beoordelaar wordt gevraagd om iedere luisteropgave in een gemerkt mandje te plaatsen waarvan de naam overeenkomt met het laagste niveau waarop die luisteropgave dient beheerst te worden. Er zijn vijf mandjes, genaamd A1, A2, B1, B2 en C1+, die overeen komen met de betreffende ERK-niveaus (C1+ betreft de niveaus C1 en C2). Als een luisteropgave geplaatst wordt in mandje B1, dan betekent dit dat volgens de beoordelaar iemand op het niveau van B1 de luisteropgave dient te beheersen en per implicatie wordt beheersing van deze luisteropgave verondersteld bij alle personen met een hoger niveau (B2 en hoger). Echter, van iemand met het niveau A2 (of lager) kan niet worden verwacht dat hij deze luisteropgave beheerst. Deze methode van standaardbepaling is ontwikkeld voor het project DIALANG. Selectie van luisteropgaven Voor de beoordelingsprocedure werd allereerst besloten dat alleen een selectie van luisteritems uit de recentste jaren (5 en 4) zou worden voorgelegd aan het panel. De kijkluisteropgaven die sinds 3 zijn opgenomen in de Kijk- en luistertoetsen vertonen enige bias op het gebied van de betrouwbaarheid. Voor luisteritems bestaat deze bias niet. Voor de oefensessie die aan de eigenlijke beoordeling voorafging werden items uit 3, 4 en 5 in de set opgenomen. Bij Engels werden items opgenomen uit schoolexamens BB, KB, GT, havo en vwo uit de jaren 4 en 5. Bij Duits en Frans werden items uit schoolexamens voor KB, GT, havo en vwo geselecteerd. Uit de toetsen werden sets van maximaal 8 items per thema uitgekozen. Selectie van beoordelaars Bij de samenstelling van de drie panels voor Engels, Duits en Frans werden 1 à 15 experts per taal uit verschillende hoek geselecteerd: universitaire docenten, docentopleiders, talendocenten uit het voortgezet onderwijs en vertegenwoordigers van de vakverenigingen. Training van beoordelaars Na een (centrale) uiteenzetting over de opzet van de sessie en de domeinen en descriptoren van het ERK, namen de beoordelaars plaats in groepen per taal. Ze kregen een aantal oefenopgaven waarmee ze de standaardisatieprocedure in de vingers konden krijgen. De fragmenten uit de schoolexamens werden ten gehore gebracht en de beoordelaars dienden zowel het fragment als de opgave te betrekken in hun oordeel. Voor elke opgave werd de volgende vraag gesteld: Geef s.v.p. bij elke opgave aan welk niveau (A1, A2, B1, B2 of C1+) minimaal vereist is om de opgave goed te kunnen maken. (Omcirkel achter elke opgave het getal in de kolom met het antwoord van uw keuze). Item Niveau ID Tekst Opgave A1 A2 B1 B2 C Na deze oefenprocedure vond een discussie plaats over terechte of onterechte plaatsing van de oefenopgaven in de verschillende mandjes. De beoordelingssessies Gedurende de beoordelingssessie werden op gelijke wijze de opgaven behandeld. Na beluistering van het fragment deelden de beoordelaars het item in bij één van de categorieën van het ERK door het bijbehorende cijfer te omcirkelen. Procedures dataverzameling Na verwerking van de antwoorden van de deskundigen op de vraag welk ERK-niveau minimaal vereist is om de opgave goed te kunnen maken, konden we het gemiddeld vereiste 7

8 minimumniveau berekenen dat een leerling moet hebben om de vragen uit een bepaald examen juist te beantwoorden. De deskundigen hebben bij alle talen de opgaven uit het examen op het laagste niveau (Engels BB, Frans en Duits KB) aan het lage einde van de ERK-schaal geplaatst en ze hebben de opgaven die uit de examens op de hogere niveaus zijn genomen (havo en vwo) aan het hogere einde van de ERK-schaal geplaatst. Dit niveau-onderscheid in ERK-termen komt overeen met de spreiding in de Nederlandse schoolexamens voor luistervaardigheid. De deskundigen van buiten ondersteunen dus het gewenste niveau-onderscheid in de schoolexamens voor luistervaardigheid. Men is van mening dat een oplopend ERK-niveau nodig is om de opgaven uit de schoolexamens voor luistervaardigheid (van BB via KB, GT, havo naar vwo) met succes te beantwoorden. 8

9 3 Beoordelaarsovereenstemming Voor elke combinatie van taal en schooltype beschikken we nu over een dataset. In tabel 3.1 zijn de uitkomsten van de beoordelingsessie voor Frans VWO weergegeven. Deze data voor Frans VWO hanteren we in het vervolg als voorbeeld om de gebruikte procedures te illustreren. Tabel 3.1 Oordelen luisteropgaven Frans VWO Beoordelaars Items Een eerste globale data-analyse betreft de nauwkeurigheid en de overeenstemming van de beoordelaars over de standaarden. Hiertoe worden de beoordelaarsbetrouwbaarheid en de beoordelaarsovereenstemming berekend. De resultaten zijn weergeven in tabel 3.2 tot en met tabel 3.4. Tabel 3.2 Aantal items, aantal beoordelaars, beoordelaarsbetrouwbaarheid en beoordelaarsovereenstemming per schoolexamen (Frans) Schoolexamen # luisteritems # beoordelaars Beoordelaarsbetrouwbaarheid (α) Beoordelaarsovereenstemming (ρ 2 ) vmbo KB vmbo GT HAVO VWO

10 Tabel 3.3 Aantal items, aantal beoordelaars, beoordelaarsbetrouwbaarheid en beoordelaarsovereenstemming per schoolexamen (Duits) Schoolexamen # luisteritems # beoordelaars Beoordelaarsbetrouwbaarheid (α) Beoordelaarsovereenstemming (ρ 2 ) vmbo KB vmbo GT HAVO VWO Tabel 3.4 Aantal items, aantal beoordelaars, beoordelaarsbetrouwbaarheid en beoordelaarsovereenstemming per schoolexamen (Engels) Schoolexamen # luisteritems # beoordelaars Beoordelaarsbetrouwbaarheid (α) Beoordelaarsovereenstemming (ρ 2 ) vmbo BB vmbo KB vmbo GT HAVO VWO De overeenstemming van de beoordelaars bij Engels is voor alle schooltypen goed. Daarentegen is de overeenstemming bij Frans en Duits matig tot redelijk. Voor alle talen en schooltypen zien we dat de beoordelaarsbetrouwbaarheid en de beoordelaarsovereenstemming dicht bij elkaar liggen. Dit duidt er op dat er geen beoordelaars zijn die systematisch te hoog of te laag beoordelen. Merk dat we bij de berekening uitgegaan zijn van data op interval niveau. Eigenlijk hadden we een procedure moeten kiezen op ordinaal niveau. 1

11 4 Het bepalen van de minimumscores voor relevante ERK-niveaus bij de schoolexamens luistervaardigheid Gezien de matige tot goede beoordelaarsbetrouwbaarheid en beoordelaarsovereenstemming durven we een volgende stap in de data-analyse te zetten. Dit behelst het bepalen van de minimumscores op een schoolexamen luistervaardigheid die een kandidaat diende te behalen om te kunnen claimen dat hij zich op een bepaald ERK-niveau bevond. Daarbij was het interessant deze score te vergelijken met de gehanteerde cesuur voor onvoldoende/voldoende bij ieder schoolexamen van een bepaald jaar en deze score te interpreteren in termen van ERK-niveaus. Als basis zijn de schoolexamens 5 gekozen. Ook de resultaten van de schoolexamenkandidaten betrekken we in deze beschouwing. Wederom kiezen we voor Frans VWO om de procedures te illustreren. Uitgangspunt in de analyses vormt de itemverzameling VWO Frans die met behulp van OPLM is afgebeeld op een onderliggende schaal. Over de jaren heen zijn itemkarakteristieken, toetskarakteristieken, populatieverdelingen en cesuren afgebeeld op eenzelfde schaal. De crux in de procedure is de door de beoordelaars bepaalde minimumeisen van de ERK-niveaus nu ook af te beelden op deze schaal. Hiertoe beschouwen we de beoordeelde set items als een virtuele toets. Iedere beoordelaar maakt deze toets op elk van de onderscheiden ERK-niveaus. Met behulp van de data in tabel 3.1 (aangegeven minimumeisen) kunnen we data generen op de virtuele toets. In tabel 3.1 heeft beoordelaar 1 aan opgave 1 een waarde 4 toegekend (grijze cel). Dit impliceert dat volgens deze beoordelaar een kandidaat op het niveau B2 deze luisteropgave dient te beheersen. Van iemand op het niveau B1 (of lager) kan niet verwacht dat hij deze luisteropgave beheerst. Daarentegen, iemand op het niveau C1+ zal deze opgave zeker beheersen. Coderen we beheersen als 1 en niet beheersen als dan wordt de waarde 4 (B2) als volgt omgezet: op A1, op A2, op B1, 1 op B2 en 1 op C1+. In tabel 4.1 is dit weergegeven in de grijze cellen op de onderscheiden niveaus. Tabel 4.1 Resultaten codering naar onderliggende schaal CEF beo items 1-16 os gs theta zeta A A A A A A A A A A A A A A A A gemiddelde standarddeviatie.. 11

12 CEF beo items 1-16 os gs theta zeta A A A A A A A A A A A A A A A A gemiddelde standarddeviatie CEF beo items 1-16 os gs theta zeta B B B B B B B B B B B B B B B B gemiddelde standaarddeviatie

13 CEF beo items 1-16 os gs theta zeta A B B B B B B B B B B B B B B B B gemiddelde standaarddeviatie CEF beo items 1-16 os gs theta zeta C C C C C C C C C C C C C C C C gemiddelde standaarddeviatie.. Op deze wijze kunnen alle data in tabel 3.1 omgezet worden, we beschikken dan op elk niveau over een dataset op de virtuele toets. Als we de toetsresultaten van leerlingen afbeelden op de onderliggende schaal kunnen we dit ook doen voor de beoordelingsresultaten van elke beoordelaar op elk niveau. Gegeven de toetsscore schatten we voor leerlingen de vaardigheid op de luistervaardigheidsschaal. Het equivalent hiervan bij de beoordelaars zijn de bepalingen van de minimumeisen voor de niveaus. In beide gevallen gebruiken we voor de schatting of bepaling van de corresponderende schaalwaarde de zogenaamde Warm-schatter (Verhelst e.a.1993). Een fraaie eigenschap van de Warm-schatter is dat deze nagenoeg zuiver is, hetgeen impliceert dat we de schattingen in een steekproef kunnen middelen en dat gemiddelde weer een zuivere schatter is van het populatiegemiddelde. De Warm-schatters voor de beoordelaars op de onderscheiden niveaus zijn in tabel 4.1 onder het kopje theta vermeld. Per niveau zijn deze schatters weer gemiddeld over de beoordelaars. Deze 13

14 gemiddelden kunnen geïnterpreteerd worden als de minimumeisen voor de niveaus. Bezien we in tabel 4.1 het gemiddelde (.59) voor niveau B2 dan kunnen we dit gemiddelde duiden als de schaalwaarde waarbij niveau B2 begint. Merk op dat we in deze procedure de itemparameters gebruiken die in OPLM bepaald zijn bij de equivalering van de schoolexamens in de tijd. Deze parameters verklaren we dus van toepassing op de oordelen van de beoordelaars. Met behulp van de in tabel 4.1 vermelde waarden onder het kopje zeta kunnen we nagaan in hoeverre deze aanname reëel is. De statistiek zeta is bij benadering standaard normaal verdeeld als OPLM geldig is. Veel waarden groter dan 2 of kleiner dan -2 kunnen duiden op schendingen van het model. Inspectie van tabel 4.1 laat zien dat het in zijn algemeenheid wel meevalt. Er is een tendens dat de gemiddelde zeta-waarden positief uitvallen. De interpretatie hiervan is als volgt: de beoordelaars vinden de moeilijke items relatief makkelijker en omgekeerd de makkelijke items relatief moeilijker dan de schoolkandidaten. De bepaalde schaalwaarden voor de minimumeisen kunnen terugvertaald worden naar scores op een toets. In het onderhavige geval is gekozen voor de schoolexamens van 5. In figuur 4.1 zijn de relevante minimumeisen afgebeeld op het schoolexamen 5 voor VWO Frans. De verticale lijnen A2/B1 (tussen score 1 en 11) en B1/B2 (tussen score 36 en 37) geven deze grenswaarden aan. Links van de lijn A2/B1 ligt niveau A2, rechts van deze lijn begint niveau B1. De lijn B1/B2 markeert de overgang van niveau B1 naar niveau B2. Verder is in figuur 4.1 de cumulatieve scoreverdeling weergegeven van de resultaten van een steekproef van de schoolexamenkandidaten uit dat jaar. De verticale onderbroken lijn geeft de gehanteerde cesuur aan bij het schoolexamen. Zo zien we dat circa % van de kandidaten gezakt is. In de bijlage zijn de figuren terug te vinden van de overige talen en schooltypen. Bij Frans is het niveau vmbo KB weggelaten, omdat de groep leerlingen die aan deze toets deelneemt, heel klein is. Figuur 4.1 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid VWO Frans VWO Frans A2/B1 Cesuur B1/B2 6 cdf Frans VWO 1 3 Scores toets 5 (max score =42) 14

15 5 Samenvatting en conclusies Bij het bepalen van het gemiddelde minimumniveau van elk examen is gebleken dat de deskundigen die aan de standaardbepaling hebben meegedaan van oordeel zijn dat de schoolexamens voor kijk- en luistervaardigheid per taal in moeilijkheidsgraad oplopen. Natuurlijk beschikt Cito over de schoolexamenresultaten waar dit ook uit blijkt. Het bijzondere is dat de deskundigen zich hebben gebaseerd op ERK-criteria. Dan blijkt dus dat de oplopende graad in moeilijkheid die Cito nastreeft in de schoolexamens weerspiegeld wordt in een oplopend vereist minimum ERK-niveau. Wederom volgens de deskundigen: het gemiddelde vereiste ERK-minimumniveau om de opgaven in een schoolexamen op hetzelfde schooltype goed te maken ligt in het algemeen lager bij Frans dan bij Duits; en bij Duits weer lager dan bij Engels. Bij de standaardbepaling is weer eens aangetoond dat leerlingen in het algemeen beter in Engels zijn dan in de andere talen, onder andere omdat ze in het dagelijks leven veel meer met Engels worden geconfronteerd. In het licht van het bovenstaande is het wel goed te concluderen dat het verschil in moeilijkheidsgraad van de kijk- en luistertoetsen voor de leerlingen geen ernstige consequenties heeft. Het is niet zo dat er voor Frans aanzienlijke lagere cijfers gehaald worden dan voor Engels. Dit komt omdat de moeilijkheidsgraad van de schoolexamens en de cesuur per taal verschillen. Echter, als we een onafhankelijke maat als het ERK nemen, dan moeten we wel concluderen dat leerlingen in Frans en Duits minder presteren dan in Engels. Als we leerlingen in Frans en Duits een gelijke kans op eenzelfde ERK-eindniveau als bij Engels willen geven, moeten we meer tijd en aandacht van docenten en leerlingen vragen. Dit zou met name kunnen gaan spelen als internationaal voor vervolgopleidingen etc. minimale ERK-niveaus vereist gaan worden. De cesuur voldoende/onvoldoende die Cito adviseert, hoeft niet samen te vallen met de voor dat schoolexamen relevante ERK-cesuur (zoals bepaald tijdens de standaardbepaling). Als een leerling een voldoende behaalt op een schoolexamen, hoeft dat niet in te houden dat de leerling het relevante ERK-niveau van dat examen ook heeft behaald. Steeds is aan de deskundigen gevraagd welk minimumniveau nodig was om een bepaalde vraag juist te beantwoorden. Het simpele feit dat een kandidaat een vraag goed beantwoordt is niet genoeg om te zeggen dat die kandidaat het bijbehorende niveau heeft behaald. Daarvoor zal die persoon in (veel) meer gevallen moeten tonen dat hij vragen op dat niveau beheerst. De ERKcesuren corresponderen met statistische vaardigheidsniveaus vereist voor het beantwoorden van een voldoende aantal opgaven uit een representatief domein van opgaven. 15

16 16

17 6 Referenties DIALANG (2), Diagnostische toetsen in 14 talen op het internet: Noijons, J. & Kuijper, H. (6). De koppeling van de centrale examens leesvaardigheid moderne vreemde talen aan het Europees Referentiekader. Cito, Arnhem Verhelst, N.D., Glas, C.A.W. & Verstralen, H.H.F.M. (1993). OPLM: One parameter logistic model. Computer program and manual. Arnhem: Cito. 17

18 18

19 Bijlage Figuur 1 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo GT Frans GT Frans Cesuur A1/A2 6 cdf Frans GT 1 3 Scores toets 5 (max score =) Figuur 2 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid havo Frans Havo Frans A1/A2 Cesuur A2/B1 6 cdf Frans Havo Scores toets 5 (max score =34) 19

20 Figuur 3 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vwo Frans VWO Frans A2/B1 Cesuur B1/B2 6 cdf Frans VWO 1 3 Scores toets 5 (max score =42) Figuur 4 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo KB Duits KB Duits A1/A2 Cesuur 6 cdf Duits KB 1 3 Scores toets 5 (max score =)

21 Figuur 5 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo GT Duits GT Duits A1/A2 Cesuur A2/B1 6 cdf Duits GT 1 3 Scores toets 5 (max score =41) Figuur 6 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid havo Duits Havo Duits A1/A2 A2/B1 Cesuur 6 cdf Duits Havo 1 3 Scores toets 5 (max score =) 21

22 Figuur 7 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vwo Duits VWO Duits A2/B1 Cesuur B1/B2 6 cdf Duits VWO 1 3 Scores toets 5 (max score =) Figuur 8 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo BB Engels BB Engels cdf Engels BB Cesuur A1/A Scores toets 5 (max score =41) 22

23 Figuur 9 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo KB Engels KB Engels A1/A2 Cesuur A2/B1 cdf Engels KB Scores toets 5 (max score =39) Figuur 1 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vmbo GT Engels GT Engels A1/A2 Cesuur A2/B1 cdf Engels GT Scores toets 5 (max score =39) 23

24 Figuur 11 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid havo Engels Havo Engels A1/A2 A2/B1 Cesuur B1/B2 6 cdf Engels Havo 1 3 Scores toets 5 (max score =37) Figuur 12 Erk-niveaus, cumulatieve scoredistributie en cesuur voor het schoolexamen kijk- en luistervaardigheid vwo Engels VWO Engels A2/B1 Cesuur B1/B2 6 cdf Engels VWO 1 3 Scores toets 5 (max score =41) 24