Een Europees Referentiekader voor talenexamens. Een utopie?

Transcriptie

1 Een Europees Referentiekader voor talenexamens Een utopie? José Noijons VLoD 34. Jahreshochschultagung Stichting CITO Instituut voor Toetsontwikkeling 1

2 Europees Referentiekader (ERK) Ontwikkeld door de Raad van Europa NIET door de EU! Zes referentieniveaus met beschrijvingen van taalvaardigheid: A1 - A2: Basisgebruiker B1 - B2: Onafhankelijk gebruiker C1 - C2: Vaardig gebruiker Stichting CITO Instituut voor Toetsontwikkeling 2

3 Doel en Functies van het ERK Hulpmiddel bij activiteiten op het gebied van de VREEMDE taal: Leren Onderwijs Ontwikkeling leermiddelen Ontwikkeling Curricula Beoordeling en Toetsing Ontwikkeling Beleid Stichting CITO Instituut voor Toetsontwikkeling 3

4 Koppeling examens aan het ERK Samenwerkingsproject tussen SLO en Cito Betreft zowel examenprogramma s als examenopgaven (school- en centrale examens leesvaardigheid) Frans, Duits en Engels Gefinancierd door OCW Looptijd: november 2004-december 2005 Later uitgebreid voor Arabisch, Russisch, Spaans en Turks Later uitgebreid voor Luistervaardigheid F, D en E. Stichting CITO Instituut voor Toetsontwikkeling 4

5 Koppeling examens aan het ERK Aanleiding was de behoefte: om het Nederlandse mvt-onderwijs meer competentiegericht te laten zijn; de exameneisen ten aanzien van mvt in Nederland voor docenten en leerlingen transparanter te maken; de mvt-prestaties van Nederlandse leerlingen internationaal vergelijkbaar te laten zijn. Stichting CITO Instituut voor Toetsontwikkeling 5

6 Onderdelen Koppelingsproject 1. Standaardisatie: experts vragen de in het onderzoek betrokken examenopgaven te classificeren in termen van het ERK en de minimumscores te bepalen voor deze opgaven per ERK-niveau; 2. Externe validatie: psychometrische validering van de gegevens verzameld in de standaardisatieprocedure via vergelijking van leerlingprestaties op andere toetsen. Stichting CITO Instituut voor Toetsontwikkeling 6

7 Standaardisatie Toewijzen van opgaven (tekst + item) aan CEF niveaus Welk niveau is minimaal vereist om de opgave juist te beantwoorden? Onderscheid Tekst en Taak/Daad Stichting CITO Instituut voor Toetsontwikkeling 7

8 Teksten en taken Onderscheid taak en taak/daad Moeilijkheidsgraad van teksten niet allesbepalend Taken bepalen mede het niveau Teksten en taken op elkaar afstemmen Stichting CITO Instituut voor Toetsontwikkeling 8

9 Scores en cesuren Duits (BB) Distributie van scores en cesuren bb-examen Duits Stichting CITO Instituut voor Toetsontwikkeling 9

10 Cumulatieve percentages Scores en cesuren Duits (KB) Distributie van scores en cesuren kb-examen Duits KB Duits Scores (max score = 45) Scoreverdeling A1/A2 CEVO A2/B1 Stichting CITO Instituut voor Toetsontwikkeling 10

11 Scores en cesuren Duits (HAVO) Distributie van scores en cesuren havo-examen Duits Stichting CITO Instituut voor Toetsontwikkeling 11

12 Cumulatieve percentages Scores en cesuren Duits (VWO) Distributie van scores en cesuren vwo-examen Duits Vwo Duits Scores (max score = 47) Scoreverdeling A2/B1 CEVO B1/B2 Stichting CITO Instituut voor Toetsontwikkeling 12

13 Cumulative percentages Scores en cesuren Engels (1) Distributie van scores en cesuren kb-examen Engels KB Engels Scores (max score = 43) Scoreverdeling A1/A2 CEVO A2/B1 Stichting CITO Instituut voor Toetsontwikkeling 13

14 Cumulative percentages Scores en cesuren Engels (2) Distributie van scores en cesuren vwo-examen Engels VWO Engels Scores (max score = 52) Scoreverdeling A2/B1 CEVO B1/B2 Stichting CITO Instituut voor Toetsontwikkeling 14

15 cumullatieve percentages Scores en cesuren Frans (1) Distributie van scores en cesuren kb-examen Frans KB Frans Scores (max score = 46) Scoreverdeling A1/A2 CEVO A2/B1 Stichting CITO Instituut voor Toetsontwikkeling 15

16 Cumulatieve percentages Scores en cesuren Frans (2) Distributie van scores en cesuren vwo-examen Frans VWO Frans Scores (max score = 46) Scoreverdeling A2/B1 CEVO B1/B2 Stichting CITO Instituut voor Toetsontwikkeling 16

17 Discussie uitkomsten (1) Beoordelaarsovereenstemming bij alle drie de talen meer dan.90: voldoende mate van overeenstemming over het vereiste minimum ERK-niveau dat per opgave nodig is om deze met succes te beantwoorden. Niveau-onderscheid door deskundigen in ERK-termen komt overeen met de spreiding in de Nederlandse examenniveaus Beoordelaars van buiten lijken met de toetsdeskundigen overeen te stemmen over de moeilijkheidsgraad van opgaven Stichting CITO Instituut voor Toetsontwikkeling 17

18 Discussie uitkomsten (2) Wij dienen het juiste instrument met voldoende opgaven op een bepaald ERK-niveau te kiezen om een betrouwbare uitspraak over ERK-niveaubeheersing te doen. De CEVO-cesuren (voldoende/onvoldoende) vallen in veel gevallen niet samen met de door deskundigen bepaalde cesuren bij relevante ERK-niveaus. Externe validatie kan uitwijzen of verschillen in beoordeling door deskundigen van opgaven ertoe leiden dat de vereiste vaardigheid die behoort bij een ERK niveau bij het ene examen afwijkt van de vereiste vaardigheid bij hetzelfde niveau bij een ander examen (bijvoorbeeld van het Goethe Institut). Stichting CITO Instituut voor Toetsontwikkeling 18

19 Opzet Externe Validatie Duits Leerlingen van LinQ scholen kregen twee soorten opgaven voorgelegd. De niveaus van de (Cito)opgaven waren eerder bepaald tijdens de standaardbepaling in het koppelingsonderzoek. Daarnaast kregen de leerlingen opgaven geproduceerd door het Goethe Institut, door die instelling op A2 en B1 niveau geplaatst. Op vergelijkbare wijze kregen havo-vwo leerlingen opgaven op B1- en B2-niveau, genomen uit havoexamens, alsmede opgaven geleverd door het Goethe Institut. Een aantal opgaven is aan beide groepen gepresenteerd om een koppeling te kunnen bewerkstelligen tussen de verschillende niveaus van opgaven. Stichting CITO Instituut voor Toetsontwikkeling 19

20 Design Externe Validatie Duits ERK-niveau A2 B1 B2 Toetsboekjes 10 vmbo items 20 vmbo-havo items 15 havo items Kandidaten vmbo leerlingen havo-vwo leerlingen Toetsboekjes 10 Goethe A2 items 20 Goethe B1 items 15 Goethe B2 items Kandidaten vmbo leerlingen havo-vwo leerlingen Stichting CITO Instituut voor Toetsontwikkeling 20

21 Resultaten Externe Validatie Voor de Duitse items blijkt dat op A2 niveau weinig verschil te constateren is tussen Cito-items en Goethe-items. Voor de lagere vaardigheidsgroepen zijn B1-items van het Goethe Institut makkelijker dan Cito-items. Dit geldt niet voor de hogere vaardigheidsgroepen; zij ervaren de B1- opgaven als van gelijke moeilijkheidsgraad. De opgaven op B2 niveau van het Cito worden als makkelijker ervaren dan die van het Goethe Institut. Stichting CITO Instituut voor Toetsontwikkeling 21

22 Conclusies Externe Validatie De geconstateerde verschillen gelden alleen voor de onderzochte (Nederlandse) populatie. Het verschil in moeilijkheidsgraad tussen de Cito en Goethe-items lijkt niet groot. Beoordelaars van het Cito lijken het eens te zijn met de Duitse beoordelaars van het Goethe Institut. Dit is enigszins in tegenspraak met de rapportage van docenten Duits: Goethe-opgaven in bestaande toetsen zijn relatief gemakkelijk. Hierbij moet worden aangetekend dat de Goetheopgaven in het huidige onderzoek proefopgaven waren voor een nieuwe generatie toetsen. Stichting CITO Instituut voor Toetsontwikkeling 22

23 Differential Item Functioning (DIF) - 1 Differential item functioning (DIF) vindt plaats wanneer mensen uit verschillende groepen met dezelfde (mate van) vaardigheid een verschillende kans hebben om een bepaald (goed) antwoord te geven op een vraag in een toets of vragenlijst. Stichting CITO Instituut voor Toetsontwikkeling 23

24 Differential Item Functioning (DIF) - 2 Observed Item Response Curves 1,00 REGE1006 0,90 0,80 0,70 0,60 0,50 0,40 0,30 Obs Fr Obs Ge Obs Hu Obs Ne Obs Sp 0,20 0,10 0,00-0,40-0,20 0,00 0,20 0,40 0,60 0,80 Ability Stichting CITO Instituut voor Toetsontwikkeling 24

25 Het ERK en de examens Het lijkt aantrekkelijk om in de toekomst de centrale examens aan specifieke ERK-niveaus te koppelen. Elders in Europa gebeurt dat al met toetsen en examens. Een van de problemen zal dan zijn waar de cesuur te leggen voor voldoende (dat wil zeggen voldoende voor A2, respectievelijk B2). Nu en in de toekomst zal het best mogelijk zijn om aan te geven dat een leerling bij een bepaalde score een bepaald ERK-niveau heeft behaald. Om te slagen kan een leerling echter best tussen twee relevante ERK-niveaus geplaatst worden Stichting CITO Instituut voor Toetsontwikkeling 25

26 ERK en internationale certificering Bij toetsen gebruikt voor (internationale) certificering kunnen instellingen hebben bepaald dat een bepaald ERK-niveau vereist is voor de toekenning van een certificaat. In de beroepsopleiding en ook in het academisch onderwijs is er steeds meer sprake van certificering op specifieke ERK-niveaus. Hoewel de Raad van Europa procedures heeft voorgesteld voor het bepalen van de ERK-niveaus van toetsen, bijvoorbeeld voor certificering, is het zo dat veel toetsinstituten voor het behalen van eenzelfde ERK-certificaat verschillende niveaueisen stellen. Stichting CITO Instituut voor Toetsontwikkeling 26

27 Een Europees Cito? Wil er werkelijk sprake zijn van een gemeenschappelijk referentiekader, dan moet er gestreefd worden naar internationale overeenstemming over de eisen die elk ERKniveau aan taalleerders stelt. Zolang er echter geen Centraal Europees Instituut voor Toetsontwikkeling is opgericht, zal een breed Europees gedragen, transparante toetsing op ERK-niveaus een utopie blijven Stichting CITO Instituut voor Toetsontwikkeling 27

28 UTOPIE Van C to naar Ce to Stichting CITO Instituut voor Toetsontwikkeling 28

29 Standaardbepaling luisteren Frans Vereist minimum ERK-niveau Luisteren Frans VWO HAVO GLTL KB 0 A1 A2 B1 B2 C1 Stichting CITO Instituut voor Toetsontwikkeling 29

30 Standaardbepaling luisteren Duits Vereist minimum ERK-niveau Luisteren Duits VWO HAVO GLTL KB CEF-niveau 1=A1 2=A2 3=B1 4=B2 Stichting CITO Instituut voor Toetsontwikkeling 30

31 Standaardbepaling luisteren Engels VWO Vereist minimum ERK-niveau Luisteren Engels HAVO GLTL KB BB CEF-niveau 1=A1 2=A2 3=B1 4=B2 5=C1 Stichting CITO Instituut voor Toetsontwikkeling 31