Koppeling mvt-examens aan het Europese Referentiekader

Transcriptie

1 Koppeling mvt-examens aan het Europese Referentiekader

2

3 Koppeling mvt-examens aan het Europese Referentiekader Erna van Hest, Harry Beltman en Frans Kleintjes Citogroep, unit Voortgezet Onderwijs Arnhem 2001

4 Citogroep, Arnhem Auteursrecht voorbehouden. Niets uit deze uitgave mag zonder voorafgaande schriftelijke toestemming van het Instituut voor Toetsontwikkeling worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotokopie/fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook.

5 Inhoudsopgave Voorwoord 1 Inleiding Algemene onderzoeksvragen Doelstelling 2 2 Opzet en methode Beoordelaars 2.2 Trainingssessie Trainingsmateriaal Classificatie door docenten Te classificeren materiaal 4 3 Data-analyse en resultaten Analyse gegevens Resultaten lezen Classificatie examenteksten Classificatie examenteksten in combinatie met leesopgaven Beheersing van niveaus: de prestaties van examenkandidaten Resultaten luisteren Classificatie luisterfragmenten in combinatie met luisteropgaven Beheersing van niveaus: de prestaties van examenkandidaten Resultaten spreken Conclusies en aanbevelingen Conclusies Aanbevelingen Bijlagen Literatuur 35

6

7 Voorwoord Deze publicatie is onderdeel van een drietal publicaties die zijn geschreven in het kader van een door het Ministerie van OC&W aan SLO/Citogroep verstrekte opdracht om de Nederlandse examens te relateren aan de Europese schaal van taalvaardigheid. Deze schaal maakt deel uit van het Europees Referentiekader van de Raad van Europa, het zogenaamde Common European Framework of Reference (Council of Europe, 2001). De belangrijkste publicatie die uit dit project is voortgekomen is: Nederlandse taalkwalificaties in Europees verband. Nederlandse examenniveaus voor Frans, Duits en Engels en hun plaats op de Europese schaal van taalvaardigheid. Naast deze publicatie zijn er twee achtergrondstudies verschenen; Analyse van de examenprogramma s voor VMBO en HAVO/VWO ten behoeve van de afstemming op de Europese schaal van taalvaardigheid, geschreven door de medewerkers van de SLO en de voorliggende publicatie die door medewerkers van de Citogroep is geschreven. De medewerkers van de SLO hebben de teksten van de eindtermen in de examenprogramma s geanalyseerd en steeds gekeken in hoeverre de formuleringen overeenkomen met de formuleringen van de niveaus van taalvaardigheid van het Europese Referentiekader. Deze analyse heeft vervolgens geleid tot een inschatting van de beoogde niveaus. In de voorliggende publicatie is een eerste poging gedaan om een selectie van opgaven uit een aantal Nederlandse examens te koppelen aan de Europese schaal. De examenopgaven zijn daarvoor geclassificeerd volgens het Europese Referentiekader. Vervolgens is per niveau de beheersing van de opgaven in kaart gebracht.

8 1 Inleiding In dit hoofdstuk wordt verslag gedaan van het classificatie-onderzoek dat door de Citogroep is uitgevoerd als onderdeel van de opdracht van OCenW inzake de koppeling van de examens moderne vreemde talen (verder mvt) aan het Europese Referentiekader. Doel van dit classificatie-onderzoek is de relatie te achterhalen tussen de volgende vier niveaus: 1) de daadwerkelijk niveaus van het Europese Referentiekader; 2) de door docenten ingeschatte niveaus van examenopgaven; 3) de daadwerkelijk niveaus van kandidaten; 4) de door kandidaten op examens behaalde niveaus. Vanwege het oriënterende karakter van het classificatie-onderzoek, is het slechts mogelijk geweest een beperkte data-set te analyseren. Dit betekent dat de onderzoeksresultaten aangaande de relatie tussen bovengenoemde niveaus met de nodige voorzichtigheid moeten worden geïnterpreteerd. Op grond van de resultaten kunnen voorlopige hypotheses worden opgesteld, die later, in een eventueel vervolgonderzoek, met voldoende data kunnen worden geverifieerd. In het onderzoek zijn de Citogroep-examens voor leesvaardigheid, luistervaardigheid en spreekvaardigheid Duits, Engels en Frans geanalyseerd. Gezien de kleinschaligheid van het onderzoek, is besloten om in eerste instantie de examens voor de drie belangrijkste mvt te classificeren en om schrijfvaardigheid voorlopig buiten beschouwing te laten. In paragraaf 1.1 worden kort de onderzoeksvragen en de doelstelling van het classificatieonderzoek geschetst. Vervolgens geeft paragraaf 2 een beschrijving van de opzet en procedure van de beoordelaarstraining en de uiteindelijke classificatie van de examens door de beoordelaars. In paragraaf 3 worden de data-analyse en de resultaten per vaardigheid gepresenteerd. Het rapport wordt afgerond met overzicht van de belangrijkste onderzoeksconclusies en een aantal aanbevelingen voor vervolgonderzoek. 1.1 Algemene onderzoeksvragen In het beoordelingsonderzoek worden de volgende onderzoeksvragen onderscheiden: a. In hoeverre zijn mvt-docenten in staat de Nederlandse examens voor Duits, Engels en Frans te classificeren met behulp van de niveau-omschrijvingen van het Europese Referentiekader? b. In hoeverre komen de classificaties van de mvt-docenten overeen met de door de Citogroep beoogde niveaus van de examens? c. Wat zeggen de classificaties van de verschillende mvt-examens over de prestaties van leerlingen op die examens? ad a. Naar analogie van onderzoek uitgevoerd in Zwitserland is bekeken in hoeverre Nederlandse mvtdocenten de niveau-omschrijvingen van het Europese Referentiekader kunnen toepassen op Nederlandse taalvaardigheidsexamens. In het verleden hebben Nederlandse mvt-docenten, in het kader van het Europese Taalportfolioproject, reeds globale inschattingen per onderwijsniveau gemaakt. Er zijn door Nederlandse mvt-docenten echter nog nooit gedetailleerde classificaties gemaakt voor de verschillende taalvaardigheidsexamens per onderwijsniveau. De verwachting is dat docenten vrij gemakkelijk in staat zijn een koppeling te maken tussen de algemene Europese niveau-indelingen en de Nederlandse examenniveaus, maar dat de moeilijkheid zal liggen in het 1

9 onderscheiden van de examenniveaus aan de hand van het Europese Referentiekader. De Nederlandse examens zijn immers gebaseerd op de eindtermen uit het Nederlandse examenprogramma die, zoals blijkt uit de analyse van examenprogramma's door de SLO, lang niet altijd een directe afspiegeling vormen van de niveau-omschrijvingen in het Europese Referentiekader. Bovendien strekken de in het project onderzochte examens zich niet niet uit over de hele breedte van het Referentiekader, dus van A1 tot C2, maar toetsen ze een beperkte bandbreedte, die naar verwachting zal liggen tussen A2 en B2. ad b. Op grond van de algemene omschrijvingen van de Europese taalvaardigheidsniveaus kan men de Nederlandse mvt-examens voor de verschillende onderwijsniveaus grofweg een label meegeven. Zo kan men bijvoorbeeld veronderstellen dat een gemiddeld Havo-examen geclassificeerd wordt in termen van niveau B van het Europese Referentiekader: "de onafhankelijke gebruiker die: de belangrijkste punten kan begrijpen uit duidelijke standaardteksten over vertrouwde zaken; zich kan redden in de meeste situaties die kunnen optreden tijdens het reizen; eenvoudige lopende tekst kan produceren over onderwerpen die vertrouwd of van persoonlijk belang zijn; een beschrijving kan geven van ervaringen en gebeurtenissen; korte redenen en verklaringen kan geven voor meningen en plannen. De verwachtingen zijn: 1) dat een gedetailleerde classificatie per examen en per examenopgave aan zal tonen dat er geen een-op-een relatie gevonden zal worden tussen de examenniveaus en de niveaus van het Europese Referentiekader; 2) dat er in termen van het Europese Referentiekader een niveauverschil zal worden gevonden tussen taalvaardigheidsexamens Duits, Engels en Frans voor hetzelfde Nederlandse onderwijsniveau. ad c. Om een uitspraak te doen over het beheersingsniveau van kandidaten, kunnen de door de docenten gegeven classificaties voor de examens lees- en luistervaardigheid worden gekoppeld aan de leerlingprestaties op die examens. Op die manier kan een voorspelling worden gedaan over het Europese taalvaardigheidsniveau van Mavo-, Havo- en Vwo-leerlingen per taal en per vaardigheid. 1.2 Doelstelling Het doel van het classificatie-onderzoek is om examens en examenniveaus voor lezen, luisteren en spreken te relateren aan een Europese schaal van taalvaardigheid ter verheldering van (a) de niveaus van taalvaardigheid binnen het Nederlandse voortgezet onderwijs en (b) de positie van de Nederlandse taalkwalificaties in Europees verband. 2

10 2 Opzet en methode De opzet van het onderzoek was als volgt. Aan de hand van de onderzoeksvragen werd uit bestaande toetsen een selectie gemaakt van trainingsmateriaal en materiaal ter classificatie door docenten. Vervolgens kregen de docenten een dag training in het hanteren van de niveaus in het Europese Referentiekader en in het classificeren van toetsmateriaal aan de hand van die niveaus. Daarna gingen zij individueel aan de slag met de beoordeling van toetsmateriaal in hun vaktaal. Deze classificatiegegevens zijn tenslotte gerangschikt en waar mogelijk gekoppeld aan leerlingprestaties. In paragraaf 2.1 tot en met 2.4 wordt de methode van onderzoek nader toegelicht. 2.1 Beoordelaars Tien mvt-docenten uit het Nederlandse voortgezet onderwijs hebben tijdens het onderzoek de examens voor lezen, luisteren en spreken geclassificeerd aan de hand van het Europese Referentiekader: drie docenten Frans, drie docenten Duits en vier docenten Engels. De groep bestond uit beginnende en ervaren docenten, gespreid over de talen. De meeste docenten gaven les op brede scholengemeenschappen en hadden ervaring met Mavo-, Havo- en Vwo-leerlingen. 2.2 Trainingssessie Voorafgaand aan de classificatie van de mvt-examens in termen van het Europese Referentiekader kregen de docenten tijdens een speciale workshop een inleiding over het project en een training in het classificeren van toetsmateriaal. Ter voorbereiding op de workshop hadden zij van tevoren de in het Nederlands vertaalde niveau-omschrijvingen uit het Europese Referentiekader toegestuurd gekregen. De inleiding bestond uit een korte beschrijving van de achtergrond, de onderzoeksvragen en de doelstelling van het project. Vervolgens werd ingegaan op de indeling van het Europese Referentiekader in zes zogenaamde referentieniveaus en op de can-do statements voor de verschillende niveaus en vaardigheden. Na de inleidende sessie kregen de docenten als oefening per vaardigheid een reeks fragmenten te beoordelen. Het doel van de training was tweeledig: (1) handigheid krijgen in het toepassen en interpreteren van de niveau-omschrijvingen; (2) proberen om als groep zo veel mogelijk tot een gelijke, taalonafhankelijke, interpretatie van de niveau-omschrijvingen te komen. Per vaardigheid (eerst, luisteren, dan spreken en vervolgens lezen) kregen de docenten (tekst)fragmenten aangeboden voor elk van de drie onderwijstypen (Mavo-C/-D, Havo, Vwo) en voor elk van de drie talen (Engels, Duits, Frans). Voor luisteren beoordeelden de docenten eerst een luisterfragment in isolatie. Daarna beoordeelden ze het luisterfragment in combinatie met de bijbehorende opgave. De reden voor een tweede beoordeling in combinatie met de opgave is dat de docenten wellicht tot een andere inschatting komen na het zien van de luistertaak. Voor lezen werd dezelfde procedure gehanteerd: eerst werd alleen de tekst beoordeeld, daarna de tekst in combinatie met opgaven. Voor spreken werd de taalproductie van leerlingen beoordeeld op een aantal spreekopdrachten uit spreektoetsen Havo en Vwo van de Citogroep. Het taalmateriaal werd steeds per vaardigheid per taal in willekeurige volgorde aangeboden. Tijdens de trainingssessie kregen docenten materiaal in alledrie de talen te beoordelen om ze een breder kader te geven en om ze de moeilijkheidsniveau van het materiaal voor hun eigen vaktaal af te laten zetten tegen dat van de andere talen. De beoordeling van het trainingsmateriaal gebeurde met behulp van een Interactive Voting System (IVS). Dit is een elektronisch stemsysteem waarbij leden van een groep individueel kunnen stemmen via een stemkastje. Na iedere stemsessie worden de resultaten, in de vorm van een histogram, op een scherm gepresenteerd. Tijdens de training werd het IVS als volgt ingezet. Na ieder (tekst)fragment toetsten de docenten via een stemkastje het niveau van hun keuze in. Vervolgens kreeg de groep directe feedback over 3

11 zijn stemgedrag in de vorm van een histogram. Deze directe feedback bevorderde de discussie, zorgde ervoor dat docenten hun eigen stemgedrag konden beoordelen in relatie tot dat van de groep en stroomlijnde de niveau-inschattingen van de individuele docenten in de groep. Medewerkers van de Citogroep leidden de discussies voor de verschillende vaardigheden en probeerden samen met docenten te komen tot bruikbare classificatiecriteria. Deze criteria werden aan het eind van de trainingssessie samengevat en gebruikt als input voor de daadwerkelijke classificatie. 2.3 Trainingsmateriaal Voor de trainingssessie was voor lezen en luisteren een hoeveelheid materiaal per taal en per niveau geselecteerd uit een aantal toetsen van de afgelopen jaren. Hiervan waren speciale toetsboekjes gemaakt, die de docenten tijdens de training konden raadplegen. Voor spreken was een selectie gemaakt uit leerlingprestaties die door docenten waren ingestuurd in het kader van een onderzoek naar de normering voor spreektoetsen Havo en Vwo. Bij alle vaardigheden was elke mogelijke verwijzing naar niveau verwijderd. 2.4 Classificatie door docenten Na de trainingssessie startten de docenten met de officiële classificatie van het toetsmateriaal voor lezen, luisteren en spreken. In tegenstelling tot de trainingssessie, kregen de docenten tijdens de officiële classificatie alleen materiaal in hun eigen vaktaal te beoordelen. Voor de officiële classificatieronde werden per taal groepjes docenten gevormd. De docenten werden geïnstrueerd om al het materiaal individueel te beoordelen en alleen met de andere leden van hun taalgroep te overleggen in geval van algemene interpretatieproblemen. De docenten mochten dus niet overleggen over niveau-inschattingen van specifieke (tekst)fragmenten en opgaven. Gedurende de classificatie waren medewerkers van de Citogroep aanwezig om docenten te adviseren. De docenten noteerden hun classificaties op speciale formulieren. Net als in de trainingssessie gebeurde dat voor lezen en luisteren in twee rondes. Eerst enkel op basis van het luister- of tekstfragment. Daarna in combinatie met de bijbehorende opgaven. Voor spreken werden alleen leerlingprestaties op een aantal spreekopdrachten uit Havo en Vwo-spreektoetsen beoordeeld. Bij de individuele classificatie werd docenten verzocht de (tekst)fragmenten zo veel mogelijk in te delen in sub-niveaus, indien beschikbaar. Op deze manier kon de niveau-indeling over de volle breedte worden benut en werd een clustering van niveaus voorkomen. De docenten hebben een deel van het materiaal tijdens de workshop geclassificeerd en een deel thuis. Zij hebben een vergoeding ontvangen voor hun deelname aan de workshop en voor de classificatie van het examenmateriaal Te classificeren materiaal Voor de individuele classificatie is het volgende materiaal geselecteerd: lezen: Engels: het volledige examen nieuwe stijl Havo 2000 en het volledige examen Vwo 2000; Duits: het volledige examen nieuwe stijl Havo 2000; Frans: het volledige examen nieuwe stijl Havo

12 luisteren: Voor luisteren zijn in plaats van volledige luistertoetsen representatieve selecties van luisterfragmenten ter classificatie aangeboden. Bij de selectie is rekening gehouden met de verschillende onderdelen in een luistertoets en met de gemiddelde p-waarde (=moeilijkheidsgraad) van de opgaven. Dit betekent dat in de uiteindelijke selectie reeksen opgaven uit verschillende onderdelen zijn geselecteerd, die wat betreft moeilijkheidsgraad niet te veel afweken van de niet geselecteerde opgaven. Engels: 30 fragmenten + opgaven uit de verschillende onderdelen van het Vwoexamen 2000; Duits: 90 fragmenten + opgaven uit de Mavo-C/-D-, Havo- en examens 1999 en 2000; Frans: 31 fragmenten + opgaven uit de verschillende onderdelen van het Vwoexamen spreken: Net als voor de training was het spreekmateriaal voor de officiële classificatie geselecteerd uit leerlingprestaties die door de Citogroep waren verzameld ten behoeve van een normeringsonderzoek voor spreektoetsen Havo en Vwo. Voor Mavo-C/-D was ten tijde van dit onderzoek nog geen leerlingmateriaal beschikbaar. Bij de selectie van leerlingmateriaal voor spreken zijn alleen prestaties van leerlingen geselecteerd die volgens de bijbehorende normering van de spreektoetsen een voldoende scoorden op de toets (5.5. en hoger). De prestaties van deze leerlingen worden representatief verondersteld voor het niveau van Havo- of Vwo-leerlingen die een voldoende halen op de spreektoetsen. Engels: 20 leerlingprestaties naar aanleiding van verschillende opdrachten uit spreektoetsen van de Citogroep: 8 prestaties van Havo-kandidaten, 12 van Vwokandidaten. De volgorde op de band die docenten moesten beoordelen, was willekeurig; Frans: 16 leerlingprestaties: 5 prestaties van Havo-kandidaten, 11 van Vwokandidaten; Duits: 24 leerlingprestaties: 12 prestaties van Havo-kandidaten, 12 van Vwokandidaten. 5

13 3 Data-analyse en resultaten 3.1 Analyse gegevens Na de classificatie van het toetsmateriaal door de docenten zijn alle gegevens ingevoerd in een Microsoft Excel file. Vervolgens is gekeken waar docenten overeenstemden in hun classificaties om zo tot een zogenaamd totaallabel te komen voor een tekst, tekstfragment of voor een combinatie van tekstfragment en opgave. Hierbij is de volgende procedure gehanteerd. Eerst is gekeken naar de overeenstemming tussen docenten op het sub-niveau (A1.1, A1.2 etc). Indien daar geen overeenstemming werd gevonden, is vervolgens gekeken naar overeenstemming op de algemene, hoofdniveaus (A1, A2 etc.). Zowel op sub-niveau als op het hoofdniveau was sprake van overeenstemming als 2 van de 3 docenten (bij Engels 3 van de 4 docenten) tot een zelfde classificatie waren gekomen. Voorbeeld van overeenstemming op subniveau: A1.1 (docent 1);A1.2 (docent 2); A1.1 (docent 3) = A1.1 (totaallabel) Voorbeeld van overeenstemming op hoofdniveau: A1.1 (docent 1);A1.2 (docent 2); A1 (docent 3) = A1 (totaallabel) Bij de beoordeling van de overeenstemming op subniveaus is steeds uitgegaan van overeenstemming binnen één en hetzelfde niveau, dus binnen A, B, en C, en niet over niveaus heen. Dit is besloten na een inhoudelijke analyse van de can-do statements in de verschillende sub-niveaus. Alleen in die gevallen waarin een duidelijke overeenstemming op subniveau of hoofdniveau werd gevonden, is de classificatie meegenomen in de uiteindelijke analyse. Na het bepalen van overeenstemming, zijn de classificatiegegevens voor luisteren en lezen gekoppeld aan de leerlingresultaten voor de desbetreffende toetsen en opgaven. Voor spreken was dit niet nodig omdat het bij het betreffende beoordelingswerk al om leerlingprestaties ging, in tegenstelling tot luisteren en lezen waar het beoordelingswerk taakgericht was. In de volgende paragrafen worden de resultaten voor de verschillende vaardigheden besproken en toegelicht. De bespreking van de resultaten vindt plaats aan de hand van de totaallabels, dus aan de hand van classificaties waarover door docenten overeenstemming is bereikt. Voor een overzicht van de individuele docentenbeoordelingen per taal en per vaardigheid zie de bijlage. 3.2 Resultaten lezen Bij de bespreking van de resultaten voor lezen wordt een onderscheid gemaakt tussen de classificaties voor de examenteksten zonder leesopgaven en de classificaties van de examenteksten in combinatie met de leesopgaven. Uit onderzoekstechnisch oogpunt is het interessant om na te gaan, of de classificaties van tekst zonder en met opgaven verschillen. Het is immers goed mogelijk makkelijke vragen te stellen bij een op zich moeilijke tekst. De verwachting hierbij is dat de moeilijkheidsgraad van een tekst in combinatie met de leesopgave lager zal zijn dan die van een tekst in isolatie. De moeilijkheid van een opgave wordt natuurlijk bepaald door de combinatie van de tekst en de betreffende opgave. 6

14 3.2.1 Classificatie examenteksten Tabel 1. Lezen: Totaalclassificatie examenteksten zonder leesopgaven Taal A1 A2 B1 B2 C1 C2? * N = A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Duits Havo Frans Havo Engels havo Engels Vwo Tabel 1 geeft een overzicht van de totaalclassificaties voor de examenteksten per taal en per onderwijstype. In de kolom taal staan de examens die voor dit onderzoek zijn geanalyseerd. De kolom met de N geeft het totaal aan examenteksten in een examen aan. Voor elk van de examens zijn steeds alle teksten bekeken. De aantallen teksten waarover door docenten geen overeenstemming kon worden bereikt, staan in de kolom met het vraagteken. Als we de niveaus van de teksten voor de verschillende onderwijstypen en talen met elkaar vergelijken, zien we bij de Havo-examens een verschil tussen de talen. De teksten in het Havo-examen Frans zijn duidelijk lager geclassificeerd (variërend van hoog A2 tot laag B2) dan die voor Duits en Engels (variërend van hoog B1 tot hoog B2). Aangezien voor Engels zowel een Havo- als een Vwo-examen is geanalyseerd, is daar ook een vergelijking tussen onderwijstypen mogelijk. Bij deze vergelijking vinden we slechts zeer geringe verschillen op sub-niveau. Volgens de beoordelaars onderscheiden de teksten Engels voor Havo en Vwo zich dus niet of nauwelijks als ze moeten worden toegewezen aan een Europees niveau Classificatie examenteksten in combinatie met leesopgaven Na de classificaties van de examenteksten in isolatie is het interessant om na te gaan of deze veranderen onder invloed van de bijbehorende opgaven. Tabel 2 geeft een overzicht van de totaalclassificaties voor de teksten in combinatie met de opgaven. Tabel 2. Lezen: Totaalclassificatie examenteksten in combinatie met leesopgaven Taal A1 A2 B1 B2 C1 C2?* N = A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Duits Havo Frans Havo Engels havo Engels Vwo Als we de resultaten in tabel 1 en 2 op het hoogste niveau met elkaar vergelijken, zien we dat de verhoudingen tussen de talen en de onderwijstypen gelijk blijven, maar dat de classificaties voor sommige examens iets lager uitvallen. Zo werden de teksten in het Havo-examen Duits evenredig verdeeld over B1 en B2, maar valt het examen na classificatie van de opgaven toch in categorie B1. Dit ondanks het opvallende feit dat 2 van de vragen in het Havo-examen Duits op C2(!)-niveau 7

15 zijn geclassificeerd, een classificatie die in geen van de andere examens voorkomt, zelfs niet in het Vwo-examen Engels. Door de lichte verschuiving bij Duits ontstaat er een niveauverschil met het Havo-examen Engels, dat ook na classificatie van opgaven duidelijk op niveau B2 blijft. Ook voor Havo Frans blijft de situatie grotendeels gelijk; na de classificatie van de leesopgaven behoudt het examen het label B1 en blijft het het makkelijkste examen onder de Havo-examens met 4 opgaven op A2-niveau. Bij Engels is, na classificatie van opgaven, een behoorlijk verschil ontstaan tussen het Havo- en Vwo-examen. Was er bij de tekstclassificatie voor zowel Havo als Vwo een C1- tekst aan te wijzen, op het niveau van de opgaven is dit alleen voor Vwo het geval. Bovendien bevat het Havo-examen meer opgaven op B1-niveau: 12 tegen 1 voor Vwo Beheersing van niveaus: de prestaties van examenkandidaten Hoe vaardiger een examenkandidaat hoe groter de kans dat een opgave goed wordt beantwoord. Als opgaven van een bepaald niveau door examenkandidaten goed worden beheerst, mogen we omgekeerd zeggen dat die kandidaten dat bepaalde niveau hebben in die taal. Wanneer we nu uitgaan van een correcte niveau-toewijzing door de docenten, is het interessant na te gaan wat in dat geval de beheersing is van examenkandidaten in termen van de Europese niveaus. De leerlingresultaten zijn geanalyseerd met behulp van het programma OPLM (Verhelst, Verstralen en Glas, 1995). Het grote voordeel van deze techniek is dat de vaardigheid van de leerlingen op dezelfde schaal kan worden afgebeeld als de opgaven. Tabel 3. Beheersingsniveau van geclassificeerde leesopgaven voor de gemiddelde Havo/Vwo kandidaat Examen Niveau Aantal geclassificeerde opgaven Goede beheersing: minstens 65% kans op goed antwoord Matige beheersing: 50%-65% kans op goed antwoord Geen beheersing: Minder 50% kans op goed antwoord Engels Vwo B C Engels Havo B B Duits Havo B B C1/C Frans Havo A B B In tabel 3 zijn de beheersingsniveaus voor de geclassificeerde leesopgaven in kaart gebracht. (Zie bijlage 2, figuren B 3.1-B 3.3, voor een toelichting over de totstandkoming van tabel 3). De verwachting waren: (1) hoe moeilijker de opgave (in termen van het Europese Referentiekader), hoe slechter de beheersing en (2) hoe lager het onderwijstype des te lager de beheersing van een bepaalde klasse opgaven. Bij de B2-opgaven Vwo Engels is bij 24 van de 31 vragen (= ruim driekwart) de kans op een goed antwoord door Vwoleerlingen groter dan 65%. Bij de C1-opgaven voor vwo Engels is dat voor de Vwoleerlingen ook ruim driekwart van de opgaven (5 van de 6). Er is dus geen verschil tussen opgaven die met B2 zijn gewaardeerd en opgaven die het C1-label hebben. 8

16 Bij Engels Havo is bij de B2-opgaven in 11 van de 22 gevallen (is de helft) de kans op een goed antwoord minstens 65%. Bij de B1-opgaven is dat bij 9 van de 13 opgaven het geval. Hier kan dus gesproken worden van een terecht onderscheid tussen B1- en B2- opgaven. Uit een vergelijking tussen de talen en de diverse onderwijstypen blijkt dat overal opgaven met het label B2 voorkomen. Het procentuele aandeel neemt echter van Vwo Engels, via Havo Engels naar Duits Havo en Frans Havo af (resp. 83, 63, 43 en 12%). Omgekeerd neemt het aantal B1-opgaven in dezelfde vergelijkingsrichting toe (0, 37, 50 en 79%). Uit de tabel blijkt dus dat er, voor lezen, tussen onderwijstypen verschillen zijn waar te nemen in de percentages opgaven die door leerlingen worden beheerst. Echter, er blijkt geen systematisch verschil te zijn in de mate waarin leerlingen opgaven, die op verschillende niveaus binnen één en hetzelfde examen worden geclassificeerd, beheersen. Dat betekent dat uit de gegevens niet blijkt dat binnen één en hetzelfde examens de A2-opgaven (indien aanwezig) altijd het beste worden gemaakt, gevolgd door de B1-, B2-, en C1/C2 -opgaven. Zo is in Frans Havo bijvoorbeeld bij de A2-opgaven bij 1 van de 4 opgaven (25%) de kans op een goed antwoord groter dan 65%, bij de B1- opgaven is dat in 80% van de opgaven en bij de B2-opgaven in 20%. Overigens zijn de aantallen geclassificeerde opgaven te klein om hier zwaarwegende conclusies aan te verbinden. Aangezien binnen de onderzochte examens het systematische verschil in beheersingsniveau bij opgaven van uiteenlopend niveau ontbreekt, kan aan de hand van de in dit onderzoek geclassificeerde opgaven dus ook geen uitspraak gedaan worden over het beheersingsniveau voor lezen in termen van het Europese Referentiekader. Dat wil zeggen dat er niet geconcludeerd kan worden dat als kandidaten het Havo-examen Frans met goed gevolg afleggen, ze een niveau van leesvaardigheid hebben dat gelijk staat aan het Europese B1-niveau. In het hoofdstuk conclusies en aanbevelingen zal nader ingegaan worden op de oorzaken van het ontbreken van het systematische verschil in beheersingsniveau binnen examens. 3.3 Resultaten luisteren Net als bij lezen hebben de docenten eerst een oordeel uitgesproken over een fragment, in dit geval een luisterfragment, en daarna over het fragment in combinatie met de luisteropgave. Een vergelijking van de twee soorten classificatiegegevens (met en zonder luisteropgave) wijst uit dat de docenten de luisterfragmenten in combinatie met de luisteropgaven gemiddeld één niveau lager beoordeelden dan zonder de opgaven. Onder één niveau wordt verstaan het verschil tussen een subniveau en het volgende/vorige subniveau. Voorbeelden: de stap tussen A2.2 en B1.1 is één niveau, alsook de stap van B1.1 naar B Classificatie luisterfragmenten in combinatie met luisteropgaven Tabel 4 geeft een overzicht van de totaalclassificaties voor de luisterfragmenten in combinatie met de luisteropgaven. Zoals reeds aangegeven in paragraaf 2.4.1, zijn bij luisteren, in tegenstelling tot lezen, niet alle luisterfragmenten ter classificatie voorgelegd. 9

17 Tabel 4. Luisteren: Totaalclassificatie luisterfragmenten en opgaven Taal A1 A2 B1 B2 C1 C2?* N = A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Duits Mavo- C Duits Mavo- D Duits Havo Duits Vwo Engels Vwo Frans Vwo Op grond van de classificatiegegevens voor luisteren kijken we naar mogelijke niveauverschillen tussen talen, voor de examens Vwo, en tussen onderwijstypen voor de examens Duits. Wat betreft niveauverschillen tussen talen, zien we dat in de Vwoexamens voor Duits en Engels relatief gezien aanzienlijk meer opgaven op B2-niveau worden geclassificeerd dan bij Frans. Opvallend is dat het examen Duits, in vergelijking met dat voor Engels, een groot aantal opgaven op B2.2-niveau bevat. Hierbij moet wel worden aangetekend dat voor het examen Vwo Engels 15 opgaven, door gebrek aan overeenstemming in classificatie, niet zijn meegenomen. Het Vwo-examen Frans ligt een hoofdniveau onder dat voor Duits en Engels; de meeste opgaven voor Frans krijgen het hoofdlabel B1. Dit niveauverschil tussen de talen stemt grotendeels overeen met eerder onderzoek door de Citogroep, waarover intern door Beltman in het kader van de constructie van luistertoetsen is gerapporteerd. Dat onderzoek wees uit dat in de luistertoetsen Engels wat betreft beheersing van de vreemde taal het meest van Nederlandse leerlingen wordt gevraagd, gevolgd door de toetsen voor Duits en Frans. Daarnaast wees dit onderzoek uit dat de afstand tussen Frans en Engels groter is dan die tussen Duits en Engels. Voor een interpretatie van het niveauverschil tussen onderwijstypen kijken we naar de classificaties voor de examens Duits. We constateren een toenemende niveau-eis bij de diverse examens Duits. De Mavo-examens worden geclassificeerd op niveau A2. De Mavo-examens onderscheiden zich duidelijk van het Havo- en Vwo-examen door de aanwezigheid van een groot aantal A2-opgaven en de totale afwezigheid van B2- opgaven. Het Havo-examen krijgt, net als het Vwo-examen, label B2 (in beide examens heeft ruim 60% van de opgaven een B2-label, zie ook tabel 5). Het onderscheid tussen het Havo en Vwo-examen wordt bepaald door de aanwezigheid van een tweetal opgaven op niveau C1 en het ontbreken van A2-opgaven in het Vwo-examen Beheersing van niveaus: de prestaties van examenkandidaten Net als bij lezen zijn de classificatiegegevens voor luisteren gekoppeld aan de leerlingprestaties op de onderzochte examens. Hierbij is dezelfde techniek gehanteerd als in het geval van lezen. Tabel 5 geeft een overzicht van de beheersingsniveaus voor luisteren. (Zie bijlage 2, figuren B 5.1-B 5.5, voor een toelichting over de totstandkoming van tabel 5). Net zoals bij lezen blijkt er bij luisteren binnen examens geen systematisch verschil te zijn in beheersingsniveau bij opgaven van uiteenlopend niveau. Ook het vergelijken van de 10

18 beheersing van bepaalde opgaven tussen onderwijstypen, leidt tot zeer weinig verschillen. Op grond van de in dit onderzoek geclassificeerde opgaven kan dus, net als voor lezen, geen uitspraak worden gedaan over het beheersingsniveau voor luisteren in termen van het Europese Referentiekader. Tabel 5. Beheersingsniveau van geclassificeerde luisterfragmenten en opgaven voor de gemiddelde Mavo-C/-D en Havo/Vwo kandidaat Examen Niveau Aantal geclassificeerde opgaven Goede beheersing: minstens 65% kans op goed antwoord Matige beheersing: 50%-65% kans op goed antwoord Geen beheersing: Minder 50% kans op goed antwoord Duits Mavo-C A A Duits Mavo-D A B Duits Havo A B B Duits Vwo B B C Engels Vwo B B C Frans Vwo B B C Resultaten spreken Voor spreken blijven de resultaten beperkt tot de daadwerkelijke classificaties van leerlingprestaties door docenten in termen van de Europese taalvaardigheidsniveaus. Gezien de aard van de spreekopdrachten doen de classificaties met name een uitspraak over mondelinge productie. De verwachting met betrekking tot spreekvaardigheid was dat er een duidelijk verschil in niveau te zien zou zijn tussen de prestaties van Havo-en Vwo-leerlingen en dat er een duidelijk niveauverschil zou zijn tussen de drie talen. Wat betreft dit laatste punt was de verwachting dat het niveau voor Frans het laagst zou zijn, gevolgd door dat voor Duits en voor Engels. 11

19 Tabel 6. Spreken: Totaalclassificatie leerlingprestaties Taal A1 A2 B1 B2 C1 C2?* N = A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Duits havo Duits vwo Frans havo Frans vwo Engels havo Engels vwo In tabel 6 zijn de classificatiegegevens voor de drie talen bij elkaar gezet. Deze gegevens moeten met de nodige voorzichtigheid worden geïnterpreteerd. Er moet rekening gehouden worden met: (a) het feit dat de selectie van leerlingprestaties zeker niet als een representatief kan worden beschouwd. Voor de aselectie van prestaties waren we afhankelijk van gegevens die in het kader van een normeringsonderzoek bij een beperkt aantal scholen waren verzameld. Dit betekent dat er hier en daar school- en leraareffecten kunnen optreden; (b) het feit dat alleen de prestaties van leerlingen die volgens de Citogroep norm een voldoende behaalden op de toets ter classificatie zijn aangeboden. Dit kan een clustering van niveaus tot gevolg hebben, aangezien de allerslechtste leerlingen niet in de classificatie zijn betrokken. (c) dat het hier gaat om een zeer beperkt aantal leerlingen per taal en per niveau. Wanneer we kijken naar de classificatiegegevens voor de drie talen, vallen de volgende zaken op. Er lijkt, behalve wellicht voor Duits, door de docenten geen duidelijk verschil te zijn gemaakt tussen de prestaties voor Havo- en Vwo-leerlingen. In het geval van Frans zijn de Havo-leerlingen zelfs op een hoger niveau geclassificeerd dan de Vwo-leerlingen. Het school- c.q. leraareffect is hier dan ook niet uit te sluiten. Voor Engels liggen de resultaten voor Havo- en Vwo-leerlingen ongeveer op hetzelfde niveau. Het verwachte verschil tussen Havo- en Vwo-leerlingen komt dus niet tot uiting in de classificatiegegevens. Er is een klein verschil te constateren tussen de leerlingprestaties voor de drie talen. Zoals verwacht is het gemiddelde niveau voor Engels het hoogst, gevolgd door dat voor Duits en Frans met ongeveer hetzelfde gemiddelde niveau. Bij Duits zijn er wel meer Vwo-leerlingen vertegenwoordigd in de hogere niveaus dan bij Frans. 12

20 4 Conclusies en aanbevelingen 4.1 Conclusies Met het oog op het oriënterende karakter en de kleinschalige opzet van het onderzoek moeten de hieronder gepresenteerde conclusies met de nodige voorzichtigheid worden geïnterpreteerd. Zoals reeds aangegeven in de inleiding, is er verder, grootschalig onderzoek nodig om de hier gesignaleerde tendensen op hun juiste waarde te kunnen schatten. In het classificatie-onderzoek werden de volgende onderzoeksvragen onderscheiden: a) In hoeverre zijn mvt-docenten in staat de Nederlandse examens voor Duits, Engels en Frans te classificeren met behulp van de niveau-omschrijvingen van het Europese Referentiekader? b) In hoeverre komen de classificaties van de mvt-docenten overeen met de door de Citogroep beoogde niveaus van de examens? c) Wat zeggen de classificaties van de verschillende mvt-examens over de prestaties van leerlingen op die examens? In hoeverre zijn mvt-docenten in staat de Nederlandse examens voor Duits, Engels en Frans te classificeren met behulp van de niveau-omschrijvingen van het Europese Referentiekader? Het feit dat een behoorlijk aantal examenopgaven door gebrek aan overeenstemming in classificatie niet kon worden meegenomen in de analyse, geeft aan dat het eenduidig classificeren van examenopgaven in termen van het Europese Referentiekader geen makkelijke taak is. Zoals verwacht ligt de moeilijkheid met name in het onderscheiden van de examenniveaus. Er zijn een aantal oorzaken aan te wijzen voor de problemen rond de classificatie. Ten eerste zijn de huidige examens niet geconstrueerd om het brede pakket aan can-do statements in het Europese Referentiekader te toetsen. Dit betekent bijvoorbeeld voor een vaardigheid als luisteren dat op grond van een zeer beperkte selectie aan statements, die met betrekking tot globaal en selectief luisteren, onderscheid moet worden gemaakt tussen niveaus. Ten tweede strekken de in het project onderzochte examens zich niet uit over de hele breedte van het Referentiekader, dus van A1 tot C2, maar toetsen ze een beperkte bandbreedte, die, zoals blijkt uit de gegevens, ligt tussen A2 en B2. Dit heeft tot gevolg dat docenten verschillen moeten aangeven tussen opgaven die wat moeilijkheidsgraad betreft, relatief dicht bij elkaar liggen. Ten derde vereist het veel oefening en training om dit soort classificaties consequent en taalonafhankelijk uit te voeren. De indruk is dat, ondanks de training op opgaven en toetsmateriaal voor talen anders dan de vaktaal, docenten toch sterk geneigd zijn, binnen de kaders van de vaktaal denken. In hoeverre komen de classificaties van de mvt-docenten overeen met de door de Citogroep beoogde niveaus van de examens? De verwachtingen waren dat er (a) gezien de eindtermen waar de examens op zijn gebaseerd, geen een-op-een relatie gevonden zou worden tussen de examenniveaus en de niveaus van de Raad van Europa; (b) in termen van het Europese Referentiekader een niveauverschil zou worden gevonden tussen taalvaardigheidsexamens Duits, Engels en Frans voor hetzelfde onderwijstype en tussen mvt-examens voor verschillende onderwijstypen. Zoals reeds uit de bespreking van de resultaten naar voren is gekomen, zijn de onderzochte examens opgebouwd uit opgaven met een verschillende moeilijkheidsgraad (in termen van het Europese Referentiekader), maar vallen de meeste examens wel duidelijk binnen een van de hoofdcategorieën. 13

21 Wat betreft de verschillen tussen de talen kan voor lezen en luisteren worden geconcludeerd dat examens Engels en Duits ongeveer op hetzelfde niveau worden geclassificeerd, terwijl de examens voor Frans daar gemiddeld een sub-niveau onder zitten. Op grond van eerdere onderzoeken was verwacht dat Engels als moeilijkste uit de bus zou komen gevolgd door Duits en Frans. Voor spreken is er is een klein verschil te constateren tussen de leerlingprestaties voor de drie talen. Zoals verwacht is het gemiddelde niveau voor Engels het hoogst, gevolgd door dat voor Duits en Frans met ongeveer hetzelfde gemiddelde niveau. Bij Duits zijn er wel meer Vwoleerlingen vertegenwoordigd in de hogere niveaus dan bij Frans. Het onderzoek was te beperkt van omvang om verschillen tussen Havo- en Vwo-leerlingen aanneembaar te maken. De vergelijkingen tussen mvt-examens lezen en luisteren voor de drie onderwijstypen (Mavo, Havo, Vwo) laten een toenemende niveau-eis zien met verschuivingen in de moeilijkheidsgraad van de opgaven van voornamelijk A2 op Mavo naar voornamelijk B2 op Vwo. Wat zeggen de classificaties van de verschillende mvt-examens over de prestaties van leerlingen op die examens? In het onderzoek zijn de classificaties voor de mvt-examens voor luisteren en lezen gekoppeld aan de prestaties van leerlingen op die examens. Op die manier zou een voorspelling gedaan kunnen worden over het Europese taalvaardigheidsniveau van Mavo-, Havo- en Vwo-leerlingen per taal en per vaardigheid. De conclusie is dat op grond van de in dit onderzoek geclassificeerde opgaven geen uitspraak kan worden gedaan over de beheersing voor lezen en luisteren in termen van het Europese Referentiekader. Hiervoor kunnen een tweetal redenen worden genoemd. Een eerste reden is al aan de orde geweest, namelijk het feit dat de huidige examens voor het voortgezet onderwijs slechts een klein deel van de can-do statements toetsen. Een tweede reden kan natuurlijk zijn dat de classificaties niet in alle gevallen betrouwbaar zijn en dat de beoordelaars door de veelheid aan factoren (tempo, ruis, vocabulaire, onderwerp) moeite hebben een goede inschatting te maken. Een beoordelaarsonderzoek was vanwege het geringe aantal beoordelaars echter niet mogelijk. Op grond van de nu gelegde koppeling kunnen dus geen uitspraken worden gedaan als Havokandidaten Duits hebben een luistervaardigheid op B1-niveau, maar kan per examen wel een zogenaamd ambitieniveau worden bepaald. Met ambitieniveau wordt dan het streefniveau bedoeld in termen van het Europese Referentiekader. 4.2 Aanbevelingen 1 Vervolgonderzoek waarbij tenminste voor één vaardigheid het onderzoek statistisch verantwoord kan worden opgezet. Hierbij valt te denken aan een grootschalig onderzoek naar het niveau van mondelinge vaardigheden in het Nederlandse onderwijs en de relatie van die vaardigheden tot het Europese Referentiekader. 2 Onderzoek naar koppeling van toetsmateriaal aan het Europese Referentiekader uitbreiden met examens op een lager niveau van taalvaardigheid, bijvoorbeeld met de basisvormingstoetsen en/of toetsen uit de Basiseducatie. 3 Meetinstrumenten ontwikkelen die een bredere selectie aan can-do statements toetsen en op die manier een paspoortfunctie kunnen vervullen in Europa. 4 Grotere groepen docenten trainen in het hanteren van de Europese taalvaardigheidsniveaus. 14

22 5 Bijlagen 15

23 Bijlage 1: docentbeoordelingen per vaardigheid en per taal Tabel LEZ1. Classificatie examenteksten Duits Havo per beoordelaar (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * Tabel LEZ2. Classificatie opgaven bij de examenteksten Duits Havo per beoordelaar (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * ** 16

24 Tabel LEZ3. Classificatie examenteksten Frans Havo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Tabel LEZ4. Classificatie opgaven bij de examenteksten Frans Havo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 17

25 Tabel LEZ5. Classificatie examenteksten Engels Havo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * * * * * * Tabel LEZ6. Classificatie opgaven bij de examenteksten Engels Havo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 18

26 Tabel LEZ7. Classificatie examenteksten Engels Vwo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * * * * Tabel LEZ8. Classificatie opgaven bij de examenteksten Engels Vwo (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 19

27 Tabel LUI1. Classificatie opgaven luisteren Duits Mavo-C per beoordelaar A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Tabel LUI2. Classificatie opgaven luisteren Duits mavo-d per beoordelaar A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 20

28 Tabel LUI3. Classificatie opgaven luisteren Duits Havo per beoordelaar A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 Tabel LUI4. Classificatie opgaven luisteren Duits Vwo per beoordelaar A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * 21

29 Tabel LUI5. Classificatie opgaven luisteren Frans Vwo per beoordelaar (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 ` Tabel LUI6. Classificatie opgaven luisteren Engels Vwo per beoordelaar (* = één beoordelaar) A1 A2 B1 B2 C1 C2 A1.1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2.2 * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 22

30 Tabel SPR9. Classificatie spreekproducten Duits Havo per beoordelaar (* = één beoordelaar) A1.1 A1 A2 B1 B2 C1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1.2 C2.1 C2 C2.2 Tabel SPR2. Classificatie spreekproducten Duits Vwo per beoordelaar (* = één beoordelaar) A1.1 A1 A1.2 A2.1 A2 A2.2 B1.1 B1 B1.2 B2.1 B2 B2.2 C1.1 C1 C1.2 C2.1 C2 C2.2 Tabel SPR3. Classificatie spreekproducten Frans Havo per beoordelaar (* = één beoordelaar) A1.1 A1 A2 B1 B2 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1 C1.2 C2.1 C2 C2.2 Tabel SPR4. Classificatie spreekproducten Frans Vwo per beoordelaar (* = één beoordelaar) A1.1 A1 A2 B1 B2 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 C1 C1.2 C2.1 C2 C2.2 23

31 Tabel SPR5. Classificatie spreekproducten Engels Havo per beoordelaar (* = één beoordelaar) A1.1 A1 A2 B1 B2 C1 A1.2 A2.1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 * * * * * * * * C1.2 C2.1 C2 C2.2 Tabel SPR6. Classificatie spreekproducten Engels Vwo (* = één beoordelaar) A1.1 A1 A1.2 A2.1 A2 B1 B2 C1 A2.2 B1.1 B1.2 B2.1 B2.2 C1.1 * * * * * * * * * * * * C1.2 C2.1 C2 C2.2 24

32 Bijlage 2: toelichting op beheersingsniveau van geclassificeerde opgaven (Zie tabel 3, beheersingsniveau lezen, p. 8 en tabel 5, beheersingsniveau luisteren, p. 11) De mate van beheersing van de verschillende opgaven in de examens kan worden nagegaan door gebruik te maken van Item Respons Theorie (IRT). Op grond van deze theorie is het mogelijk om op één en dezelfde schaal opgaven naar moeilijkheid te ordenen en de vaardigheidsverdeling van leerlingen aan te geven. Dus van de gemiddelde leerling, die ongeveer een 7 krijgt, kan de beheersing worden gegeven, maar ook van leerlingen met net een zesje of een acht. Voor het doel van de achtergrondstudie bleek een onderzoek naar beheersing van een gemiddelde kandidaat voldoende om aan te kunnen geven dat er geen systematisch onderscheid is tussen de moeilijkheid of beheersing van de opgaven op de verschillende onderwijsniveaus. In deze verantwoording beperken we ons dan ook tot een beschouwing voor een gemiddelde leerling. Voor de schatting van de moeilijkheid van de opgaven van de verschillende examens en de bepaling van de vaardigheidsverdelingen is OPLM gebruikt (One Parameter Logistic Model, handleiding en computerprogramma, Verhelst, Verstralen en Glas, 1995). Voor Engels en Frans lezen konden de opgaven voor Havo en Vwo op één schaal worden gezet evenals die voor Duits luisteren mavo-c en -D. We lichten de gevolgde classificatieprocedure toe aan de hand van de vaardigheidsschaal in figuur B 3.1. voor Engels lezen Havo en Vwo Op de verticale as staan de labels van de opgaven van het examen Engels lezen Vwo 2000 en het examen Havo Ze zijn per examen en niveau gerangschikt van makkelijk naar moeilijk. Het label van de opgave betreft het opgavenummer in het desbetreffende examen. Voor Vwo 2000 zijn er 12 opgaven waarvoor geen overeenstemming over het niveau werd bereikt, werd er één opgave als B1 geclassificeerd, 31 als B2 en zes als C1. Voor Havo 2000 was de indeling als volgt: over 10 opgaven bestond geen overeenstemming, 13 werden geclassificeerd als B1 en 22 als B2. De schaal is zo geconstrueerd dat de som van de moeilijkheidsparameters van de set gecalibreerde opgaven nul is. Deze normering is gebruikelijk bij OPLM schaling. Elke opgave is gekarakteriseerd door een lijnstuk, de linkerbegrenzing geeft aan hoe groot de vaardigheid moet zijn om een opgave met 50% kans goed te beantwoorden, de rechterbegrenzing geeft aan bij welke vaardigheid de kans op een goed antwoord 80% is. De lijnstukken zijn niet even lang. Hoe langer een lijnstuk, hoe slechter een opgave discrimineert tussen zeer en weinig vaardige leerlingen. Voor een opgave met een lange lijn is een grotere toename in vaardigheid nodig om van een 50% kans naar 80% kans op het goed maken van die opgave te komen dan voor een opgave met een kort lijnstuk. In de corresponderende balken onderaan staan de bijbehorende vaardigheidsverdelingen van Vwo en Havo: De verticale stippellijn geeft het gemiddelde (percentielpunt 50) aan, de overgangen van de grijze en dondergrijze blokjes geven de percentielpunten 10, 25, 75 en 90 in de vaardigheidsverdelingen aan. Percentiel punt 25 geeft aan dat 25% van de leerlingen een vaardigheid heeft die kleiner of gelijk is de waarde die bij dat punt hoort en 75% van de leerlingen een grotere vaardigheid heeft. Op deze manier kan zeer genuanceerd de prestatie van een groep leerlingen worden geëvalueerd. Niet alleen de prestatie van een gemiddelde leerling, maar ook van leerlingen met een lage vaardigheid, of juist een hoge vaardigheid. Zo kan ook de vaardigheid van een leerling met net een zes of een acht worden bepaald, en op geheel analoge wijze worden geëvalueerd. 25

33 Naarmate de vaardigheid toeneemt zal neemt de kans op een goed antwoord op een bepaalde opgave toenemen. Elke opgave is in de grafiek gekarakteriseerd door een lijnstuk, zoals hierboven aangegeven. Voor een bepaalde vaardigheid kan de kans op het goed maken voor elke opgave worden aangeven. De linker stippellijn in grafiek B. 3.1 geeft de vaardigheid van de gemiddelde Havo-leerlingen. De rechter stippellijn de vaardigheid van de gemiddelde Vwo leerling. Zo wordt de makkelijkste opgave (H ) van niveau B2 door de gemiddelde Havoleerling (de linker stippellijn) met meer dan 80% kans goed gemaakt. De vaardigheid van de gemiddelde Havo-leerling is zo groot dat die opgave vrijwel zeker goed wordt gemaakt. Bij de volgende opgaven in de rij wordt de kans op een goed antwoord steeds kleiner, de opgaven worden moeilijker. Bij opgave H is de kans op een goed antwoord van de gemiddelde Havo-leerling 50%. Hoe groot moet de kans eigenlijk zijn wil men nog van beheersing spreken? Velen zullen de kans ergens tussen de 50 en 80% goed leggen. In het basisonderwijs is het gebruikelijk de grens op 80% te leggen, in het voortgezet onderwijs eist men over het algemeen geen 80%. In dit onderzoek hebben we, enigszins willekeurig, gekozen voor 65%. Dit is ongeveer het midden van het lijnstuk. Bij opgave H is de kans op goed (ongeveer) 65%. Als de kans op goed minstens 65% is noemen we dit een goede beheersing, een kans tussen de 50 en 65% een matige beheersing en bij een kans van minder dan 50% op een goed antwoord gebruiken we de classificatie geen beheersing. De opgaven H tot en met H worden goed beheerst door de gemiddelde Havo-leerling. De opgaven H tot en met H matig en de opgaven H tot en met H worden door de gemiddelde Havo-leerling niet beheerst. Op deze wijze kunnen de geclassificeerde opgaven naar beheersingsniveau worden ingedeeld: Van de 22 opgaven B2 voor Havo 2000 worden er 11 goed beheerst, zes matig en vijf opgaven niet. Van de 13 opgaven op niveau B1 worden er negen goed beheerst, drie matig en één niet. Op bovenstaande wijze zijn alle geclassificeerde opgaven met behulp van de grafieken in deze bijlage ingedeeld naar beheersingniveau. 26