De koppeling van de Staatsexamens Nederlands als Tweede Taal Lezen en Luisteren aan het Europees Referentiekader voor Talen. Fase 1 Specificatie

Transcriptie

1 De koppeling van de Staatsexamens Nederlands als Tweede Taal Lezen en Luisteren aan het Europees Referentiekader voor Talen Fase 1 Specificatie Henk Kuijper Cito, Arnhem, november 2009

2 Stichting Cito Instituut voor Toetsontwikkeling Arnhem Auteursrecht voorbehouden. Niets uit deze uitgave mag zonder voorafgaande schriftelijke toestemming van Stichting Cito Instituut voor Toetsontwikkeling worden openbaar gemaakt en/of verveelvoudigd door middel van druk, fotokopie/fotografie, scanning, computersoftware of andere elektronische verveelvoudiging of openbaarmaking, microfilm, geluidskopie, film- of videokopie of op welke wijze dan ook. 2

3 Inhoud 1 Inleiding 4 2 Werkwijze Omschrijving van de specificatiefase De Dutch CEFR Grid voor Lezen en Luisteren De Staatsexamens NT2 8 3 Specificatie van de Leesexamens Inhoudelijke specificatie in relatie tot de schalen voor communicatieve taalactiviteiten en contextuele dimensies Beschrijving van de opgaven met de CEFR-schalen voor communicatieve taalactiviteiten Contextuele tekstdimensies: tekstbron, tekstsoort, onderwerp en domein Specificatie van leesteksten en leesopgaven in relatie tot de schalen voor communicatieve competentie De linguïstische en cognitieve complexiteit van de teksten De complexiteit van de taken De niveau-inschatting van leesteksten en leesopgaven Samenvatting Lezen 23 4 Specificatie van de Luisterexamens Inhoudelijke specificatie in relatie tot de schalen voor communicatieve taalactiviteiten en contextuele dimensies Beschrijving van de opgaven met de CEFR-schalen voor communicatieve taalactiviteiten Contextuele tekstdimensies: tekstbron, tekstsoort, onderwerp en domein Specificatie van luisterteksten en luisteropgaven in relatie tot de schalen voor communicatieve competentie De linguïstische en cognitieve complexiteit van de teksten Specifieke kenmerken luisterteksten: spreeksnelheid, uitspraak en articulatie De complexiteit van de taken De niveau-inschatting van luisterteksten en luisteropgaven Samenvatting Luisteren 37 5 Samenvatting 38 6 Referenties 40 Bijlage 1 De Dutch CEFR Grid voor Lezen 41 Bijlage 2 De Dutch CEFR Grid voor Luisteren 46 3

4 1 Inleiding In 2003 publiceerde de Raad van Europa een concept-manual voor het relateren van taalexamens aan het CEFR, hierna te noemen: Handleiding (Raad van Europa, 2003). In deze Handleiding worden verschillende methodes beschreven om de claim op een koppeling van een examen met het CEFR te onderbouwen. Deze Handleiding die door de Raad van Europa is gepubliceerd, heeft als doel om belanghebbenden mogelijke procedures aan de hand te doen waarmee men evidentie kan aanvoeren voor de relaties van een examen met het Common European Framework of Reference for Languages (CEFR). Tot dan toe legden toetsinstituten ieder op hun eigen wijze relaties tussen het CEFR en hun toetsen. Sommige van zulke onderzoeken zijn uitvoerig gedocumenteerd, andere minder uitvoerig. De onderlinge vergelijkbaarheid van de onderzoeken is problematisch door de verschillen in gevolgde methodes, waardoor de indruk kan ontstaan dat verschillende instituten verschillende concepties hebben van wat de CEFR-niveaus concreet inhouden en hoe deze te koppelen zijn aan niveaus van examens. De Handleiding biedt een mogelijkheid om deze problemen te verminderen en instituten in staat te stellen de relatie tussen hun examens en het CEFR op een transparantere wijze toe te lichten. In de Handleiding worden drie fases van koppeling onderscheiden: Specificatie: nagaan op welke illustratieve CEFR-schalen en descriptoren toetsen en examens betrekking hebben. Een eerste inschatting te geven op het niveau van de toetsen en examens. Standaardisatie: via een in de Handleiding omschreven procedure experts vragen om de examenopgaven te classificeren in termen van CEFR (er CEFR-niveaus aan te koppelen). Op basis daarvan kan worden bepaald welke score een kandidaat bij een bepaald examen zou moeten behalen om te kunnen zeggen dat hij/zij een bij dat examen relevant CEFR-niveau beheerst). Empirische validatie: psychometrische validering van de gegevens verzameld in de standaardisatieprocedure. In de eerste fase is de claim op koppeling aan het CEFR alleen gebaseerd op een inhoudelijke beschrijving. Deze fase (met varianten) is door een aantal instituten in Europa en daarbuiten gevolgd bij het relateren van hun examens aan het CEFR. Het Cito heeft deze procedure al eerder toegepast op de centrale examens leesvaardigheid van VMBO tot VWO voor zeven moderne vreemde talen. (Noijons e.a. 2006, 2007). Voor de Staatsexamens NT2 Lezen en Luisteren volgen we deze eerder door het Cito gehanteerde systematiek. De tweede fase standaardisatie leidt tot een versterkte claim op een koppeling, namelijk gebaseerd op basis van specificatie èn standaardisatie. Ook deze fase is door het Cito voor de centrale examens leesvaardigheid uitgevoerd. In de derde fase wordt nagegaan of de eerdere claims worden bevestigd door empirische validatie, waarin de relaties tussen verschillende examens binnen één systeem empirisch worden onderzocht en examens gerelateerd kunnen worden aan andere examens. Voor de Staatsexamens NT2 is reeds een onderzoek uitgevoerd naar de relatie tussen de vaardigheden Spreken en Schrijven en het CEFR. Uit dit onderzoek bleek dat voor beide vaardigheden Programma I correspondeert met CEFR-niveau B1 en Programma II met CEFR-niveau B2. Van dit onderzoek is verslag gedaan in Kuijper e.a. (2004a, 2004b, 2005a, 2005b) en Bechger e.a (2008). In dit verslag worden de activiteiten beschreven die betrekking hebben op de specificatiefase voor de Staatsexamens Luisteren en Lezen. In het volgende schema geven wij aan wat de onderlinge relatie is tussen de verschillende koppelingsfasen. Dit schema is gebaseerd op een schema in de Handleiding (Council of Europe, 2003, p. 129). Zoals men kan zien, is het idee dat iedere fase in het koppelingsproces de claim dat een examen is gekoppeld aan het CEFR, sterker kan onderbouwen. 4

5 Figuur 1-1 Stappenschema ten behoeve van het vergaren van evidentie voor koppeling van toetsen en examens aan het CEFR Fase 1 Specificatie van de inhoud van toetsen Interne validatie beschrijving en analyse van: globale inhoud toetsen proces van toetsontwikkeling beoordeling, cijfergeving, resultaten Externe validatie relateren van: algemene beschrijving van toetsen aan CEFR-schalen beschrijving van getoetste communicatieve activiteiten aan de CEFR-schalen beschrijving van aspecten van getoetste communicatieve taalcompetentie aan CEFRschalen Fase 2 Standaardisatie van oordelen Familiarisatie: training met gestandaardiseerde voorbeelden van productieve vaardigheden training met gestandaardiseerde voorbeelden van receptieve vaardigheden IJking van lokale voorbeelden van taaluitingen Fase 3 Empirische validatie door middel van data-analyse van toetsresultaten Interne validatie: Klassieke toetstheorie Methoden van kwalitatieve analyse Generaliseerbaardheidstheorie Factoranalyse Itemresponstheorie Externe validatie: het correleren aan resultaten op toetsen die al gekalibreerd zijn op het CEFR Standaardbepaling het correleren van beoordelingen aan CEFRdescriptoren het verankeren van toetsen aan toetsen die reeds gekalibreerd zijn op het CEFR het direct verankeren van toetsen aan de onderliggende CEFR-schaalwaarden van de descriptoren. Claim op koppeling aan CEFR op basis van specificatie Versterkte claim op koppeling aan CEFR op basis van specificatie EN standaardisatie Bevestiging van claim op koppeling aan CEFR op basis van empirische validatie Het resultaat van de in dit rapport beschreven specificatiefase vormt dus een eerste aanwijzing voor de CEFR-niveaus waarop de Staatsexamens NT2 Lezen en Luisteren zich bevinden. Deze aanwijzing zal moeten worden versterkt door het uitvoeren van een standaardsettingprocedure en een empirisch onderzoek naar de moeilijkheid van de examens Programma I en II. Voor een goed begrip van de status van de beschrijving in deze specificatie moet gewezen worden op het verschil van de examenbeschrijving in de toetsmatrijzen waarop de examens zijn gebaseerd en het oogmerk van de beschrijving aan de hand van de Dutch Grid. In de toetsmatrijzen wordt de inhoud van de examens nauwkeurig beschreven. De toetsmatrijs geeft richting aan de inhoud en is tevens een waarborg voor de inhoudelijke vergelijkbaarheid van de verschillende versies van hetzelfde examen. De Dutch Grid is een hulpmiddel om lees- en luisterexamens te omschrijven met een op het CEFR gebaseerd beschrijvingskader. Het doel van deze beschrijving is niet zozeer een volledige beschrijving van de examens te geven, maar veeleer om te onderzoeken of de inhoud van de examens in voldoende mate met het CEFR overeenkomen om een relatie te leggen tussen de examens en het CEFR en in een latere fase een standaardsetting uit te voeren. 5

6 2 Werkwijze 2.1 Omschrijving van de specificatiefase De eerste fase in het koppelingproces zoals beschreven in de Handleiding en uitgevoerd in dit koppelingsonderzoek betreft de specificatiefase. In de Handleiding staat beschreven wat specificatie in het koppelingsproces inhoudt: het beschrijven van de mate waarin een examen de categorieën en de niveaus van het CEFR bestrijkt. Deze inhoudelijke analyse van de examens bestaat in essentie uit een beschrijving van de examens aan de hand van de CEFR-schalen voor communicatieve taalactiviteiten en voor communicatieve taalcompetenties en van in het CEFR genoemde contextvariabelen. De specificatie van de examenteksten en -opgaven bestaat uit drie onderdelen. 1 Inhoudelijke en contextuele beschrijving van teksten In het eerste onderdeel van de specificatie ligt de nadruk op de inhoudelijke en contextuele aspecten van de teksten. In dit deel worden de teksten beschreven aan de hand van de CEFR-schalen voor communicatieve activiteiten van Lezen en Luisteren. Daarnaast zijn de teksten beschreven aan de hand van contextvariabelen uit het CEFR, zoals tekstbron, tekstsoort, communicatieve thema s en domein. Bij deze beschrijving is gebruik gemaakt van de toelichtende CEFR-schalen voor communicatieve taalactiviteiten uit het CEFR en beschrijvingsdimensies uit de Dutch CEFR Grid voor Lezen en Luisteren (zie paragraaf 2.2). 2 Cognitieve en linguïstische complexiteit van teksten en opgaven Het tweede deel van de specificatiefase bestaat uit een beschrijving van teksten en opgaven in relatie tot de schalen voor communicatieve taalcompetenties. Hiervoor hebben we gebruik gemaakt van een op het CEFR gebaseerd beschrijvingsmodel, de Dutch CEFR Grid Met de Dutch CEFR Grid is het mogelijk een nadere analyse uit te voeren van de linguïstische en cognitieve complexiteit van teksten en opgaven. 3 Niveaubepaling Tot slot van de specificatiefase wordt een eerste niveau-inschatting van de teksten en opgaven uitgevoerd. Deze niveau-inschatting is gebaseerd op de beschrijvingen van de Dutch CEFR Grid en kan gezien worden als een eerste aanwijzing, die later door standaardsetting zal moeten worden versterkt. De analyses zijn gebaseerd op de volgende examens: Examen Versie Aantal teksten Aantal opgaven Lezen I Examen januari Lezen II Examen maart Luisteren I Examen januari Luisteren II Examen maart totaal Gezien de procedures voor inhoudelijke en psychometrische stabiliteit van de Staatsexamens NT2 kunnen de resultaten als representatief beschouwd worden voor de andere examenversies. 2.2 De Dutch CEFR Grid voor Lezen en Luisteren In het CEFR worden onder meer de inhoudelijke aspecten en de niveaus van taaltaken omschreven. De taalontwikkeling van een lager naar een hoger niveau kan beschreven worden als een toenemende vaardigheid om steeds meer taaltaken bij tekstsoorten van een steeds hogere moeilijkheidsgraad uit te voeren. De vraag is in hoeverre de Staatsexamens NT2 voor de programma s I en II conform de verwachtingen teksten en opgaven bevatten die oplopen in moeilijkheidgraad. Om deze vraag te 6

7 kunnen beantwoorden is een CEFR-gerelateerd beschrijvingsmodel nodig waarmee de teksten en opgaven kunnen worden beschreven. Een onderzoek naar dergelijke aspecten voor zo n beschrijvingsmodel in het CEFR is uitgevoerd in het Dutch CEFR Grid-project (Alderson e.a, 2004 en 2006). In dit Europese project is het CEFR geanalyseerd op de mate waarin het duidelijke aanwijzingen en richtlijnen bevat voor de beschrijving en ontwikkeling van toetstaken Lezen en Luisteren op de verschillende CEFR-niveaus. Alderson e.a. (2004, pag. ii) concluderen dat het CEFR een bruikbaar instrument is, maar dat rechtstreekse richtlijnen voor toetsconstructie en beschrijving van toetsen op de verschillende niveaus niet zonder meer in het CEFR te vinden zijn. Zij constateren de volgende problemen die met name voor de toetsconstructie op grond van het CEFR gelden (Alderson e.a. 2006): 1. Terminologische problemen. 2. Omissies, wanneer een concept of kenmerk dat nodig is voor testspecificatie eenvoudigweg ontbreekt. 3. Inconsistenties, wanneer een kenmerk op het ene niveau wel en op een ander niveau niet wordt vermeld, waar een zelfde kenmerk voorkomt op twee verschillende niveaus, of wanneer op hetzelfde niveau een kenmerk in verschillende schalen verschillend wordt beschreven. 4. Het ontbreken van definities, wanneer termen worden gepresenteerd, maar niet gedefinieerd. (vert. Henk Kuijper) De problemen zijn er dus niet zozeer in gelegen dat beschrijvingscriteria in het CEFR helemaal ontbreken, maar meer in het feit dat er sprake is van een gebrek aan explicitering, systematiek, consistentie en precisie, aspecten die voor een beschrijvingsmodel en toetsconstructie onontbeerlijk zijn. Op basis van een analyse van het CEFR is er in het Dutch CEFR Grid-project een aan het CEFR gerelateerd beschrijvingsmodel ontwikkeld voor lees- en luisteropgaven en -teksten dat op een meer systematische manier de relevante dimensies van het CEFR probeert te beschrijven. Dit beschrijvingsmodel is web-based beschikbaar en toegankelijk via De Dutch CEFR Grid bevat beschrijvingsdimensies voor teksten en opgaven in lees- en luistertoetsen. De tekstdimensies kunnen onderverdeeld worden in een inhoudelijke categorie en in een categorie met betrekking tot cognitieve en linguïstische complexiteit. Tabel 2-2 geeft een overzicht van deze dimensies. Voor elke dimensie wordt in kolom 2 aangegeven of de beschrijvingssystematiek ervan rechtstreeks uit het CEFR komt, een bewerking van het CEFR is of uit een andere systematiek afkomstig is. Tabel 2-2 Beschrijvingsdimensies van de Dutch CEFR Grid voor Lezen en Luisteren Tekstdimensies Lezen Luisteren Inhoudelijk Bron Tekstbron rechtstreeks uit CEFR X X Tekstsoort DIALANG X X Domein rechtstreeks uit CEFR X X Onderwerp rechtstreeks uit CEFR X X Cognitieve en linguïstische complexiteit Abstractie niveau bewerkt obv CEFR X X Woordenschat bewerkt obv CEFR X X Grammaticale complexiteit bewerkt obv CEFR X X Tekstlengte bewerkt obv CEFR X X Spreektempo bewerkt obv CEFR X Aantal gespreksdeelnemers bewerkt obv CEFR X Uitspraak: Accent / standaardtaal bewerkt obv CEFR X Duidelijkheid articulatie bewerkt obv CEFR X CEFR-niveau-inschatting teksten rechtstreeks uit CEFR X X Leesopgave dimensies Vraagtype bewerkt obv CEFR X X Operaties bewerkt obv CEFR X X CEFR-niveau-inschatting opgaven in rechtstreeks uit CEFR combinatie met de teksten X X 7

8 In de handleiding van de Dutch CEFR Grid wordt aanbevolen elke tekst en opgave door meerdere personen en in onderlinge discussie uit te laten voeren. Wij hebben er om budgettaire redenen voor gekozen de examens door drie experts te laten beschrijven. Elk examen werd door twee van deze drie personen onafhankelijk van elkaar beoordeeld. De scores van deze twee experts werden vervolgens gesommeerd. De experts zijn werkzaam op het Cito en zijn ervaren toetsconstructeurs op het gebied van NT2. De specificatiefase heeft een beschrijvend karakter. De resultaten kunnen als indicatief beschouwd worden, en zullen in de volgende koppelingsfasen (standaardisatie en empirische validatie) bevestigd moeten worden. 2.3 De Staatsexamens NT2 Het Staatexamen NT2 is een examen Nederlands voor mensen met een andere moedertaal die op latere leeftijd Nederlands hebben geleerd. Zij kunnen met het Staatsexamen NT2 laten zien dat zij de Nederlands taal voldoende beheersen om in Nederland te kunnen werken of studeren. Het Staatsexamen NT2 kent programma s: Programma I en Programma II. Programma I is bedoeld voor mensen die een lagere functie op de arbeidmarkt willen vervullen of daarvoor een opleiding willen gaan volgen, bijvoorbeeld in een regionaal Opleidingscentrum (ROC). Programma II is bedoeld voor mensen die een midden- of hogere kaderfunctie willen gaan vervullen of daarvoor een opleiding willen gaan volgen aan een HBO of universiteit. Elk examenprogramma bestaat uit vier onderdelen: Lezen, Luisteren, Schrijven en Spreken. 8

9 3 Specificatie van de Leesexamens 3.1 Inhoudelijke specificatie in relatie tot de schalen voor communicatieve taalactiviteiten en contextuele dimensies Beschrijving van de opgaven met de CEFR-schalen voor communicatieve taalactiviteiten De Leesopgaven zijn beschreven aan de hand van de toelichtende schalen voor communicatieve taalactiviteiten voor Lezen). Het CEFR onderscheidt de volgende schalen voor Lezen: Correspondentie lezen Oriënterend lezen Lezen om informatie op te doen Instructies lezen Elk van deze schalen bevat descriptoren voor de verschillende niveaus. Twee experts gaven voor elke leesopgave aan bij welke schaal en welke descriptor hij hoorde. Per opgave mochten meerdere schalen en descriptoren gekozen worden. Allereerst werd(en) de meest toepasselijk scha(a)l(en) gekozen. Vervolgens is bepaald op welke descriptor(en) de leesopgave vooral betrekking heeft. De toekenning van descriptoren aan opgaven is door twee experts onafhankelijk van elkaar uitgevoerd. Het bleek dat het moeilijk, zo niet onmogelijk is elke opgave aan een afzonderlijke descriptor toe te wijzen. Dit heeft ermee te maken dat de afzonderlijke descriptoren van de schalen een sterk voorbeeldmatig karakter hebben, wat overigens ook uit de in het CEFR gehanteerde term illustrative scales ( toelichtende schalen) valt op te maken. Toekenning van een vraag aan een specifieke descriptor leidde tot zoveel discussie, dat wij volstaan hebben met het onderbrengen van opgaven in één of meerdere illustratieve schalen. In navolging van eerdere ervaringen (Noijons, 2006) wijzen we op de volgende problemen bij het toekennen van opgaven aan de leesschalen van het CEFR: - De vier globale descriptoren vallen in twee verschillende categorieën uiteen: het lezen van instructies en het lezen van correspondentie hebben betrekking op de tekstsoort van de leesteksten, terwijl lezen om informatie op te doen en oriënterend lezen betrekking hebben op het leesdoel. Dit is een cruciaal probleem bij een valide indeling. - wanneer men constateert dat het lezen van correspondentie weinig voorkomt, hoeft dit niet te betekenen dat de vaardigheden, beschreven in de gedetailleerde descriptoren onder correspondentie lezen, niet in het examen vertegenwoordigd zijn. Zowel bij correspondentie lezen als bij lezen om informatie op te doen moeten kandidaten in staat zijn hoofdzaken en detailinformatie uit teksten te begrijpen. Het is aannemelijk dat wanneer een kandidaat over deze vaardigheid beschikt bij het lezen van een tijdschriftartikel zoals genoemd bij lezen om informatie op te doen hij of zij deze vaardigheid ook heeft bij het lezen van een correspondentietekst. Het verschil ligt dus niet in de leesvaardigheid, maar in de tekstsoort. - De gedetailleerde descriptoren zijn soms zo algemeen geformuleerd, dat zij op alle opgaven in een examen betrekking kunnen hebben. Zie bijvoorbeeld op A2 niveau, de descriptor kan korte beschrijvende teksten over vertrouwde onderwerpen begrijpen. Figuur 3-1 en 3-2 laten zien hoe de leesopgaven van Programma I en II zich verhouden tot de illustratieve CEFR-schalen. 9

10 Figuur 3-1 en 3-2 Verdeling van de examenopgaven Lezen Programma I en II over illustratieve schalen voor communicatieve taalvaardigheden Lezen I Lezen II instructies lezen 21% correspondentie lezen 0% orienterend lezen 30% correspondentie lezen 0% instructies lezen 18% orienterend lezen 0% informatie en argumentatie 49% informatie en argumentatie 82% Zowel voor Programma I als voor Programma II heeft lezen voor informatie en argumentatie de overhand. Programma I en II bevatten tevens opgaven met betrekking tot het lezen van instructies (21%) en 30 % van de opgaven van Programma I heeft betrekking op oriënterend lezen Contextuele tekstdimensies: tekstbron, tekstsoort, onderwerp en domein Het CEFR bevat een aantal contextuele dimensies om teksten te beschrijven. Deze dimensies zijn opgenomen in de Dutch CEFR Grid. In de Dutch CEFR Grid worden de volgende contextuele tekstdimensies gebruikt: tekstbron, tekstsoort, communicatiethema s en domein. Tekstbron, communicatiethema s en domein zijn direct aan het CEFR ontleend (resp. p. 49, en 45) en kunnen worden beschouwd als generieke dimensies over alle niveaus heen. Tekstsoort is een indeling afkomstig uit DIALANG en is te beschouwen als een generalisatie van de minder systematische beschrijving van deze dimensie in het CEFR. Deze dimensies kunnen gebruikt worden om de variatie van teksten en onderwerpen in examens te beschrijven en te reguleren, afhankelijk van het doel en de functie van de examens. De teksten zijn door 2 experts onafhankelijk van elkaar beoordeeld. Vervolgens zijn de beoordelingen gesommeerd. Tekstbron Het CEFR vermeldt de volgende tekstbronnen. Persoonlijk Teletekst Garantieformulier Recept Instructiemateriaal Roman Tijdschrift Krant Junk mail Brochures Persoonlijke brief Beroepsmatig Zakenbrief Rapport, memorandum Veiligheidsinstructies Instructiemateriaal Regels Publiek Aankondigingen en berichten Labels Pamfletten, graffiti Tickets, dienstregelingen Regelgeving Programma s Contracten Menu s Gewijde teksten Onderwijs en opleiding Authentieke teksten Schoolboeken Naslagwerken Tekst op schoolbord Tekst op sheet 10

11 Reclamemateriaal Etiketten e.d. Beroepsomschrijving Richtingaanwijzingen Visitekaartjes Tekst op computerscherm Videotekst Oefentekst Oefenmateriaal Artikelen uit tijdschriften Uittreksels Woordenboeken Van alle leesteksten van Programma I en II is aangegeven bij welke van deze tekstbronnen ze horen. Figuur 3-3 geeft weer welke tekstbronnen ten grondslag liggen aan de teksten voor beide examens. Figuur 3-3 Tekstbron van de leesteksten in Programma I en II in percentages uittreksels reclamemateriaal brochures computerschermteksten contracten instructiemateriaal kranten tijdschriften aankondigingen en berichten regelingen schoolboeken 0 Lezen I Lezen II Beide examens bevatten een variatie van de in het CEFR genoemde teksten. Tekstsoort In de leesschalen van het CEFR treffen we (hoewel impliciet) vanaf de lagere naar hogere niveaus een verschuiving aan van meer feitelijke tekstsoorten naar meer beschouwende en argumentatieve tekstsoorten. Figuur 3.4 geeft het resultaat van deze indeling weer voor de leesteksten voor Programma I en II. Figuur 3-4 Tekstsoorten van de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% 30% instructief argumantatief beschouwend verhalend beschrijvend 20% 10% 0% lezen I lezen II De teksten voor Programma I werden voornamelijk beoordeeld als beschrijvend en instructief. Programma II bevat meer beschouwende en argumentatieve teksten. Het voorkomen van verhalende teksten, kan wellicht vragen oproepen. Onder verhalende teksten vallen echter in de Dutch CEFR Grid 11

12 naast verhalen en anekdotes ook meer zakelijke teksten als reportages en verslagen van een gebeurtenis (zie Bijlage 1). Onderwerp: communicatiethema s Het CEFR (pag.52) bevat de volgende lijst van communicatiethema s. 1 Persoonlijke identificatie 2 Huiselijke en directe omgeving 3 Dagelijks leven 4 Vrije tijd en ontspanning 5 Reizen 6 Relaties met anderen 7 Gezondheid en lichaamsverzorging 8 Onderwijs en opleiding 9 Winkelen 10 Eten en drinken 11 Diensten 12 Plaatsen 13 Taal 14 Weer Evenals bij het CEFR-overzicht voor tekstbron pretendeert het CEFR niet dat deze lijst volledig en definitief is. Evenmin zijn de categorieën wederzijds uitsluitend of voorschrijvend. Figuur 3-5 geeft een overzicht van de mate waarin deze communicatiethema s in de leesexamens van Programma I en II voorkomen. Figuur 3-5 Communicatiethema s van de leesteksten in Programma I en II in percentages 60,0 50,0 40,0 30,0 20,0 dagelijks leven onderwijs gezondheid en lichaamsverzorging taal werk 10,0 0,0 lezen I lezen II De leesteksten concentreren zich vooral op de communicatiethema s werk en onderwijs, wat gezien de doelstellingen van de examens begrijpelijk is. Domeinen Het CEFR (p. 45) bevat vier domeinen: persoonlijk publiek professioneel educatief Uit figuur 3-6 blijkt dat het overgrote deel van de leesopgaven in overeenstemming met de functie van de examens betrekking heeft op de domeinen professioneel en educatief. 12

13 Figuur 3-6 CEFR-domeinen van de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% professioneel educatief publiek persoonlijk 30% 20% 10% 0% lezen I lezen II 3.2 Specificatie van leesteksten en leesopgaven in relatie tot de schalen voor communicatieve competentie De niveaus in het CEFR vertegenwoordigen een steeds grotere mate van taalvaardigheid. Taalleerders kunnen, naarmate hun niveau stijgt, met steeds meer tekstsoorten in steeds meer domeinen en situaties omgaan. Tevens groeit hun vaardigheid om met toenemende precisie met linguïstisch en cognitief steeds moeilijker teksten uit de voeten te kunnen. Dit aspect van de taalvaardigheid wordt met name beschreven in de schalen voor communicatieve competenties op pagina van het CEFR en daarbinnen met name in de schalen voor communicatieve linguïstische competentie op pagina De linguïstische en cognitieve complexiteit van de teksten In deze paragraaf wordt een overzicht gegeven van de linguïstische en cognitieve complexiteit van de examenteksten aan de hand van de mate van abstractie, het woordgebruik en de grammaticale complexiteit van de teksten. Zie voor de uitwerking van deze dimensies bijlage 1. Mate van abstractie van de teksten Wanneer men de omschrijvingen van de CEFR-niveaus in ogenschouw neemt kan men hieruit opmaken dat de mate van abstractie van teksten toeneemt van niveau A1 tot niveau C2. Willen de leesexamens van Programma I en II deze opbouw in het CEFR reflecteren, dan mag men verwachten dat de teksten van Programma II wat abstracter van inhoud zijn dan die van Programma I. Figuur 3-7 geeft een indicatie van de mate van abstractie van de teksten in de leesexamens Programma I en II. 13

14 Figuur 3-7 Mate van abstractie van de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% 30% Voornamelijk abstract Tamelijk abstract Voornamelijk concreet Alleen concreet 20% 10% 0% lezen I lezen II De leesteksten voor Programma I worden beoordeeld als concreter van inhoud, dan die van Programma II. Wanneer we aan de mate van abstractie de volgende waarden toekennen, kunnen we een abstractiescore berekenen voor Programma I en II. Figuur 3-8 geeft deze abstractiescores weer voor beide programma s. Alleen concreet 1 Voornamelijk concreet 2 Tamelijk abstract 3 Voornamelijk abstract 4 Figuur 3-8 Abstractiescores van de leesteksten in Programma I en II 4,0 3,5 3,0 2,5 2,0 1,5 1,0 Lezen I Lezen II De leesteksten van Programma I en II verschillen in mate van abstractie. Dit is in overeenstemming met de functie van beide examens. Hoewel we hiermee beide programma s met elkaar kunnen vergelijken, geeft deze vergelijking geen informatie over de relatie van deze maat met de CEFRniveaus. Gezien de omschrijvingen van de niveaus in het CEFR is te verwachten dat met het stijgen van de niveaus de teksten een hogere mate van abstractie zullen vertonen, maar welke mate van abstractie bij welk niveau hoort, is uit het CEFR niet eenduidig te destilleren. We kunnen echter wel een vergelijking maken met eerder uigevoerd onderzoek, dat door het Cito is uitgevoerd op de Centrale examens Leesvaardigheid moderne vreemde talen in het voortgezet onderwijs (Noijons e.a., 2006, 2007). In dit onderzoek zijn de examenteksten voor zeven talen van VMBO-BB tot VWO op dezelfde wijze beschreven als in het onderhavige onderzoek. Vervolgens is de mate van abstractie gerelateerd aan de niveautoekenning van de leesteksten. Deze gegevens zijn vermeld in tabel 3.1. Men kan constateren dat hoewel er voor alle talen een relatie is tussen mate van abstractie en 14

15 toegekend CEFR-niveau, deze relatie tussen mate van abstractie en CEFR-niveau per taal verschilt. Wanneer we de gegevens uit tabel 3.1 vergelijken met die van de leesteksten van het Staatsexamen NT2, Programma I en II, zien we dat de mate van abstractie van de Staatsexamens Lezen Programma I en II vallen binnen de range van de scores voor respectievelijk B1 en B2 in dit laatste onderzoek (Noijons e.a, 2007). Tabel 3.1 Abstractiescores voor teksten op diverse CEFR-niveaus uit de centrale examens leesvaardigheid in het voortgezet onderwijs. Engels Duits Spaans Russisch Arabisch Turks gem. A1 1,3 1,4 1,0 1 1,0 1,1 A1/A2 1,0 1,0 1,0 1 1,3 1,1 A2 1,4 1,6 1,2 1,03 2,0 1,4 A2/B1 1,9 1,5 1,7 2,2 1,67 2,0 1,8 B1 1,9 2,0 1,8 2,1 1,92 2,1 2,0 B1/B2 2,7 2,1 2,0 2,4 2,5 2,4 2,4 B2 3,0 2,8 2,2 2,3 3 2,2 2,6 B2/C1 3,7 2,5 2,8 3,0 Woordgebruik Volgens het CEFR worden leesteksten, naarmate het CEFR-niveau hoger wordt, gekenmerkt door een steeds uitgebreider vocabulaire. Willen de Staatsexamens NT2 deze opbouw in het CEFR reflecteren, dan moet deze tendens zich dus ook in deze examens voordoen. Figuur 3-9 geeft de aard van de woordenschat in de teksten weer. Figuur 3-9 Woordgebruik in de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% uitgebreid vocabulair tamelijk uitgebreid vocabulair voornamelijk frequent vocabulair alleen frequent vocabulair 30% 20% 10% 0% lezen I lezen II De teksten van Programma I bevatten vooral een voornamelijk frequent en tamelijk uitgebreid woordgebruik, terwijl de teksten voor Programma II een tamelijk uitgebreid en uitgebreid woordgebruik hebben. Wanneer we aan het woordgebruik de volgende waarden toekennen aan, kunnen we een woordenschatscore berekenen voor Programma I en II. Alleen frequent vocabulaire 1 Voornamelijk frequent vocabulaire 2 Tamelijk uitgebreid vocabulaire 3 Uitgebreid vocabulaire 4 Figuur 3-10 geeft deze woordenschatscores weer voor beide programma s. 15

16 Figuur 3-10 Woordgebruikscores van de leesteksten in Programma I en II 4,0 3,5 3,0 2,5 2,0 1,5 1,0 Lezen I Lezen II De Staatsexamens NT2 blijken de tendens in het CEFR te weerspiegelen. De leesteksten van Programma I en II verschillen in uitgebreidheid van het woordgebruik. Ook in dit geval kunnen we deze gegevens vergelijken met een vergelijkbare analyse van leesteksten uit de Centrale Examens leesvaardigheid in het voortgezet onderwijs (Noijons e.a, 2007). We zien dat de woordgebruikscores van de Staatsexamens Lezen Programma I (2,5) ligt binnen de scoreranges voor B1 van de moderne vreemde talen. Het woordgebruik van Programma II ligt met 3,4 iets boven de score voor Engels B2 in dit laatste onderzoek. Tabel 3.2 woordgebruikscores voor teksten op diverse CEFR-niveaus uit de centrale examens leesvaardigheid in het voortgezet onderwijs. Engels Duits Spaans Russisch Arabisch Turks gem. A1 1,9 1,6 1,0 1 1,0 1,3 A1/A2 2,0 2,0 1,8 1 1,3 1,6 A2 1,8 2,0 1,5 1,13 2,0 1,7 A2/B1 2,1 2,0 1,5 2,5 1,9 2,0 2,0 B1 2,3 2,0 1,9 2,7 2,3 2,1 2,2 B1/B2 3,0 2,5 1,9 3,1 2,5 2,2 2,5 B2 3,3 3,1 2,5 2,6 2,71 2,2 2,7 B2/C1 3,9 2,5 2,5 3,0 Grammaticale complexiteit Het CEFR veronderstelt een toename van de grammaticale complexiteit van de leesteksten naarmate het CEFR-niveau hoger wordt. Figuur 3-11 geeft de grammaticale complexiteit van de leesteksten in de leesexamens van Programma I en II weer. 16

17 Figuur 3-11 Grammaticale complexiteit van de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% 30% ruime mate van complexe structuren beperkte mate van complexe stucturen voornamelijk eenvoudige structuren alleen eenvoudige structuren 20% 10% 0% lezen I lezen II Het blijkt dat de in het CEFR verwachte tendens in de Staatsexamens wordt teruggevonden. Het leesexamen van Programma I bevat vooral teksten met voornamelijk eenvoudige structuren en teksten met een beperkt aantal complexe structuren. Het leesexamen van Programma II bevat teksten met een beperkte mate van complexe structuren en teksten met een ruime mate van complexe structuren. Wanneer we de aan de mate van grammaticale complexiteit de volgende waarden toekennen, kunnen we een grammaticascore berekenen voor de examenprogramma I en II. Alleen eenvoudige structuren 1 Voornamelijk eenvoudige structuren 2 Beperkte mate complexe structuren 3 Ruime mate complexe structuren 4 Figuur 3-12 geeft deze grammaticascores weer voor de leesexamens Programma I en II. Figuur 3-12 Grammaticascores van de leesteksten in Programma I en II 4,0 3,5 3,0 2,5 2,0 1,5 1,0 Lezen I Lezen II De examens blijken het CEFR te weerspiegelen. De grammaticale complexiteit van de leesteksten neemt toe van Programma I naar Programma II. Deze toename is vergelijkbaar met de tendens in de Centrale Examens leesvaardigheid in het voortgezet onderwijs (Noijons e.a, 2007). Het Staatsexamen Lezen Programma I valt met een grammaticascore van 2,6 binnen de range van de B1-scores van de leesteksten uit de centrale examens leesvaardigheid in dit laatste onderzoek. De grammaticale complexiteit van de leesteksten in Programma II (iets onder de 3,5) is hoger dan de B-2score bij Engels. 17

18 Tabel 3.3 Grammaticascores voor teksten op diverse CEFR-niveaus uit de centrale examens leesvaardigheid in het voortgezet onderwijs. Engels Duits Spaans Russisch Arabisch Turks gem. A1 1,3 1,6 1,0 1,0 1,0 1,2 A1/A2 1,0 2,0 1,8 1,0 1,3 1,4 A2 1,7 2,0 1,6 1,0 2,1 1,7 A2/B1 2,0 2,0 1,7 2,6 1,7 2,0 2,0 B1 2,5 2,0 2,2 2,6 2,7 2,1 2,4 B1/B2 3,0 3,0 2,0 3,1 3,0 2,1 2,7 B2 3,1 3,0 2,4 2,7 3,0 2,2 2,7 B2/C1 3,9 2,0 2,5 2, De complexiteit van de taken Uit de vorige paragraaf blijkt dat de toename van linguïstische en cognitieve complexiteit in de schalen voor communicatieve competentie van het CEFR in de Staatsexamens NT2 Lezen wordt gereflecteerd door de cognitieve en linguïstische kenmerken van de examenteksten. Maar ook de taken die lezers bij een tekst moeten uitvoeren lopen volgens het CEFR en de Taalprofielen op in complexiteit. De Dutch CEFR Grid geeft ook hiervoor een beschrijvingskader dat gebaseerd is op het CEFR. De leesopgaven kunnen daarmee beschreven worden volgens de dimensies vraagtype en operaties. Omdat alle vragen meerkeuzevragen zijn, wordt alleen ingegaan op de operaties. Operaties Het CEFR veronderstelt dat een lezer, naarmate hij een hoger CEFR-niveau beheerst, een uitgebreider repertoire aan leesoperaties moet kunnen uitvoeren. Het beschrijvingskader van de Dutch CEFR Grid voor de leesoperaties bevat drie dimensies: De taakdimensie onderscheidt drie soorten operaties: herkennen, het maken van inferenties en evalueren De expliciteitsdimensie beschrijft of de informatie waarnaar gevraagd wordt expliciet of impliciet in de tekst is terug te vinden De inhoudsdimensie beschrijft waarnaar in de opgave wordt gevraagd. Hieronder wordt de uitwerking van deze dimensies in de Dutch CEFR Grid weergegeven. Deze drie dimensies zijn onafhankelijk van elkaar en kunnen in alle combinaties voorkomen. Taakdimensie Expliciteitsdimensie Inhoudsdimensie Herkennen Inferenties maken Evalueren Expliciet Impliciet Hoofdzaken / grote lijnen Details Opinie Houding van de schrijver Conclusies Communicatieve doel Tekststructuur / relaties tussen tekstdelen In deze paragraaf worden de opgaven in de leesexamens van Programma I en II aan de hand van deze taakdimensies beschreven. 18

19 Taakdimensie Uit de schalen in het CEFR valt op te maken dat, naarmate het CEFR-niveau hoger wordt, er een toename is van leesopgaven die gericht zijn op het maken van inferenties en evaluaties op grond van de tekst en een afname van opgaven die directe herkenning van informatie beogen te meten. Figuur 3-13 geeft een overzicht van deze taakdimensie van de examenopgaven. Figuur 3-13 Taakdimensies in de leesteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% evalueren inferenties maken herkennen 30% 20% 10% 0% Lezen I Lezen II De tendens in het CEFR is enigszins in de leesexamens is terug te vinden. Programma II bevat meer vragen die gericht zijn op het maken van inferenties en het evalueren dan Programma I. De expliciteitsdimensie Figuur 3-14 geeft weer in hoeverre de leesopgaven betrekking hebben op expliciete of impliciete informatie. Figuur 3-14 Aard van de informatie waar leesopgaven Programma I en II betrekking op hebben in percentages 100% 90% 80% 70% 60% 50% 40% implicit explicit 30% 20% 10% 0% Lezen I Lezen II Voor beide leesexamens geldt dat de informatie vooral expliciet in te tekst te vinden is. Inhoudsdimensie De inhoud waarop leesopgaven betrekking hebben wordt in het CEFR voor de diverse niveaus beschreven. Hoewel het CEFR dergelijke inhoudelijke beschrijvingen bevat, zijn ze niet consistent en is een duidelijke relatie met de niveaus niet op voorhand te leggen. Er is wel sprake van een impliciete 19

20 relatie, doordat in de descriptoren deze inhoudelijke beschrijving vaak (maar niet altijd) gekoppeld wordt aan termen die duiden op de eenvoud of complexiteit van de te lezen teksten. De enige duidelijke doch impliciete veronderstelling van het CEFR is dat naarmate het niveau hoger wordt de variëteit van wat iemand uit een tekst moet begrijpen groter wordt en dat de teksten linguïstisch en cognitief complexer worden. Figuur 3-15 geeft een beschrijving van de inhoud van de operaties van de leesopgaven voor Programma I en II. Figuur 3-15 Inhoud van de operaties waar leesopgaven Programma I en II betrekking op hebben in percentages 100% 80% 60% 40% tekststructuur communicatief doel conclusies houding van de schrijver mening detail hoofdgedachte 20% 0% Lezen I Lezen II We zien van examen Programma I naar Programma II een toename van de diversiteit van de inhoud van de operaties, hetgeen overeenkomt met de impliciete strekking van de niveaubeschrijvingen in het CEFR. 3.3 De niveau-inschatting van leesteksten en leesopgaven In de vorige paragrafen is een beschrijving gegeven van de contextuele kenmerken en de complexiteit van de leesopgaven en -teksten. Met name de laatste dimensies toonden een verschil aan tussen Lezen I en Lezen II. In deze specificatiefase is aan de experts ook gevraagd het CEFR-niveau van teksten en opgaven in te schatten. De vraag naar de inschatting van het niveau van de teksten wordt in de Dutch Grid als volgt geformuleerd: De tekst is begrijpelijk voor een leerder op CEFR-niveau.. Voor de inschatting van de opgaven gebruikt de Dutch CEFR Grid de volgende formulering: Het geschatte CEFR niveau is.. Een expert kan uit de volgende schattingen kiezen: A1; A1A2; A2; A2/B1; B1; B1/B2; B2; B2/C1; C1; C1/C2; C2. Figuur 3.16 geeft de inschatting van de niveaus van de Staatsexamens Lezen I en II weer. 20

21 CEFR- niveau van de teksten Figuur 3.16 geeft weer aan welke niveaus de leesteksten zijn toegewezen. Figuur 3-16 Niveau van de leesteksten Programma I en II in percentages 70,0 60,0 50,0 40,0 30,0 B1 B1/B2 B2 B2/C1 20,0 10,0 0,0 lezen I lezen II De gemiddelde inschatting van het niveau van de leesteksten en de standaarddeviatie worden weergegeven in figuur Hiervoor zijn aan de niveaus A1 t/m C2 de waarden van respectievelijk 1 t/m 6 gegeven. Figuur 3-17 Niveau-inschatting van de leesteksten Programma I en II. Gemiddelden en standaarddeviaties Lezen I Lezen II De teksten van Lezen I hebben een gemiddeld niveau van 3,18 en een standaarddeviatie van 0,25, die van Lezen II respectievelijk 3,88 en 0,34. De Staatsexamens Lezen Programma I en II lijken wat betreft de teksten te liggen op respectievelijk niveaubereik B1 en B2. CEFR-niveau van de opgaven De experts is ook gevraagd voor elke leesopgave een niveau-inschatting te maken. De resultaten daarvan staan in figuur

22 Figuur 3-18 Niveau van de leesopgaven Programma I en II in percentages 90,0 80,0 70,0 60,0 50,0 40,0 30,0 A2 A2/B1 B1 B1/B2 B2 B2/C1 20,0 10,0 0,0 lezen I lezen II De inschatting van de opgaven door de experts wijst erop dat Programma I opgaven bevat die vooral in het B1-bereik liggen, terwijl de opgaven van Programma II vooral in het niveaubereik B2 liggen. De gemiddelde inschatting van het niveau van de leesopgaven en de standaarddeviatie worden weergegeven in figuur Hiervoor zijn aan de niveaus A1 t/m C2 de waarden 1 t/m 6 gegeven. Figuur 3-19 Niveau-inschatting van de leesopgaven Programma I en II. Gemiddelden en standaarddeviaties lezen I lezen II De leesopgaven van Programma I hebben een gemiddeld niveau van 2,99 en een standaarddeviatie van 0,22, die van Programma II respectievelijk 3,84 en 0,33. De beoordeling van de teksten en opgaven komen met elkaar overeen: Lezen I en Lezen II liggen op basis van de specificatiefase op respectievelijk het B1 en B2 niveaubereik. Men dient wel in aanmerking te nemen dat het hier slechts een eerste inschatting is die door twee experts is uitgevoerd. De experts weken nooit meer dan 0,5 niveau van elkaar af bij de niveauinschatting van teksten en opgaven. Een zorgvuldig uitgevoerde standaardbepaling zal moeten worden uitgevoerd om deze conclusie te bevestigen en de niveauclaim te versterken. 22

23 3.4 Samenvatting Lezen In deze specificatiefase zijn de teksten en opgaven van de Staatsexamens Lezen Programma I en II beschreven aan de hand van aan het CEFR gerelateerde beschrijvingsdimensies. Deze beschrijvingen bestonden uit 3 onderdelen: Inhoudelijke en contextuele beschrijving van teksten Cognitieve en linguïstische complexiteit van teksten en opgaven Niveaubepaling van teksten en opgaven Om met het laatste te beginnen, de niveaubepaling, uitgevoerd door 2 onafhankelijke experts, wees uit dat de leesteksten en -opgaven van Programma I en II zich respectievelijk in het B1 en B2-gebied van het CEFR bevinden. Deze niveaubepaling wordt ondersteund door het feit dat de cognitieve en grammaticale complexiteit van de teksten en de complexiteit van het woordgebruik in de teksten toenemen van Programma I naar Programma II. Verder zijn de waarden van deze complexiteitsindicatoren van teksten vergelijkbaar met de gevonden waarden voor B1 en B2 in eerder uitgevoerd onderzoek naar de relatie tussen de centrale examens leesvaardigheid moderne vreemde talen (Noijons e.a., 2006, 2007). Programma II bevat meer beschouwende en argumentatieve teksten dan Programma I. Wat betreft de inhoudelijke en contextuele aspecten blijkt dat de Staatsexamens NT2 Lezen vooral betrekking hebben op de professionele en educatieve domeinen (werk en onderwijs) en onderwerpen, hetgeen in overeenstemming is met de functie van het Staatsexamen NT2. Het examen Programma II bevat relatief meer vragen die te maken hebben met het maken van inferenties dan Programma I, terwijl ook de inhoud van de operaties gevarieerder is. Het is belangrijk in het oog te houden dat de Dutch CEFR-Grid een beschrijvingskader is waarmee een examen beschreven wordt in termen van het CEFR. De categorieën van de Dutch Grid zijn ontleend aan het CEFR en niet altijd eenduidig interpreteerbaar (zie ook bijlage 1). Het doel van deze beschrijving is niet zozeer een volledige beschrijving van de examens te geven, maar veeleer om te onderzoeken of de inhoud van de examens in voldoende mate met het CEFR overeenkomen om een relatie te leggen tussen de examens en het CEFR en in een latere fase een standaardsetting uit te voeren. Dit blijkt voor de Staatsexamens het geval te zijn. De niveau-inschattingen B1 en B2 voor respectievelijk Programma I en II zijn een eerste indicatie, gebaseerd op de specificatiefase. Deze inschatting zal bevestigd moeten worden door een standaardsetingprocedure, hetgeen kan leiden tot een sterkere claim dan alleen op basis van de specificatiefase. 23

24 4 Specificatie van de Luisterexamens 4.1 Inhoudelijke specificatie in relatie tot de schalen voor communicatieve taalactiviteiten en contextuele dimensies Beschrijving van de opgaven met de CEFR-schalen voor communicatieve taalactiviteiten De luisteropgaven zijn beschreven aan de hand van de toelichtende CEFR-schalen voor communicatieve taalactiviteiten Luisteren. Het CEFR onderscheidt de volgende schalen voor Luisteren: Gesprekken tussen moedertaalsprekers begrijpen Luisteren als lid van het aanwezige publiek Luisteren naar mededelingen en instructies Luisteren naar geluidsmedia en opnamen Elk van deze schalen bevat descriptoren voor de verschillende niveaus. Twee experts gaven voor elke luisteropgave aan bij welke schaal en welke descriptor hij hoorde. Per opgave mochten meerdere schalen en descriptoren gekozen worden. Allereerst werd(en) de meest toepasselijk scha(a)l(en) gekozen. Vervolgens is bepaald op welke descriptor(en) de luisteropgave vooral betrekking heeft. De toekenning van descriptoren aan opgaven is door twee experts in onderling overleg uitgevoerd. Zoals in paragraaf is beschreven, was het moeilijk, zo niet onmogelijk om elke opgave aan een afzonderlijke descriptor toe te wijzen. Daarom is ook bij Luisteren volstaan met het onderbrengen van opgaven in één of meerdere illustratieve schalen. Figuur 4-1 en 4-2 laten zien hoe de luisteropgaven van Programma I en II zich verhouden tot de illustratieve CEFR-schalen. Figuur 4-1 en 4.2 Verdeling van de examenopgaven Luisteren Programma I en II over illustratieve schalen voor communicatieve taalvaardigheden Luisteren I Luisteren II Luisteren naar geluidsmedia en - opnamen Luisteren naar mededelingen en instructies Gesprekken tussen moedertaalsprekers begrijpen Luisteren als lid van het aanwezige publiek Luisteren naar geluidsmedia en - opnamen 32% Luisteren naar mededelingen en instructies 36% Gesprekken tussen moedertaalsprekers begrijpen 32% Luisteren als lid van het aanwezige publiek 0% Uit de toedeling van de opgaven aan één of meer illustratieve CEFR-schalen blijkt dat elk van de 4 schalen wel in het Staatsexamen Luisteren I vertegenwoordigd is. Voor Luisteren Programma II geldt dat 3 van de 4 schalen vertegenwoordigd zijn Contextuele tekstdimensies: tekstbron, tekstsoort, onderwerp en domein Het CEFR bevat een aantal contextuele dimensies om teksten te beschrijven. Deze dimensies zijn opgenomen in de Dutch CEFR Grid. In de Dutch CEFR Grid worden de volgende contextuele tekstdimensies gebruikt: tekstbron, tekstsoort, communicatiethema s en domein. Tekstbron, communicatiethema s en domein zijn direct aan het CEFR ontleend (resp. p. 49, en 45) en kunnen worden beschouwd als generieke dimensies over alle niveaus heen. Tekstsoort is een 24

25 indeling afkomstig uit DIALANG en is te beschouwen als een generalisatie van de minder systematische beschrijving van deze dimensie in het CEFR. Deze dimensies kunnen gebruikt worden om de variatie van teksten en onderwerpen in examens te beschrijven en te reguleren, afhankelijk van het doel en de functie van de examens. De teksten zijn door 2 experts onafhankelijk van elkaar beoordeeld. Vervolgens zijn de beoordelingen gesommeerd. Tekstbron De Dutch CEFR Grid onderscheidt voor Luisteren de volgende tekstbronnen, ontleend aan het CEFR. interpersoonlijke dialogen en conversaties interviews (live en in de media) liedjes en gedichten nieuwsuitzendingen ontspanning (drama, shows, voorlezingen, liedjes) openbare debatten en discussies opgenomen toeristische informatie publieke mededelingen en aanwijzingen publieke toespraken, lezingen, presentaties, preken radio inbelprogramma s reclameteksten (radio, tv, supermarkten) rituelen (ceremonies, kerkdiensten) routine aanwijzingen (instructies/ aanwijzingen door de politie, douane, vliegtuigpersoneel, etc.) sollicitatiegesprekken sportverslagen (voetbal, hockey, tennis, autosport, enz.) telefonische informatie (automatische antwoordapparaten, weer-,verkeerinformatie etc. telefoongesprekken tv-/ radiodocumentaires verkeersinformatie weerberichten Van alle luisterteksten Programma I en II is aangegeven bij welke van deze tekstbronnen ze horen. Figuur 4-3 geeft weer welke tekstbronnen ten grondslag liggen aan de teksten voor beide examens. Figuur 4-3 Tekstbron van de luisterteksten in Programma I en II in percentages dialogen en gesprekken Interviews toespraken, lezingen, presentaties radio inbel-programma Luisteren I Luisteren II Het overgrote deel van de luisterteksten bestaat uit interviews. Het probleem van de indeling van de tekstbron volgens het CEFR en dus ook in de Dutch CEFR Grid is dat deze bestaat uit wederzijds niet uitsluitende categorieën. Teksten zouden dus in meerdere categorieën geplaatst kunnen worden. Het Staatsexamen Luisteren is opgebouwd uit live-gesprekken die in meerderheid tussen twee personen worden gevoerd. Dit kan als een interview worden gezien, maar deze interviews kunnen, 25

26 afhankelijk van de context ook worden ingedeeld bij sollicitatiegesprek, dialoog, toespraak, documentaire, lezing, inbelprogramma, aanwijzingen, etc. Bij een aantal teksten is dit ook gebeurd. Tekstsoort In de luisterschalen van het CEFR treffen we vanaf de lagere naar hogere niveaus een verschuiving aan van meer feitelijke tekstsoorten naar meer beschouwende en argumentatieve tekstsoorten. Figuur 4.4 geeft het resultaat van deze indeling weer voor de luisterteksten voor Programma I en II. Figuur 4-4 Tekstsoorten van de luisterteksten in Programma I en II in percentages 100% 90% 80% 70% 60% 50% 40% 30% instructief argumentatief beschouwend verhalend beschrijvend 20% 10% 0% Luisteren I Luisteren II De teksten voor Programma I en II werden voornamelijk beoordeeld als beschrijvend en instructief. Onderwerp: communicatiethema s Het CEFR (pag.52) bevat de volgende lijst van communicatiethema s. 1 Persoonlijke identificatie 2 Huiselijke en directe omgeving 3 Dagelijks leven 4 Vrije tijd en ontspanning 5 Reizen 6 Relaties met anderen 7 Gezondheid en lichaamsverzorging 8 Onderwijs en opleiding 9 Winkelen 10 Eten en drinken 11 Diensten 12 Plaatsen 13 Taal 14 Weer Evenals bij het CEFR-overzicht voor tekstbron pretendeert het CEFR niet dat deze lijst volledig en definitief is. Evenmin zijn de categorieën wederzijds uitsluitend of voorschrijvend. Figuur 4-5 geeft een overzicht van de mate waarin deze communicatiethema s in de luisterexamens van Programma I en II voorkomen. 26