evaluatiematrix, luistertoets, Russisch Katerina van Wegen. Voorzitter van de Sectie Russisch van Levende Talen

Transcriptie

1 1 Profielproduct ILO Plan van aanpak Naam auteur Vakgebied Titel Profiel Opleiding Doelgroep Sleuteltermen E. Dorofeeva Russisch Hoe toets je een luistertoets? Ontwikkelaar Master Leraar VHO Russisch VWO en HAVO Studentnummer Begeleider(s) Opdrachtgever evaluatiematrix, luistertoets, Russisch Dr. Erik Joling Katerina van Wegen. Voorzitter van de Sectie Russisch van Levende Talen

2 2 1. Gegevens opdrachtgever en begeleider. Opdrachtgever: Katerina van Wegen. Voorzitter van de Sectie Russisch van Levende Talen. Docenten Russisch van Sectie Russisch van Levende Talen : Katerina van Wegen (voorzitter), Esther van Loo (bestuurslid nascholing), Jeanette Bron (internationale contacten) en Dorie Nielen (verantwoordelijk voor heritage speakers). Levende Talen is een Landelijke vereniging van docenten van levende talen. De sectie Russisch maakt er een deel van uit 1. Begeleider op de werkplek: Olja Karmanova (verantwoordelijk contacten hoger onderwijs en universiteiten in de sectie Levende Talen). Olja Karmanova is eerstegraads docent Russisch, ze is vakdidacticus Russisch aan de ILO. Als vakdidacticus en praktiserend docent zal ze mijn onderzoek praktisch en inhoudelijk ondersteunen. 1. Aanleiding van de opdracht. De directe aanleiding voor de opdracht voor dit profielproduct komt voort uit een verzoek van de docenten Russisch van de Sectie Russisch van Levende Talen. Luisteren is een onderdeel van het eindexamen Russisch in Nederland op vwo- en havoniveau (Examenblad, 2015). Gezien Russisch bijna altijd een keuzevak is, zitten leerlingen van verschillende niveaus en ook leeftijd meestal in dezelfde klas. Hierdoor wordt er door de docenten geen onderscheid in criteria gemaakt voor het vwo-examen en het havo-examen. Docenten Russisch bereiden zelf het examenmateriaal voor. Geschikt luistermateriaal is niet altijd makkelijk te vinden. Sommige leergangen bevatten te weinig luistermateriaal, andere bevatten luisterteksten die voor de leerlingen niet aantrekkelijk zijn of niet aan de eisen voldoen (bijv. het leerboek Russisch voor Nederlandse leerlingen Pasport v Rossiju). Om het probleem duidelijker te maken heb ik met twee docenten Russisch, Esther van Loo en Dorie Nielen, gebeld. Uit de gesprekken is gebleken dat ze vaak de beschikking hebben over veel verschillend luistermateriaal dat ze in de loop de jaren hebben verzameld, maar dat nog niet volledig geanalyseerd is. 1 &taal=&workgroup=&username=guest@vllt.nl&password=9999&groups=vllt&page=ru_activiteiten_vrij

3 3 De vraag is om criteria te ontwikkelen waaraan een luistertoets moet voldoen voor het eindexamen Russisch voor havo/vwo op het ERK-niveau A2, met daarbij twee geanalyseerde kijk-en luistervaardigheid toetsen Russisch van eerdere jaren als voorbeeld. Docenten Russisch in Nederland kunnen deze criteria raadplegen om op basis hiervan bestaande luistertoetsen te testen, maar ook om nieuwe toetsen te creëren. 2. Probleemverkenning en omschrijving. Het probleem van het gebrek aan duidelijke criteria waaraan een luistertoets moet voldoen voor het eindexamen Russisch in vwo en havo, wordt ervaren door docenten Russisch in Nederland die lid zijn van de sectie Russisch van Levende Talen. Ze geven de Russische taal aan leerlingen van verschillende niveaus en leeftijden, zowel in de bovenbouw als op taalcursussen voor volwassenen. Het probleem is vermoedelijk afkomstig door het feit dat er relatief weinig aandacht wordt besteed aan de Russische taal in Nederland. Russisch maakt standaard geen deel uit van de moderne vreemde talen die in Nederland op school worden onderwezen. Er bestaan ook geen volledige officiële leerlijnen en uitgewerkte programma's hiervoor. Uit mijn gesprek met de docenten blijkt dat de leerlijn waarop hun cursussen zijn gebaseerd grotendeels impliciet is. De meeste cursussen Russisch worden op twee leerboeken gebaseerd: Pasport v Rossiju en Ruslan, maar het grootste deel van het materiaal dat de docenten tijdens hun lessen gebruiken wordt door hen zelf gemaakt. De twee bovengenoemde boeken bevatten luisteropdrachten voor de leerlingen van verschillende niveaus. De lesboeken incorporeren wel alle vaardigheden, maar luistervaardigheid krijgt minder aandacht doordat de lesboeken voornamelijk gebruikt worden voor grammatica- en vocabulaire-onderwijs. Luisterteksten worden vaak ter ondersteuning van grammaticaonderwijs gegeven. Bovendien zijn deze leerboeken niet volledig afgestemd op de einddoelen van het eindexamen Russisch op havo en vwo, en daardoor kunnen de luisteroefeningen niet zonder meer gebruikt worden als voorbeeld. Er bestaan ook geen leerboeken Russisch in het Nederlandse onderwijssysteem die luistertoetsen bevatten die geschikt zijn voor het gebruik tijdens het eindexamen (het is ook niet mogelijk om het materiaal uit de bovengenoemde lesmethodes te gebruiken tijdens het examen). Leerboeken voor Russisch als tweede taal die in Rusland worden uitgegeven voldoen vaak ook niet aan de eisen van het Nederlandse eindexamen en aan de eisen van de docenten. Bovendien is er in Nederland slechts een beperkt aantal leerboeken Russisch te vinden. Het luistermateriaalprobleem voor het onderwijs in Russisch als tweede taal is al lang bekend. Meerdere docenten Russisch, zoals professor Lejtchik van het Moskouse Instituut voor

4 vreemde talen (2001), zijn collega-docenten Russisch als vreemde taal Lebedinskij en Gerbik (2011) van de Staatsuniversiteit van Wit-Rusland, en Amanulla van de Sintsjan Universiteit van China (2007) benadrukken het belang van de ontwikkeling van goede luistermaterialen. In de loop van de laatste jaren wordt het probleem van de ontwikkeling van lesmateriaal voor het onderwijs van Russisch als tweede taal steeds actueler in Rusland. Dat heeft te maken met het alsmaar toenemend aantal immigranten uit ex-sovjet staten. Vanaf zijn de immigranten verplicht om het staatsexamen Russisch te halen. Om die reden worden verschillende toetsen samengesteld zoals Tipovyje testy po russkomu jazyku dlja trudjasjikhsja migrantov (Stepanenko, et. al., 2013), die luistertoetsen voor immigranten bevatten. Het nadeel van dit soort boeken is dat ze voor een bepaalde doelgroep zijn gemaakt, namelijk voor gastarbeiders. Andere boeken die tegenwoordig in Rusland worden gebruikt om de Russische taal op verschillende niveaus te toetsen, zoals Trenirovotsjnye testy po russkomu jazyku kak inostrannomu (Andrjushina et. al., 2014) hebben ook nadelen. Ten eerste worden ze uitsluitend voor volwassenen geschreven dus ze sluiten niet aan bij de interesses van de Nederlandse leerlingen. Ten tweede houden ze heel vaak geen rekening met de ERK can-do statements en ten derde voldoen de vragen die bij de luisteropdrachten horen niet aan de eisen van de docenten Russisch in Nederland. Tot deze conclusies ben ik gekomen a.d.h.v. de gesprekken met de docenten Russisch in Nederland, de bestudering van de literatuur, maar ook op grond van mijn ervaring als docent, toen ik zelf luisteropdrachten voor mijn leerlingen moest maken. Het is ook waar dat docenten Russisch in Nederland geen directe toegang hebben tot leerboeken die in Rusland worden uitgegeven. Om leerlingen op het eindexamen voor te bereiden en om ze vervolgens te toetsen, moeten docenten Russisch hun eigen toetsen creëren. Het vinden en/of creëren van een goede opdracht op basis waarvan ze hun leerlingen kunnen toetsen kost docenten Russisch veel tijd, en het zorgt er ook voor dat er een zekere discrepantie is in de uitwerking van het materiaal voor de lessen maar ook voor het tentamen. De beschikking over exacte criteria waaraan een luistertoets moet voldoen die is aangepast aan het eindexamen, is dus noodzakelijk Doelstelling. Mijn opdracht is de uitwerking van een matrix voor het analyseren van luistertoetsen voor het eindexamen Russisch vwo en havo (ERK-niveau A2). De matrix kan ook worden gebruikt voor het analyseren van luisteropdrachten ter voorbereiding op 2

5 5 het eindexamen. Het doel van mijn onderzoek is inzicht te krijgen in de criteria die ik daarbij kan toepassen. Dit wil ik doen door middel van interviews met de toekomstige gebruikers (twee docenten Russisch van de Sectie Russisch van Levende Talen ) en met de projectleider kijk- en luistertoetsen Moderne Vreemde Talen en Toestdeskundige Frans aan het CITO Dennis van den Broek. Van Dennis van den Broek verwacht ik te horen op welke manier worden luistertoetsen gemaakt voor Engels, Frans en Duits. Ik zal ook bestaande luistertoetsen Russisch en Frans analyseren en de literatuur bestuderen. 4. Centrale vraagstelling. Mijn onderzoek moet antwoord geven op de volgende onderzoeksvraag: Wat zijn bruikbare criteria waaraan een luistertoets moet voldoen voor het eindexamen Russisch vwo en havo 3? 5. Deelvragen. Deelvragen die hierbij geformuleerd kunnen worden: 1. Wat zijn de eisen voor het centraal examen domein kijk- en luistervaardigheid Russisch volgens het Examenblad 2015 en de Handreiking schoolexamen moderne vreemde talen havo/vwo? 2. Welke can-do statements en tekstkenmerken voor het niveau A2 worden beschreven door het ERK? 3. Welke kenmerken heeft een goede luistertaak volgens G. Buk (2001)? 4. Welke kenmerken heeft een goede luistertaak volgens de docenten Russisch? 5. Volgens welke criteria worden kijk- en luistertoetsen Frans door het team Moderne Vreemde Talen van het CITO gemaakt? 6. Waarmee moet men rekening houden bij het formuleren van opdrachten die bij de luisterteksten horen? 3 Er is geen onderscheid in criteria voor het vwo-examen en het havo-examen.

6 6 6. Onderzoeksaanpak: groepen en instrumenten. Ik zal de deelvragen op de volgende manier beantwoorden: Wat zijn de eisen voor het centraal examen domein kijk- en luistervaardigheid Russisch in havo/vwo? Welke can-do statements en tekstkenmerken voor het niveau A2 worden beschreven door het ERK? Welke kenmerken heeft een goede luistertaak volgens G. Buk (2001)? Welke kenmerken heeft een goede luistertaak volgens de docenten Russisch? Volgens welke criteria worden kijk- en luistertoetsen Frans door het team Moderne Vreemde Talen van het CITO gemaakt? Waarmee moet men rekening houden bij het formuleren van opdrachten die bij de luisterteksten horen? Examenblad Handreiking schoolexamen moderne vreemde talen havo/ vwo Italiaans, Russisch, Spaans. Fasoglio, D., Meijer, D. (2007). Assessing listening. Buck, G. (2001). Interview met de docenten Interview met de CITO-medewerker Handreiking schoolexamens MVT SLO (2008) Vreemde Talen didactiek in veertig (en meer) werkbladen. De eerste beginselen. Bimmel, P., Weststrate, C. (2014). Hoe beoordeel je taalprestaties van leerlingen en hoe formuleer je opdrachten in relatie tot het ERK? SLO (2008). Een taxonomie voor het vreemdetalenonderwijs. Kwakernaak, E. (2012). Om een matrix uit te werken voor het analyseren van luistertoetsen voor het eindexamen Russisch, moet ik eerst weten welke criteria in de literatuur worden genoemd voor het kiezen van het luistermateriaal voor de toetsen. In een literatuur- en bronnenonderzoek zal ik onder andere de eisen voor het eindexamen Russisch bestuderen en de ERK-descriptoren die daarbij passen uitzoeken. Ik zal ook bekijken aan welke eisen luistertoetsen Frans voor het eindexamen moeten voldoen. Daarnaast zal ik in de literatuur nagaan wat de eisen voor het maken van een goede luistertoets zijn en op welke manier ik de taxonomie van Bloom aan de matrix kan aanpassen. Onder andere zal ik de kenmerken van een goede taaltaak bestuderen. Hiermee ga ik voor mezelf duidelijk maken welke criteria ik aan mijn matrix moet toevoegen. Aangezien mijn matrix rekening moet houden met de eisen van de toekomstige gebruikers, wil ik parallel aan het literatuuronderzoek twee docenten Russisch (Esther van Loo en Dorie Nielen) en de projectleider kijk- en luistertoetsen Moderne Vreemde Talen en de toestdeskundige Frans aan het CITO Dennis van den Broek interviewen om van hen te horen welke kenmerken een goede luistertoets moet hebben. Dat ga ik doen aan de hand van een door mij samen te stellen

7 7 vragenlijst. Deze vragenlijst zal ik samenstellen op basis van de criteria die ik uit de bestudeerde literatuur zal halen. Hiervoor zal ik ook rekening houden met de SLO eindtermen voor eindexamen Moderne Vreemde Talen en met de ERK descriptoren. Ik ga er van uit dat de vragenlijst uit 3 clusters met gesloten vragen zal bestaan, die betrekking hebben op luistertekstkenmerken, niveaus van denkvaardigheden en can-do statements en een aantal openvragen over algemene kenmerken van een goede kijk-en luisteropdracht. Open vragen kunnen de docenten naar eigen inzicht invullen, want het is mogelijk dat de door mij gevonden kenmerken nog niet volledig zijn. Op die manier zullen ze zelf kiezen welke criteria ze belangrijk vinden en die dus in de matrix zullen blijven staan, en welke criteria niet worden opgenomen. Ik wil hierdoor achterhalen hoe volgens mijn opdrachtgevers en hun collega uit CITO een goede luistertoets er uitziet. Op basis ervan ga ik de eerste versie van de matrix maken. Vervolgens zal ik deze matrix samen met mijn verantwoording per naar de docenten Russisch opsturen. Op basis van hun feedback zal ik mijn matrix aanpassen en vervolgens vindt een bijeenkomst plaats, wanneer ik nog een keer de criteria met de toekomstige gebruikers zal overleggen. Aan de hand van de aangepaste matrix zal ik twee luistertoetsen analyseren uit het eindexamen Russisch van eerdere jaren die ik van de docenten heb gekregen. Dit materiaal zal ik als voorbeeld toevoegen. 7. Product. Er wordt het volgende product verwacht: 1. Een matrix met criteria waaraan een kijk-en luistertoets moet voldoen voor het eindexamen Russisch in vwo en havo (ERK-niveau A2). 2. Een document met twee geanalyseerde luistertoetsen van vorige jaren, als voorbeeld. De matrix zet ik online in googledocs, de verantwoording en de analyse van de bestaande toetsen worden per geleverd aan de opdrachtgever en de toekomstige gebruikers (Katerina van Wegen, Esther van Loo, Jeanette Bronen Dorie Nielen). Als de opdrachtgever en de toekomstige gebruikers met de matrix tevreden zijn, wordt er een bijenkomst georganiseerd waarin de docenten de matrix zullen bespreken en toetsen a.d.h.v. eigen luistermateriaal. De docenten kunnen het product gebruiken wanneer ze een luistertoets voor het eindexamen Russisch willen maken of wanneer ze voor hun lessen Russisch een luisteroefening willen maken.

8 8 8. Tijdplan. Week Activiteit 13 (23/03-29/03) Bestudering van de literatuur, bespreking van de opdracht met de opdrachtgever en de begeleider. Paper 1 afmaken. 14 Paper 1 inleveren. Bestudering van de literatuur Paper 1 inleveren (herkansing). Bestudering van de literatuur. Samenstelling van de vragenlijst. Ontmoeting de docenten. Ingepland op 10 april Werken aan de matrix. Samenstelling van de matrix op basis van de criteria uit de literatuur en die van de docenten. Plannen van een bijeenkomst met de docenten. 20 Overleg met de docenten. Aanpassing van de matrix Samenstelling van de definitieve matrix. Analyseren van de voorbeeldtoetsen. 22 Overleg met de docenten per . Beoordeling van het product door de opdrachtgevers (de docenten). Plannen van een bijeenkomst. 23 Inleveren paper 2.

9 9 Literatuurlijst Amanulla, Z. (2007) Trudnosti obuthcenija audirovaniju russkoj retchi kitajskikh studentov i puti ikh preodolenija. Russkij jazyk za rubezhom, 5, pp Andrjushina, N., Makova, M., Pratchuk, N. (2014) Trenirovotsjnye testy po russkomu jazyku kak inostrannomu. Sint-Petersburg: Zlatoust. Bimmel, P., Weststrate, C. (2014). Vreemde Talen didactiek in veertig (en meer) werkbladen. De eerste beginselen. JAPES, Amsterdam. Bloom, B. S., Engelhart, M. D., Furst, E. J., Hill, W. H. & Krathwohl, D. R. (1956). A taxonomy of educational objectives: The classification of educational goals. Handbook I: Cognitive Domain. New York: David McKay. Buck, G. (2001) Assessing listening, Cambridge: Cambridge University Press. Fasoglio, D., Meijer, D. (2007). Handreiking schoolexamen moderne vreemde talen havo/vwo Italiaans, Russisch, Spaans. Enschede: SLO. Kwakernaak, E. (2012) Een taxonomie voor het vreemdetalenonderwijs. Levende Talen, pp Langran, J., Vesjnjeva, N. (2008) Ruslan Russisch. Een communicatieve cursus Russisch voor beginners. Bussusm: Coutinho. Lebedinskij, S., Gerbik, L. (2011) Metodika prepodavanija Russkogo Jazyka kak inostrannogo. Utchebnoje posobije. Geraadpleegd op 10/03/2015 van

10 10 Lejtchik, V. (2001) Spetsifica vosprijatia retchi na slukh v protsessakh izutchenija i osvojenija russkogo jazyka ka inostrannogo. Russkij jazyk za rubezhom, 4, pp Louwerse, N., Lubotsky, L., Meijman, D., Pluimgraaff, H. (2010). Pasport v Rossiju. Russisch voor iedereen. Amsterdam: Pegasus. Meestinga, T., Kleunen van, E. (2008). Hoe beoordeel je taalprestaties van leerlingen en hoe formuleer je opdrachten in relatie tot het ERK? Enschede: SLO. Stepanenko, V., Nakhabina, M., Tolstykh, A., Zhaboklitskaja, I. (2013) Tipovyje testy po russkomu jazyku dlja trudjasjikhsja migrantov. Sint-Petersburg: Zlatoust. Examenblad.nl Geraadpleegd op 27/03/2015 van

11 11