TALIGE TOELATINGSEISEN VOOR INTERNATIONALE STUDENTEN IN HET HOGER ONDERWIJS Enkele vervelende bevindingen Bart Deygers Centrum Voor Taal & Onderwijs
CONTEXT
Onderwijs is een basisrecht Everyone has the right to education. Education shall be free, at least in the elementary and fundamental stages [ ] higher education shall be equally accessible to all on the basis of merit. (U.N. General Assembly, 1948, Art. 26 1)
Talige toelatingsvoorwaarden komen overal voor Deygers, B., Zeidler, D., Vilcu, D., & Carlsen C.H. (2017). One framework to unite them all? The use of the CEFR in European university entrance policies. Language Assessment Quarterly.
Talige toelatingsvoorwaarden komen overal voor blijven vaak onbevraagd (McNamara & Ryan, 2011)
Talige toelatingsvoorwaarden komen overal voor blijven vaak onbevraagd berusten op een centrale aanname Een zeker taalniveau is nodig om te kunnen deelnemen aan academisch onderwijs B2
Talige toelatingsvoorwaarden komen overal voor blijven vaak onbevraagd berusten op een centrale veronderstelling gelden meestal niet voor alle studenten
Maar onderwijs is een basisrecht (Boylan, 2004; Nussbaum, 2000; Sen, 2010 ) Recht op objectieve toetsen Recht op relevante toetsen Recht op positieve gevolgen (Stein, 2016)
Maar onderwijs is een basisrecht when students are excluded from college because they do not secure a certain grade [ ] we assume a serious responsibility. The least we can do is to make a scientific study of our methods and results (Cattell, 1905, p. 367)
Toelatingsbeleid in Vlaanderen
Toelatingsbeleid in Vlaanderen - Eén Departement Onderwijs quota
Toelatingsbeleid in Vlaanderen - Eén Departement Onderwijs - Vijf universiteiten
Toelatingsbeleid in Vlaanderen - Eén Departement Onderwijs - Vijf universiteiten - Meest gebruikte toelatingsniveau: B2 in staat zijn om de essentie van een complexe tekst te begrijpen, vloeiend kunnen interageren met moedertaalsprekers, een duidelijke argumentatie kunnen opbouwen
Toelatingsbeleid in Vlaanderen - Eén Departement Onderwijs - Vijf universiteiten - Meest gebruikte toelatingsniveau: B2 - B2-bewijs: B2 test 1 jaar in Nederlandstalig secundair onderwijs 60 credits in Nederlandstalig hoger onderwijs
Toelatingsbeleid in Vlaanderen - Eén Departement Onderwijs - Vijf universiteiten - Meest gebruikte toelatingsniveau: B2 - B2-bewijs - Maar: beperkte empirische basis Onderzoek wordt vaak nogal selectief gebruikt als we het beleid wilden veranderen zouden we niet eerst een studie laten uitvoeren We kozen B2 omdat de KU Leuven ook B2 had
Toelatingsbeleid in Vlaanderen Doel: Ervoor zorgen dat internationale L2 leerders succesvol kunnen deelnemen aan Nederlandstalig onderwijs Geen diploma Nederlandstalig secundair onderwijs? Bewijs B2-niveau
Het beleidsdoel is verdedigbaar Enkel die studenten selecteren die een voldoende hoog niveau Nederlands hebben (B2) om de talige vereisten van de universiteit aan te kunnen. B2 Succesvolle participatie mogelijk Succesvolle participatie onmogelijk
Het beleidsdoel is verdedigbaar Maar zijn de maatregelen effectief? En zijn ze rechtvaardig?
Effectiviteit Helpen de beleidsmaatregelen om het beleidsdoel te bereiken? Helpt elke maatregel om het gepercipieerde probleem op te lossen? Deygers, B. & Malone, M. (in press). Language assessment literacy in university admission policies, or the dialogue that isn t. Language Testing.
Rechtvaardigheid Een toelatingsbeleid is waarschijnlijk onrechtvaardig wanneer het bewust en vermijdbaar de vrijheid van kandidaten beperkt zonder empirische of redelijke verantwoording Deygers, B. (2017). Just testing. Applying theories of justice to high-stakes language tests. ITL. International Journal of Applied Linguistics. Deygers, B. (2018). Fairness and social justice in English language assessment. In X. Gao, C. Davidson, & C. Leung. Springer Second International Handbook of English Language Teaching. Heidelberg & New York: Springer
DOEL VAN HET ONDERZOEK
Veronderstellingen checken B2 is een adequaat niveau De gebruikte tests zijn representatief De gebruikte tests zijn equivalent Vlaamse studenten slagen voor een B2 toets Tijdens het eerste jaar worden internationale L2 studenten taalvaardiger
Bronnen 15 24 30 135 159 526 Beleidsmakers Professoren Europese toetsontwikkelaars L2 students in Vl Vlaamse studenten L2 studenten buiten Vl
Kader Kane (2011, 2013) Validering Fischer (2007) Beleidsevaluatie nagaan of de claims die gemaakt worden op basis van een score empirisch steek houden beredeneerde dialoog
Kader Kane (2011, 2013) Toulmin (1958, 2003) Fischer (2007) Legitieme claims worden ondersteund door data
RESULTATEN
Veronderstelling 1 B2 is een adequaat taalniveau om te beslissen of iemand kan deelnemen aan de talige eisen van Vlaamse universiteiten B2 Succesvolle participatie mogelijk Succesvolle participatie onmogelijk Deygers, B., Van den Branden, & K., Van Gorp, K. (2017). University entrance language tests: a matter of justice. Language Testing.
Veronderstelling 1 Zeker niet voor luisteren, waarschijnlijk niet voor lezen Zwakke, niet-significante relatie tussen taaltoetsscores & academisch succes Test1: W = 46, p =.625, r = -.115 Test2: W = 51, p =.599, r = -.120 (Cf. Ingram & Bayliss, 2007; Cho & Bridgeman, 2012 etc ) (Eveneens: valse negatieven)
Veronderstelling 1 B2 Sp Sc Lu Le
Veronderstelling 1 Receptief > productief B2 is onvoldoende (C1) Geen enkele professor praat zo. Het is te proper. De professor spreekt te vlot voor mij en te academisch [ ] Ik probeer te begrijpen, maar is moeilijk. Ik twijfel altijd. Wat heeft hij gezegd, wat heeft hij gezegd, vraag ik me altijd af.
Veronderstelling 1 Het verschil zit niet noodzakelijk in snelheid of woordenschat 1K-2K * 5K-7K 7K+ w/m Test (N = 8) M 5.93 2.33 6.50 148.33 SD 4.43 2.52 2.78 18.04 Les (N = 12) M 6.67 1.23 10.37 103.86 SD 3.79 1.08 5.82 18.60 * % of words used in frequency band mean words/minute
Veronderstelling 1 Accent 9 Uitspraak 5 Woordenschat 5 Intonatie 3 Grapjes 3 Snelheid 3 Idioom 1 Lengte les 1
Veronderstelling 1 B2 = OK NT2 studenten: Schrijven is niet simpel, maar het lukt
Veronderstelling 1 Euh. Zelden Angst Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak Zelden Angst Nog niet Vaak
Veronderstelling 2 STRT & ITNA zijn representatief voor de talige eisen van Vlaamse universiteiten. Deygers, B., Van den Branden, & K., Van Gorp, K. (2017). University entrance language tests: a matter of justice. Language Testing.
Veronderstelling 2 Academische woordenschat beheersen Een idee nauwkeurig kunnen uitdrukken Een lange tekst kunnen samenvatten Een presentatie geven Grafieken en tabellen beschrijven Grammaticale correctheid Impliciete boodschap begrijpen Informatie kunnen opzoeken Inzicht hebben in samenhang van een tekst Lesnotities maken Logisch argumenteren Verschillende bronnen kunnen samenvatten Wetenschappelijke tekst globaal begrijpen Wetenschappelijke tekst in detail begrijpen
Veronderstelling 2 STRT & ITNA zijn representatief voor de talige eisen van Vlaamse universiteiten. Enigszins, maar: Construct-irrelevantie & construct-onderrepresentatie Suprematie van het niveau Deygers, B., Van den Branden, & K., Van Gorp, K. (2017). University entrance language tests: a matter of justice. Language Testing.
Veronderstelling 3 STRT en ITNA zijn equivalente maten van B2taalvaardigheid Deygers, B. (2017). University entrance language tests: examining assumed equivalence. In J. Davis, J. Norris, M. Malone, T. McKay, & Y Son (Eds.). Useful Assessment And Evaluation In Language Education. Washington, D.C.: Georgetown University Press. Deygers, B., Van Gorp, K., Demeester, T. (2017). The B2 level and the dream of a common standard. Language Assessment Quarterly.
Veronderstelling 3 24% verschillend zak/slaag-oordeel (p <.001)
Veronderstelling 3 24% verschillend zak/slaag-oordeel (p <.001) 15% verschil in slaagkans (.35 vs.50, p <.02)
Veronderstelling 3 24% verschillend zak/slaag-oordeel (p <.001) 15% verschil in slaagkans (.35 vs.50, p <.02) Geen duidelijke relatie tussen vergelijkbare taken of criteria
Veronderstelling 4 Moedertaalsprekers halen na het secundair onderwijs het B2 niveau Deygers, B., Van den Branden, K., Peters, E. (2017). Checking assumed proficiency: comparing L1 and L2 performance on a university entrance test. Assessing Writing, 32, 43-56.
Veronderstelling 4 Vlaamse studenten: Beste groep, maar 11% onder B2 MFRA for facet Group Measure Model SE Infit % below cut-off Flemish 0.57 0.02 1.12 11 L2 I -0.15 0.01 0.82 30 L2 F -0.43 0.01 1.29 57
Veronderstelling 4 Vlaamse studenten: Beste voorspeller: woordenschat & grammatica Wilcoxon signed-rank test: Flemish, L2 F and L2 H Median Flemish & L2 F Flemish & L2 I L2 I & L2 F Fl L2 F L2 I W p r W p r W p r T2Ling 13 9.5 10 23275 <.000 -.64 71833 <.000 -.53 53196 <.000 -.15 T4Ling 13.5 10 11 22750 <.000 -.61 67486 <.000 -.45 53684 <.000 -.16 Cont 12.5 12 15 14825.08 -.09 23028 <.000 -.33 62871 <.000 -.32
Veronderstelling 5 Tijdens het eerste jaar worden internationale L2 studenten taalvaardiger Deygers, B. (in press). How institutional and interpersonal variables impact international L2 students language gains at university. The Modern Language Journal.
Veronderstelling 5 WRITING SPEAKING Median T1 Median T2 W p d Median T1 Median T2 W p d Overall 17.25 19 31 0.16-0.49 28 27 43.5 0.82 0.11 Content 7.5 8 36.5.31 -.34 12 11 48.5.5.15 Clause/TU 0.28 0.25 58.5 0.54 0.41 0.41 0.38 49 0.48 0.28 Words/clause 9 8.7 50 0.9 0.07 9.9 10.7 36 0.73-0.04 Average word length 1.92 1.86 66.5 0.22 0.37 1.51 1.51 39.5 0.96-0.14 academic word list 0.12 0.11 61 0.42 0.41 0.06 0.06 31 0.41-0.52 Lexical richness 56.5 57.5 52.5 0.88 0.36 38 37 41.5 0.96-0.15 Errors/TU 0.94 0.95 52 0.9-0.05 0.86 0.86 46 0.66 0.17 Error-free TU / Total TU 0.3 0.32 56 0.68 0.24 0.29 0.44 27.5 0.27-0.4 Words/TU 11.5 11.1 52 0.91 0.01 Syll/min 104.5 133.5 22 0.11-0.7 Words 207 240 26 0.07-0.96 #words/min 69.4 88 27 0.26-0.62 TU 18 22 31.5 0.17-0.52 #TU/min 5.9 7.2 33.5 0.56-0.49
Veronderstelling 5 Study abroad Taalwinst is eerder beperkt (Llanes et al., 2012; Serrano, 2012) Internationale studenten zonder extra instructie Taalwinst is zo goed als onbestaand (Storch, 2009; Knoch et al., 2015; Knoch et al., 2015)
Veronderstelling 5 Waarom? Institutioneel-didactische frustraties Contact met medestudenten & toegang tot L1 community Identiteitsreconstructie Extra factoren (financieel, netwerk, migratiestatus) (Amuzie & Winke, 2009; Aveni, 2005; Gu & Maley 2008, Kinginger 2008; Morita, 2004)
Veronderstelling 5 Ik denk dat de mensen verwachten dat ik, ja, dat alles zou lukken. Maar ik weet het niet [ ] Eén keer hadden we gastcollege en het was over vertaalwetenschappen ook. En daar stelde die professor veel vragen en ik kon ze allemaal beantwoorden want ze waren allemaal over taalkunde in het Engels. En ik wist alles. En ik voelde me voor de eerste keer, amai, ik ben, ergens waar ik me thuis voel. [ ] Maar normaal gezien zit ik altijd in de war. Ik ben altijd zo, ja Wat doe ik hier?, ik snap niks. (V, januari)
IMPLICATIES
Hoe verrassend is dit? Taaltoetsen zijn niet het beste integratie-instrument Taaltoetsen zijn geen goede voorspeller van academisch succes Academische socialisatie is een moeilijk proces. Overal. Taalvaardigheid groeit niet vanzelf ERK-niveaus zijn ruim en abstract: equivalentie niet gegarandeerd Moedertaalsprekers zijn niet steeds academisch taalvaardig
Maar wat zegt dit over het beleid? wat betreft effectiviteit? wat betreft rechtvaardigheid?
Beleidseffectiviteit? Ik denk dat het de bedoeling is dat er gaatjes in het beleid zitten
Beleidseffectiviteit? Media Politieke partijen Eerder beleid Ideologie Andere instellingen Budget Beleid Varia Empirisch onderzoek
Rechtvaardigheid? Toegang van één groep mensen beperken tot een dienst die vrij toegankelijk is voor anderen, op basis van inaccurate veronderstellingen
Rechtvaardigheid? Toegang van één groep mensen beperken tot een dienst die vrij toegankelijk is voor anderen, op basis van inaccurate veronderstellingen Rawls, 1971 Sen, 2010 Dworkin, 2013 Nussbaum, 2002 Kane, 2013 Maar perfecte rechtvaardigheid is onbereikbaar Realistischer = onrechtvaardigheid beperken
Impact? Gedifferentieerde voorwaarden Extra taallessen voor begin academiejaar Flexibele taalregeling tijdens examens NT2 als deel van het curriculum Meertaligheid erkennen in de les
Meer weten? bart.deygers@kuleuven.be