Beoordelen professionele en nietprofessionele. spreekvaardigheid hetzelfde?

Transcriptie

1 Beoordelen professionele en nietprofessionele beoordelaars NT2- spreekvaardigheid hetzelfde? jubileumconferentie 20 jaar Staatsexamens Nederlands als tweede taal 31 augustus 2012 Klaartje Duijm

2 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

3 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

4 Spreekvaardigheid: spreker uiting - luisteraar Wat wil ik haar zeggen? Hoe zeg ik dat? Uiting Wat bedoelt hij?

5 Spreekvaardigheid: spreker uiting - luisteraar SPREKER GEBRUIKT Kennis van de taal Cognitieve vaardigheden Fysieke controle Sociale opvattingen Persoonlijke doelen, motivatie de uiting LUISTERAAR GEBRUIKT Kenmerken van de uiting Kennis van de taal Cognitieve vaardigheden Fysieke controle Sociale opvattingen Persoonlijke doelen, motivatie ideeën over spreker

6 Spreekvaardigheid: wat is belangrijk? 1 Vergelijking van: Globale oordelen (of scores) Analytische oordelen (of scores) Globaal of breed oordeel spreekvaardigheid hangt samen met oordelen over: Grammatica / woord- & zinsvorming Woordenschat / woordgebruik Vloeiendheid / tempo Uitspraak / accent / verstaanbaarheid Begrijpelijkheid Passendheid / sociolinguïstische vaardigheid Compleetheid Lit: o.a. Adams 1980; Higgs&Clifford 1982; McNamara 1990; De Jong&Van Ginkel 1992

7 Spreekvaardigheid: wat is belangrijk? 2 Vergelijking van: Oordelen Kenmerken van de uiting Globaal of breed oordeel spreekvaardigheid hangt samen met kenmerken van de uiting: Vloeiendheid Uitspraak Grammatica / woord- & zinsvorming Woordenschat / woordgebruik Grammaticale complexiteit Lit: o.a Magnan 1988; Iwashita, Brown, McNamara & O Hagan 2008

8 Spreekvaardigheid: wat is belangrijk? 3 Vergelijking van: Oordelen met Cognitieve vaardigheden Globaal of breed oordeel spreekvaardigheid hangt samen met cognitieve vaardigheden van de spreker: Kennis van woordenschat Kennis van grammatica Linguistic processing vaardigheid Uitspraak: klanken, stress, intonatie Lit: De Jong e.a. 2011

9 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

10 Nader bekeken: de beoordelaar Beoordelingen hangen samen met: Bekendheid met T2-spraak Linguïstische kennis Moedertaalspreker of tweede taalspreker Cognitieve vaardigheden? Lit: o.a. Carey ea 2011; Hsieh 2011; Kang 2008; Lumley 2005; Ying & Elder 2011

11 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

12 Twee experimenten: de vragen EXPERIMENT 1 Wat is belangrijker, vloeiendheid of accuraatheid? Is dat hetzelfde voor professionele beoordelaars en personeelsfunctionarissen? EXPERIMENT 2 Vinden professionele beoordelaars en personeelsfunctionarissen uitspraak even belangrijk?

13 Experiment 1 Te beoordelen materiaal: Originele prestaties Staatsexamen I (rond 500), op 4 manieren gemanipuleerd: Manipulaties Accuraatheid niet verbeterd Accuraatheid wel verbeterd Vloeiendheid niet verbeterd - FLU - ACC - FLU + ACC Vloeiendheid wel verbeterd + FLU - ACC + FLU + ACC

14 Experiment 1 Taak:

15 Experiment 1 Voorbeelden van het materiaal: Manipulaties Accuraatheid niet verbeterd Accuraatheid wel verbeterd Vloeiendheid niet verbeterd - FLU - ACC - FLU + ACC Vloeiendheid wel verbeterd + FLU - ACC + FLU + ACC

16 Experiment 1 Globaal oordeel Hoe goed is de opdracht uitgevoerd? Magnitude estimation- vergelijking met ankerprestatie In willekeurige volgorde, maar geen varianten van 1 origineel bij elkaar in de buurt Elke beoordelaar doet alle varianten Via speciaal internet programma

17 Experiment 1 Beoordelaars: Beoordelaarstype N Personeelsfunctionarissen (PO) 41 Professionele NT2-beoordelaars (PROF) 55 Totaal 96

18 Experiment 1 Beoordelaars zijn consistent (Cronbachs α.97 ) (96 beoordelaars, 68 prestaties) Toegekende scores verschillen fors per variant: niet verbeterd verbeterd niet verbeterd Vloeiendheid Accuraatheid niet verbeterd niet verbeterd GEMIDD MIN-MAX ST.DEV. prestatie verbeterd verbeterd verbeterd

19 gemiddelde score Experiment scores per variant FLU - ACC + FLU - ACC - FLU + ACC + FLU + ACC

20 Experiment 1 Beoordelaars per groep: Consistentie (Cronbachs α ) Personeelsfunctionarissen.91 Professionele beoordelaars. 97

21 Experiment 1 Beoordelaars per groep: Correlatie tussen beide groepen PO en Prof: Fluency Accuracy Pearson Prestatie niet verbeterd niet verbeterd.831 ** 17 verbeterd niet verbeterd.909 ** 17 niet verbeterd verbeterd.743 ** 17 verbeterd verbeterd.792 ** 17 Alle prestaties exp ** 68

22 gemiddelde score Experiment scores per variant per groep PROF PO PROF PO PROF PO PROF PO - FLU - ACC + FLU - ACC - FLU + ACC + FLU + ACC

23 Experiment 1 250,0 gemiddelde per variant per groep 230,0 210,0 190,0 170,0 150,0 130,0 gemidd. PROF gemidd. PO 110,0 90,0 70,0 50,0 - FLU - ACC + FLU - ACC - FLU + ACC + FLU + Acc

24 Experiment 1 De beoordelaars vinden zowel vloeiendheid als accuraatheid belangrijk. Beide soorten beoordelaars vinden accuraatheid belangrijker dan vloeiendheid. De professionele beoordelaars geven hogere waarderingen voor verbeterde accuraatheid dan de personeelsfunctionarissen.

25 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

26 Experiment 2 Dezelfde beoordelaars Dezelfde globale manier van beoordelen Dezelfde prestaties op dezelfde taak: Maar nu met de originelen En alleen de variant zonder verbeteringen ( FLU en ACC)

27 Experiment 2 Beoordelaars zijn consistent (Cronbachs α.95 ) (96 beoordelaars, 34 prestaties) Toegekende scores verschillen niet per variant: Uitspraak GEMIDD. MIN-MAX ST.DEV. Prestatie Originelen Acteur

28 gemiddelde score Experiment scores per variant originelen acteur

29 Experiment 2 Beoordelaars per groep: Consistentie (Cronbachs α ) Personeelsfunctionarissen.89 Professionele beoordelaars. 94 Correlatie (Pearson) tussen beide groepen: Originelen.759 ** Acteursvarianten.820 ** Alle prestaties samen.766 **

30 gemiddelde score Experiment scores per variant per groep PROF PO PROF PO origineel acteur

31 Experiment 2 De beoordelaars maken geen significant verschil tussen de originelen en de door de acteur ingesproken versies De professionele beoordelaars en de personeelsfunctionarissen verschillen niet significant in de beoordeling van de originelen en de acteursvarianten Dus: Geen effect gevonden voor verbeterde uitspraak

32 Overzicht Spreekvaardigheid: wat is belangrijk? Nader bekeken: de beoordelaar Experiment 1: vloeiendheid en accuraatheid Experiment 2: uitspraak Conclusies & vragen

33 Conclusies & vragen Accuraatheid is belangrijker dan vloeiendheid, maar minder voor de personeelsfunctionarissen Vraag: wat betekent dat voor het NT2-onderwijs? Voor uitspraak is geen verschil gevonden, terwijl het uit ander onderzoek wel belangrijk blijkt Vraag: welke verklaringen mogelijk?. Meer?

34 Dank voor het luisteren!

35 Referenties Adams, M. L. (1980). Five co-occurring factors in speaking proficiency. In J. R. Frith (Ed.), Measuring spoken language proficiency (pp. 1-6). Washington DC: Georgetown University Press. Carey, M. D., Mannell, R. H., & Dunn, P. K. (2011). Does a rater s familiarity with a candidate s pronunciation affect the rating in oral proficiency interviews? Language Testing, 28(2), doi: / De Jong, J. H. A. L., & Van Ginkel, L. W. (1992). Dimensions in oral foreign language proficiency. In L. Verhoeven, & J. H. A. L. De Jong (Eds.), The construct of language proficiency; applications of psychological models to language assessment (pp ). Amsterdam/Philadelphia: John Benjamins Publishing Company. De Jong, N. H., Steinel, M. P., Florijn, A. F., Schoonen, J. J. M., & Hulstijn, J. H. (2012). Facets of speaking proficiency. Studies in Second Language Acquisition,, 34. doi: /s Higgs, T. V., & Clifford, R. (1982). The push toward communication. In T. V. Higgs (Ed.), Curriculum, competence and the foreign language teacher (pp ). Skokie, Illinois, USA: National textbook Company. Hsieh, C. (2011). Rater effects in ITA testing: ESL teachers versus American undergraduates judgments of accentedness, comprehensibility, and oral proficiency. Spaan Fellow Working Papers in Second Or Foreign Language Assessment, 9, Iwashita, N., Brown, A., McNamara, T. F., & O'Hagan, S. (2008). Assessed levels of second language speaking proficiency: How distinct? Applied Linguistics, 29(1), Kang, O. (2008). Ratings of L2 oral performance in English: Relative impact of rater characteristics and acoustic measures of accentedness. Spaan Fellow Working Papers in Second Or Foreign Language Assessment, 6, Lumley, T. (2005). Assessment second language writing; the rater's perspective. Frankfurt am Main: Peter Lang. Magnan, S. S. (1988). Grammar and the ACTEL oral proficiency interview: Discussion and data. The Modern Language Journal, 72(3), Ying Zhang,, & Elder, C. (2011). Judgments of oral proficiency by non-native and native English speaking teacher raters: Competing or complementary constructs? Language Testing, 28(1), doi: /