Zelfbeoordeling bij schrijfvaardigheid Duits

Transcriptie

1 Naam auteur Michael Huig Vakgebied Duits Titel Zelfbeoordeling bij schrijfvaardigheid Duits Onderwerp Zelfbeoordeling bij schrijfvaardigheid Duits Opleiding Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Doelgroep Derde klas (tweede leerjaar) havo/vwo Sleuteltermen schrijfvaardigheid, ERK, self feedback, Duits Links Bibliografische referentie Studentnummer Begeleiders Arjan Krijgsman ; Michel Couzijn Beoordelaars Arjan Krijgsman ; Jantina Huizenga Datum 1

2 Paper 3 Onderzoeksinstrumenten 1. Samenvatting paper 1 Vastgesteld werd dat derdeklasleerlingen geen adequaat beeld van hun schrijfvaardigheid hebben. De ontwerphypothese luidt: ALS leerlingen hun eigen schrijfvaardigheid gaan beoordelen (self feedback), DAN zal het gevolg zijn dat hun zelfinzicht vergroot wordt en dat hun eigen beoordeling van hun schrijfvaardigheid meer overeenkomst vertoont met de beoordeling van de docent. Wil de self feedback effect sorteren dan moet aan de volgende voorwaarden worden voldaan: - leerlingen gaan het belang van self feedback voor de ontwikkeling van hun schrijfvaardigheid inzien. - self feedback zal hen leren leren (ontwerpregel 7). - door het toepassen van self feedback zullen leerlingen succes bij het leren ervaren (ontwerpregel 6) - de explicitering van en oefening met leerdoelen bevordert het zelfverantwoordelijk en doelgericht leren (ontwerpregel 2). Met de interventie wordt beoogd dat de leerlingen een adequater beeld krijgen van hun schrijfvaardigheid en dat hun zelfbeoordeling meer overeenkomst vertoont met de criteria van het ERK (docent). 2. Beschrijving onderzoeksmethode A - Onderzoeksontwerp Er zijn drie onderzoeksvragen: 1 Ontwikkelen leerlingen, als zij zelf hun eigen beoordelingscriteria ontwerpen, meer inzicht in de beoordeling(scriteria) van schrijfvaardigheidsopdrachten? Hiervoor gaan de leerlingen zelf beoordelingsrubrics ontwerpen, die worden vergeleken met de criteria van het ERK. 2 Gaan de schrijfprestaties van de leerlingen, afgemeten aan de criteria van het ERK, vooruit? Hiervoor worden de schrijfopdrachten uit de voor- en nameting beoordeeld met de criteria van het ERK. 2

3 3. Merken de leerlingen op dat hun inzicht in de beoordelingscriteria van schrijfvaardigheid is toegenomen? Hiervoor worden learner reports gebruikt. B - Onderzoeksinstrument en verantwoording Er worden drie instrumenten gebruikt: 1 Leerlingrubrics (zie bijlage 1): bedoeld om het voortschrijdend inzicht in schrijfvaardigheid vast te leggen. De leerlingen beoordelen hun schrijfopdracht met zelf ontwikkelde rubrics. Verantwoording: uit de literatuur bleek dat leerlingen moeite hebben met de bestaande, vooropgezette beoordelingscriteria. Door leerlingen zelf hun rubrics te laten ontwikkelen en deze te vergelijken met de ERK-beoordeling wordt de ontwikkeling van het denkproces inzichtelijk. Het is echter een experimenteel en risicovol instrument, dat kan mislukken. 2 Docentbeoordeling (zie bijlage 2): bedoeld om de kwaliteit van de briefopdrachten te meten. Docenten beoordelen de brieven uit de voor- en nameting volgens het ERK-beoordelingsmodel voor A1+ (zie bijlage 3). Verantwoording: de ERK-beoordeling geldt als een geijkte standaard, die het mogelijk maakt om de kwaliteit van de brieven bij voor- en nameting zo objectief mogelijk vast te stellen en te vergelijken. 3 Learner report (zie bijlage 4): na afloop van de interventie reflecteren de leerlingen in een beknopt Learner report op de interventie. Het report bestaat uit open en gesloten vragen. Verantwoording: het learner report is een beproefde manier om rapporteerbare leereffecten vast te stellen (Janssen, 2013). C - Onderzoeksgroep De onderzoeksgroep is een derde klas (tweede leerjaar Duits) tweetalig onderwijs havo-vwo met 21 leerlingen, waarvan 11 meisjes en 10 jongens. Het is een combiklas die uit negen havo- en 12 vwoleerlingen bestaat. De sekse speelt geen rol. D Procedure Er zijn twee meetmomenten voorzien: 3

4 de voormeting vindt plaats in les 2, duurt 15 minuten voor de schrijfopdracht en 10 minuten voor de zelfbeoordeling. De leerlingen werken in een klassikale setting, maar individueel. De docent begeleidt; de nameting is in les 5, duurt 15 minuten voor de schrijfopdracht en 10 minuten voor het Learner report. De leerlingen werken in een klassikale setting, maar individueel. De docent begeleidt. De klas wordt verdeeld in twee groepen. Er wordt gewerkt met identieke briefopdrachten (A en B) die in de nameting worden gekruist. Het nakijken gebeurt pas na de nameting, waarbij ook een onafhankelijke docent wordt ingeschakeld. De docenten weten niet of ze een voor- of de nameting nakijken. De gegevens zijn niet anoniem, maar dit is uitsluitend voor de indeling van de groepen. De verwerking is uiteindelijk wel anoniem. De effectiviteit van de interventie wordt afgeleid uit: a. De mate waarin de leerlingenrubrics meer op de ERK-beoordeling lijken, dat wil zeggen: het verschil tussen voor- en nameting (rubrics 1.0 en 2.0) uitgedrukt in de overeenstemming tussen leerlingenrubrics en ERK. b. Of de brieven van de nameting beter zijn dan die van de voormeting in termen van ERKbeoordelingen. c. Als de leerlingen in het Learner report aangeven dat hun inzicht in de beoordeling van schrijfvaardigheid is toegenomen. E Data Uit de voor- en nameting worden de volgende data verzameld: 1. De leerlingrubrics worden vergeleken met de ERK-beoordeling. Hierbij worden: a. de criteria van de leerlingen vergeleken; geteld wordt hoeveel leerlingen eenzelfde criterium hebben vermeld en dit wordt vervolgens als percentage weergegeven; b. per criterium de scores vergeleken; onderzocht wordt op welke gronden leerlingen een bepaald criterium als gemiddeld beoordelen. 2. Docentbeoordeling: de leerlingopdrachten van de voor- en nameting worden beoordeeld volgens de ERK-richtlijnen. De scores worden uitgedrukt in een getal. 4

5 3 Learner report: geven de leerlingen aan dat zij meer inzicht hebben gekregen in de beoordeling van schrijfvaardigheid? De gesloten vragen worden gecodeerd; de uitspraken van de open vragen worden geclassificeerd en gecodeerd. 5

6 Literatuur Cito (2006), ERK-schrijftoetsen Duits niveau A1 en A2. Anrhem: Cito. Cito / SLO (2011), Toetsen en beoordelen met het ERK. Arnhem: Cito. Janssen, T., (2013), Het learner report als onderzoeksinstrument, Workshop UvA ILO Liemberg, E., Meijer, D. (2004) (red.), Taalprofielen. Enschede: Nationaal Bureau Moderne Vreemde Talen. 6

7 3. Bijlagen Bijlage 1. Instrument 1: leerlingrubrics Geldt voor voor- en nameting. Wordt in de les door de leerling ingevuld en bij de metingen gebruikt. Ten behoeve van het gebruik wordt dit schema liggend afgedrukt. Hieronder beschrijf je de gradaties. Hieronder schrijf je ++ (zeer) goed + voldoende - onvoldoende wat je beoordeelt. Bovengemiddeld. Op niveau. Zoals het Niet op niveau. Zou hoort. beter moeten Verwerking gegevens leerlingenrubrics voor- en nameting In de eerste plaats worden leerlingencriteria vergeleken met de criteria van het ERK. Vaardigheid Aantal leerlingen met Als percentage dit criterium Inhoud [aantal] [percentage] 7

8 Woordenschat en woordgebruik Grammaticale correctheid Spelling en interpunctie Ander criterium, niet ERK Verwerking scores leerlingenrubrics voor- en nameting De leerlingenscores worden vergeleken met de scores van het ERK. Hierbij wordt uitsluitend gekeken naar de score voor A1+, de centrale waarde op de driepuntschaal, waarbij alleen de dekkende criteria uit de criterium-meting worden betrokken: Vaardigheid Hogere eisen Gelijke eisen Lagere eisen Inhoud [aantal leerlingen] [aantal leerlingen] [aantal leerlingen] Woordenschat en woordgebruik Grammaticale correctheid Spelling en interpunctie Voorbeeld: leerling 1 noemt het criterium inhoud, maar geeft als standaardscore dat niet alle punten uit de opdracht verwerkt hoeven te zijn. In dat geval wordt deze leerling genoteerd bij lagere eisen omdat hij lagere eisen stelt dan het ERK. Interpretatie van de gegevens uit de leerlingenrubrics Uit de vergelijking van de criteria (verticaal) van voor- en nameting kan worden vastgesteld of leerlingen als gevolg van de interventie meer criteria van het ERK hebben opgenomen. 8

9 Uit de vergelijking van de scores (horizontaal) kan worden vastgesteld of de leerlingen zicht hebben gekregen op de eisen die aan de criteria worden gesteld. Het kan zijn dat ze aanvankelijk te hoge of te lage eisen stelden en dat deze door de interventie naar de ERK-standaard zijn verschoven. Bijlage 2. Instrument 2: Docentbeoordeling Docentbeoordeling voor- en nameting (ERK) Vaardigheid A1+ of hoger A1+ A1 of lager Inhoud Woordenschat en woordgebruik Grammaticale correctheid Spelling en interpunctie Puntentelling docentbeoordeling Vaardigheid A2 (A1+ of meer) A1+ A1 of minder Inhoud Woordenschat en woordgebruik Grammaticale correctheid Spelling en interpunctie Per leerling wordt het puntentotaal genoteerd. Verwerking gegevens docentbeoordeling voor- en nameting leerling voormeting nameting verschil + / - 1 [score] [score] [ ] 9

10 2 [score] [score] [ ] Interpretatie van de docentbeoordeling Vergelijking van de scores uit voor- en nameting laat zien of de leerlingen in de nameting beter (of gelijk, of slechter) hebben gescoord dan in de voormeting. Bijlage 3. ERK-standaard In dit onderzoek geldt het ERK als standaard waarmee zowel instrument 1 (leerlingenrubrics) als instrument 2 (docentbeoordeling) worden vergeleken. Het Cito hanteert als criterium voor A1+ dat uitsluitend of alle elementen van de opdracht aanwezig en begrijpelijk voor een native speaker zijn (Cito, 2006). Taalprofielen stelt wel degelijk ook eisen aan de spelling en grammaticale correctheid, ervan uitgaande dat het schrijven tussen A1 en A2 in ontwikkeling is, hetgeen betekent dat elementen uit A2 wel degelijk al aanwezig verondersteld mogen worden in A1+, hoewel zij nog niet volledig of niet volledig correct hoeven te zijn (Liemberg & Meijer, 2004). Een verschil is verder dat het Cito op de inhoudelijke mededelingen focust en Taalprofielen, maar ook de door CPS ontwikkelde ERK-site, niet. Gewoonlijk hanteert het Cito voor schrijfopdrachten van A2 en hoger vijf criteria. Voor A1+ hanteert het Cito slechts vier criteria (Cito, 2006). Uit de beoordeling van Cito (voorbeeldbrieven opdracht 1, leerlingen 1, 2, 3) blijkt dat er aan A1+ wel degelijk meer formele eisen worden gesteld. Als deze worden geanalyseerd, ontstaat het volgende beoordelingsmodel voor A1+. Cito-richtlijnen voor A1+ Vaardigheid A2 (A1+ of hoger) A1+ A1 of lager Inhoud Alle punten Alle punten Niet alle punten Woordenschat en woordgebruik Geen verduitste Nederlandse woorden. Geen Nederlandse woorden. Incidenteel verduitste Nederlandse woorden. Incidenteel Nederlandse woorden. Meerdere verduitste Nederlandse woorden. Meerdere Nederlandse woorden. Grammaticale correctheid Naamvallen mogen incorrect Naamvallen mogen incorrect Naamvallen mogen incorrect Spelling en Hoofdletters Hoofdletters Hoofdletters 10

11 interpunctie substantief vrijwel substantief substantief correct, maar incidenteel correct geheel incorrect incidentele fout toegestaan Bijlage 4. Instrument 3: Learner report Beste leerlingen, Tot slot willen we jullie vragen om enkele vragen te beantwoorden. Er zijn gesloten en open vragen. Schrijf bij de open vragen alsjeblieft zo veel mogelijk op. Er zijn geen foute antwoorden mogelijk! Hartelijk dank! 1 Ik weet hoe een schrijfopdracht beoordeeld wordt. Mee eens Niet mee eens 2 Ik heb geleerd dat ik in een schrijfopdracht ook fouten mag maken. Mee eens Niet mee eens 3 Mijn eigen schrijfvaardigheid is beter dan ik dacht. Mee eens Niet mee eens 4 Ik weet waaraan ik zou moeten werken om mijn schrijfvaardigheid te verbeteren. Mee eens Niet mee eens Open vragen: 5 Over schrijfvaardigheid heb ik geleerd dat 11

12 6 Over de beoordeling van schrijfvaardigheid heb ik geleerd dat 12