Frans in de balans. implicaties van het peilingsonderzoek voor de toetspraktijk. Bart Lamote, Piet Desmet & Rianne Janssen

Transcriptie

1 Frans in de balans implicaties van het peilingsonderzoek voor de toetspraktijk Bart Lamote, Piet Desmet & Rianne Janssen

2 0. Context

3 0.1.Toetsdeskundigheid: alles kan beter... De Standaard 23 april 2014

4 Het Nieuwsblad 23 april 2014 Cf. Onderwijsspiegel van onderwijsinspectie: te weinig vaardigheidsgerichte toetsen in eerste graad Frans

5 0.2. Van peilingsonderzoek naar toetspraktijk

6 2014 Casus: Luisteren 3 e graad Aanvullend digitaal materiaal: dl.garant-uitgevers.eu

7 0.3. Stappenplan Stap 1 toetsmatrijs Stap 2 toetsconstructie Stap 3 toetsafname & beoordeling Stap 4 analyse van resultaten & update itembank (inhouds)validiteit Toets ik alleen wat ik wil toetsen? authenticiteit & betrokkenheid Stel ik realistische evaluatieactiviteiten op in functie van het doelpubliek en met een aangepaste moeilijkheidsgraad? transparantie & haalbaarheid Garandeer ik een eenduidige en efficiënte beoordeling met expliciete beoordelingscriteria? betrouwbaarheid Toets ik alleen wat ik moet toetsen? Is het resultaat onafhankelijk van de beoordelaar en voldoende discriminerend?

8 0.4. Van individu naar didactisch team Het didactisch team als sleutel tot kwaliteitsverbetering

9 de toetsvoorbereiding: toetsmatrijs STAP 1

10 1.1. Wat is een toetsmatrijs? Het is een rooster dat je een overzicht biedt van wat je allemaal kan toetsen Het is een leidraad om je toetsen op een gestructureerde manier te ontwikkelen Het is een kompas om zich systematisch te richten op de einddoelen (bv. eindtermen, doelstellingen) die leerders moeten bereiken.

11 1.2. Waarom een toetsmatrijs? De toetsmatrijs is een werkinstrument dat toelaat de validiteit te bewaken of te verhogen van een toets of het geheel aan toetsen doorheen het semester of jaar

12 1.3. Hoe stel je een toetsmatrijs op? Per vaardigheid zet je sleutelconcepten uit op twee assen. Voor receptieve vaardigheden zijn er daarbij drie parameters: parameter teksttype tekstkenmerk verwerkingsniveau informatief, prescriptief, argumentatief, artistiek-literair, narratief, graad van complexiteit kopiërend, beschrijvend, structurerend, beoordelend

13 1.4. Hoe ziet een toetsmatrijs er uit? tekst verwerkingsniveau en taaltaak beschrijvend structurerend beoordelend dominante functie intrinsieke kenmerken ET 9 ET 10 ET 11 ET 12 ET 13 ET 14 ET 15 ET 16 TOTAAL informatief eenvoudig niet al te complex relatief complex prescriptief eenvoudig niet al te complex relatief complex narratief eenvoudig niet al te complex relatief complex argumentatief eenvoudig niet al te complex relatief complex artistiek-literair eenvoudig niet al te complex relatief complex TOTAAL

14 Toetsen en beoordelen met het ERK

15 1.4. Hoe ziet een toetsmatrijs er uit? 3 aso MT lezen 3 tkso - lezen

16 de toetsconstructie STAP 2

17 2.1. De tekst Gebruik zo veel mogelijk authentieke teksten (betrokkenheid en authenticiteit) Zorg voor een evenwichtige spreiding van tekstsoorten over de toetsmatrijs (validiteit). Zoek ook voor toetsen expliciet naar narratieve en artistiek-literaire teksten. Reflecteer over tekstkenmerken a.h.v. een observatierooster.

18 Observatierooster: tekstkenmerken Waarom een observatierooster voor tekstkenmerken gebruiken? Voorbeeld: La rentrée des grands

19 tekst titel: Rentrée bron: hhttp:// lengte: 01 min. 38 sec. tekstsoort informatief prescriptief narratief argumentatief artistiek-literair teksttype audio audiovisueel intrinsieke kenmerken eenvoudig (A2) relatief complex (B1) inhoud vorm taalgebruiksituatie onderwerp herkenbaarheid voorspelbaarheid abstractieniveau vertrouwd, eigen leefwereld mezelf, mijn familie, aankopen, mijn directe omgeving, werk, concreet, eerder voorspelbaar taalgebruik taalvariëteit dagelijks en courant taalgebruik, standaardtaal opbouw formulering woordenschat structuur samenhang enkelvoudige en eenvoudige samengestelde zinnen eenvoudige grammaticale structuren frequente woorden duidelijke, eerder eenvoudige tekststructuur expliciete informatie minder vertrouwd, standaard onderwerpen van meer algemene aard, onder meer met betrekking tot de actualiteit af en toe enige abstractie ook met minimale afwijkingen van de standaardtaal ook samengestelde zinnen met een zekere mate van complexiteit courante grammaticale structuren overwegend frequente woorden de betekenis van ongekende woorden kan afgeleid worden uit de context tekststructuur met een zeker mate van complexiteit vnl. expliciete informatie, weinig impliciete informatie redundantie herhaling en herformulering occasionele of geen herhaling uitspraak articulatie heldere uitspraak zorgvuldige articulatie duidelijke, natuurlijke intonatie visuele ondersteuning tempo traag en (distinct) normaal hoog ondersteuning met zonder verband tekst - beeld redundant complementair achtergrondgeluiden zonder met gemiddelde score courant accent, enige afwijking van de standaardtaal mogelijk complementair autonoom eenvoudig niet al te complex relatief complex

20 Observatierooster

21 2.2. itemconstructie Zoek zoveel mogelijk realistische taaltaken (authenticiteit en betrokkenheid) Koppel die realistische taaltaken aan einddoelen (validiteit) Stel jezelf daarbij twee vragen: 1) Waarom heeft de auteur deze tekst geschreven (schrijfintentie) 2) Waarom zou jij deze tekst lezen of beluisteren (lees- of luisterintentie) Wees streng voor jezelf: een goede vraag is niet altijd een vraag die goed is voor je toetsprogramma.

22 Observatierooster: verwerkingsniveaus Waarom een observatierooster voor verwerkingsniveaus gebruiken? Voorbeeld: PDG

23 PDG Welke reactie doet de jongen het meest lachen? De personages staan hieronder in de volgorde waarin ze in de tekst aan bod komen. de reactie van zijn vader de reactie van Madame Dumont de reactie van Monsieur Lechansu de reactie van Monsieur Terrier

24 PDG Meestal worden verhalen opgebouwd volgens een vaste structuur. Ook het verhaal dat je beluisterd hebt, volgt vrij goed de basisstructuur van een verhaal zoals je die hier ziet:

25 PDG Op welke plaats hoort de volgende zin in deze structuur? «J ai dû me cacher derrière ma serviette tellement je riais!» de crisis de climax de ontknoping de pointe

26 PDG Het verhaaltje heeft een dubbele bodem. Op een indirecte manier geeft de auteur ook kritiek. Waarop? op de erfopvolging binnen een bedrijf op de ondeugendheid van de zoon op de opvoedingsprincipes van de vader op de volgzaamheid van het personeel

27 Een observatierooster Hoeveel teksten krijgt de leerling om de vraag op te lossen? 1 tekst expliciet Moet de leerling expliciete of impliciete informatie begrijpen? Het volstaat de tekst letterlijk te begrijpen. De informatie waarover de vraag gaat, is expliciet. impliciet Het volstaat niet om de teksten letterlijk te begrijpen. Om de vraag op te lossen moet de leerling ook bijkomende impliciete informatie begrijpen. Moet de leerling reproductief of creatief omgaan met die informatie? reproductief De leerling begrijpt de letterlijke informatie uit de tekst, maar moet daar zelf niet verder mee aan de slag. Hij moet de informatie vinden, aanduiden, creatief De leerling begrijpt de informatie uit de tekst en gaat er zelf mee aan de slag door verschillende elementen te zoeken, samen te brengen, door de informatie samen te vatten, te herformuleren, waardoor hij een beter inzicht krijgt in de tekst. creatief De leerling begrijpt de tekst beter door de impliciete informatie te ontsluiten. Hij doet dat door deductie of door zich te baseren op extratekstuele informatie zoals zijn voorkennis, en kan op die manier een gefundeerd standpunt formuleren over de tekst. Op welk verwerkingsniveau situeert de vraag zich? beschrijvend structurerend beoordelend

28 Een ezelsbruggetje Op het beschrijvende niveau is de informatie die de leerling nodig heeft eenduidig, aanwijsbaar en zo goed als letterlijk terug te vinden in de tekst. Er is een één-op-één verhouding tussen de vraag en de tekst: 1 = 1. Op het structurerende niveau gaat de leerling zelf verschillende elementen samenbrengen of als het ware optellen om een beter inzicht in de tekst te krijgen: = 2. Hij blijft echter omgaan met expliciete informatie. Bij het beoordelende niveau is de optelsom méér dan wat expliciet in de tekst(en) staat. Door informatie te confronteren met andere informatie, binnen of buiten de tekst, en / of door impliciete informatie te ontsluiten, krijgt de leerling nog meer inzicht in de tekst: = 3.

29 Een hulpmiddel niveau werkwoorden beschrijvend begrijpen aanduiden, onderlijnen, (op)noemen, citeren, oorzaken noemen, gevolgen aangeven, (op)zoeken, vinden, selecteren, kiezen, ordenen, aanvullen, structurerend beoordelend analyseren structureren vergelijken interpreteren samenvatten, schematiseren, herschrijven, indelen, ordenen, rangschikken, een tabel maken, in een tekening weergeven, verbanden en relaties aangeven binnen één tekst, interpreteren, bekritiseren, rechtvaardigen, verdedigen, waarderen, evalueren, vergelijken, toepassen van en verbanden leggen tussen elementen in de tekst en een tweede bron

30 Leerinhouden op beschrijvend niveau Tekststructuur en samenhang herkennen Bewaak de lineariteit van de tekst. Stel een vraag over het verband tussen delen van een tekst. Stel een vraag waarvoor de kandidaat ook over het formele aspect moet nadenken. Stel een vraag waarin een samenvattend, abstraherend, element zit. Stel een vraag waarvoor de kandidaat al wat abstractie moet herkennen van de concrete inhoud (cf. functies van alinea s en onderlinge samenhang (hoofdzaken) / voegwoorden /...).

31 Leerinhouden op structurerend niveau Structureren Kies een tekst waarbij de lineariteit doorbroken wordt om de vraag op te lossen. Stel bij voorkeur een vraag over de tekst als geheel waarbij de kandidaat in de tekst zelf afweegt welke elementen hij nodig heeft, hoe die passen in een voorgegeven structuur en hoe die samengevat kunnen worden. Zorg voor een tekst met een vraag erbij, zet de tekst niet verkapt in de vraag. Sluit aan bij een zo authentiek mogelijke lees- of luisterintentie..

32 Vb. Animatrice 3D Déclic métiers is een website die jongeren informatie geeft over verschillende beroepen en hen zo helpt een goede studie- of beroepskeuze te maken. Je luistert nu naar Carine, zij is 3D-animator. Carine antwoordt in twee delen. In het eerste deel van haar antwoord somt ze een aantal elementen op. Op hoeveel van deze elementen gaat ze daarna dieper in tijdens het tweede deel van haar antwoord? op één van deze elementen op twee van deze elementen op drie van deze elementen op vier van deze elementen

33 Leerinhouden op beoordelend niveau Beoordelen Sluit aan bij een zo authentiek mogelijke lees- of luisterintentie. Probeer rekening te houden met de finaliteit van de ET: komen tot een gefundeerde mening.

34 de analyse van de toets & updaten itembank STAP 4

35 4.1. Kwantitatieve analyse Betrouwbaarheid

36 interbeoordelaarsbetrouwbaarheid

37 scoreverdeling

38 moeilijkheidsgraad per item

39 moeilijkheidsgraad per afleider Vraag a b C (juiste antwoord)

40 onderscheidingsvermogen Item a Item b

41 4.2. Kwalitatieve analyse kwaliteitscriterium Is de toets / zijn de toetsvragen. 1. validiteit representatief? 2. betrouwbaarheid eenduidig? fair? Sluit de tekst aan bij de tekstkenmerken die de eindtermen vooropstellen? Zijn de taaltaken afgestemd op de eindtermen? Bestaan de vragen uit één duidelijke, directe vraag of probleemstelling? Is het duidelijk wat goed, gedeeltelijk goed of fout is bij open vragen? Zijn meerkeuzevragen goed geformuleerd? o o o o Is er één en slechts één correct antwoord? Zijn alle alternatieven duidelijk van elkaar te onderscheiden? Sluiten ze elkaar volledig uit en overlappen ze elkaar niet? Zijn alle alternatieven pertinent en plausibel? Zijn alle alternatieven inhoudelijk van dezelfde orde? Hebben leerlingen voldoende informatie om de vragen te beantwoorden? Kunnen vragen enkel opgelost worden door het tekstbegrip, of ook dankzij specifieke voor- of achtergrondkennis? Zijn de vragen onafhankelijk van elkaar? Zijn er geen strikvragen, dubbelzinnige vragen of vragen naar irrelevante details? Zijn er geen talige drempels? o o o Zijn de vragen duidelijk, kort en bondig? Zijn de vragen positief geformuleerd? Is de taal van de vragen afgestemd op het taalniveau van de toets en van de tekst?

42 kwaliteitscriterium Is de toets / zijn de toetsvragen. 3. haalbaarheid efficiënt? 4. transparantie transparant? Zal de toets niet te lang duren? Zal de toets voldoende snel te beoordelen zijn? Heeft de toets een heldere lay-out? Krijgen leerlingen praktische informatie over de afname van de toets (aantal luisterbeurten, met of zonder vragen, duur van de toets, hulpmiddelen, )? het Zijn er duidelijke antwoordinstructies i.v.m. de gewenste lengte / vorm van antwoord? Weten leerlingen hoe het eindresultaat wordt berekend (puntenverdeling, slaaggrens, )?

43 4.3. update toetsmatrijs & itembank Het didactisch team bepaalt welke principes jullie volgen. Het didactisch team probeert de genomen opties te vertalen naar streefcijfers voor de tekstsoorten en de taaltaken in de toetsmatrijs. Tijdens het jaar houdt elke leerkracht / docent een overzicht bij van de toetsen die hij opstelt of afneemt. Op het einde van een periode bekijkt het didactisch team de ingevulde toetsmatrijzen en bepaalt ze werkpunten voor een volgende periode.

44

45 conclusie?

46 Conclusie

47 Bart Lamote Coördinator Toetsing AKOV Vlaams Ministerie van Onderwijs en Vorming Piet Desmet Franse en toegepaste taalkunde Letteren, KU Leuven Rianne Janssen Onderwijseffectiviteit en evaluatie Psychologie & Pedagogische Wetenschappen, KU Leuven