De kansen die comparatief beoordelen biedt

Maat: px

Weergave met pagina beginnen:

Download "De kansen die comparatief beoordelen biedt"

Elisabeth de Winter
5 jaren geleden
Aantal bezoeken:

1 De kansen die comparatief beoordelen biedt Maarten Goossens Universiteit Antwerpen 12/11/2018 1

2 Comparatief beoordelen 2

3 Beoordelingsfamilies (Coertjens, 2017) Holistisch beoordelen het geheel is meer dan de som van de delen Betrouwbaarheid 3

4 Beoordelingsfamilies (Coertjens, 2017) Gray scale Description 1 White 2 Slightly darker than white 3 Between white and gray 4 Almost gray 5 Gray 6 Slightly darker than gray 7 Dark gray 8 Slightly darker than dark gray 9 Almost black 10 Black 4

5 Beoordelingsfamilies (Coertjens, 2017) Analytisch beoordelen Criterialijsten, rubrics opgedeeld staat netjes Betrouwbaarheid Validiteit Gray scale Description 1 White 2 Slightly darker than white 3 Between white and gray 4 Almost gray 5 Gray 6 Slightly darker than gray 7 Dark gray 8 Slightly darker than dark gray 9 Almost black 10 Black 5

6 Beoordelingsfamilies (Coertjens, 2017) Analytisch beoordelen Criterialijsten, rubrics opgedeeld staat netjes Betrouwbaarheid Validiteit Absoluut (per product) Holistisch beoordelen het geheel is meer dan de som van de delen Betrouwbaarheid Comparatief Vergelijkende methoden Paarsgewijs vergelijken vergelijken is puur natuur 6

7 Comparatief beoordelen VS Welke papers is de beste? VS 7

Deze paper draagt echt nieuwe wetenschappelijke

Volgens mij kan je nog verder gaan in je

Denk bv aan Beoordelaar B Schitterend gebruik van

8 Data Feedback Sterke punten Werkpunten Beoordelaar A Zeer relevante onderzoeksvraag. Deze paper draagt echt nieuwe wetenschappelijke inzichten aan. Volgens mij kan je nog verder gaan in je praktische implicaties. Denk bv aan Beoordelaar B Schitterend gebruik van mixed methode. Ik zou je vervolg onderzoek nog meer in de verf zetten. Kijk eens naar (hupeldepup, 2012) Beoordelaar C Must read! 8

9 Data Rangorde Kwaliteitsscores (in logits) met betrouwbaarheidsinterval Scale Separation Reliability Geeft schatting van interbeoordelaars betrouwbaarheid (Verhavert, 2017) Misfit data voor beoordelaars Welke beoordelaars hebben een andere kijk (in vergelijking met de gedeelde consensus van beoordelaars?) Misfit data voor representaties Welke representatie(s) zijn moeilijk te beoordelen? SSR=.80 9

10 Rangorde <-> punten 2 punten toekennen, en berekenen a.d.h.v. ability 6/20 14/20 voldoende 15/20 Voldoende meenemen (+ 1 extra punt) 10

11 Rangorde <-> punten Benchmarks 6/20 8/20 10/20 12/20 14/20 11

12 Voorbeeld tool - Maak enkele vergelijkingen: URL: Ga naar Beoordeel 12

13 Voorbeeld competenties o o Schrijfvaardigheden: Argumentatieve teksten Synthese teksten Creatieve teksten Formele brieven Onderzoeksvaardigheden: Wetenschappelijke rapporten Papers o o Beeldende vaardigheden Schetsen (image) Moodboards (image) Personal branding (poster) Animatiefilms (movie) Spreekvaardigheden Presenteren (movie) Bachelor-master proeven Interviewen (movie/audio) o Labo verslagen (tekst + grafieken) Zelfreflecties Probleemoplossing Wiskunde o Combinaties Porfolio s Stages (video) Statistiek ER diagrammen (schema) 13

14 Werkwijze 14

15 Praktijkvoorbeelden 15

Selectie/summatief beoordelen 50 studenten multimedia -> 50 animatics 9 beoordelaars Docenten Professionals: geluidshuis, software bedrijf, grafische vormgever/illustrator

16 Selectie/summatief beoordelen 50 studenten multimedia -> 50 animatics 9 beoordelaars Docenten Professionals: geluidshuis, software bedrijf, grafische vormgever/illustrator Werkbelasting: 347 vergelijkingen 14 vergelijkingen per animatic 38 vergelijkingen per beoordelaar 80 sec. per vergelijking = 50 min. Resultaat: Betrouwbaarheid rangorde.72 16

17 Peer assessment Eenvoudig studenten beoordelen even betrouwbaar als docenten (SSR beide groepen =.77; correlatie =.65) Veilig want alles gaat anoniem Leerkansen: Vergelijken Feedback formuleren Feedback krijgen Sterke en verbeterpunten Positie in rangorde Voorbeelden Mediërende rol docent 17

18 Peer assessment leercyclus Bespreking Summatief? Bespreking Versie 1 10 taken 18

19 Combinatie peer assessment/summatief Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde 19

20 Combinatie peer assessment/summatief Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde Tutoren: - 14 fails - Gelijkaardige FB 20

21 Combinatie peer assessment/summatief Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde Tutoren: - 14 fails - Gelijkaardige FB Laattijdig ingediend->fail ongeacht kwaliteit 21

22 Professionalisering Voorbeeld Ahovoks 9 interne beoordelaars 16 externe beoordelaars 37 teksten Pre-test: 5 misfits Professionaliseringsdag Post-test: 1 misfit Data externe 1 Rangorde internen Data externe 2 Data externe 22

23 Kwaliteitszorg / peilingsonderzoek Welke uitspraak typeert onze school het beste? A Wij doen de nodige inspanningen opdat elke leerling zich goed voelt op school B Onze lessen sluiten aan bij de voorkennis van de leerlingen. Welke uitspraak typeert jou het best op dit moment? A Ik vind goed vaak niet goed genoeg B Ik doe het liefst alles zelf Ik kan goed delegeren Als iets mislukt, voel ik me schuldig 23

24 Live assessment Beoordelen interactieve installaties (Avans) Beoordelen afstudeerprojecten architectuur (UA) 24

25 Live assessment Procedure A. Demo/presentatie B. Beoordelen met D-PAC C. Punten toekennen 25

26 Live assessment Bevindingen Doet recht aan werken Beoordelen snel en simpel Elk jury-lid kan zich vinden in punten Tijd voor feedback 26

27 Toekomstmogelijkheden 27

28 Kwaliteitszorg beoordelingen Bijvoorbeeld op departementen/academies Groeien we over de jaren heen naar elkaar toe als beoordelaars? Hoe evolueert dit als er mensen de instelling verlaten/bijkomen? Is er genoeg diversiteit? Hoe verhouden we ons als docenten tot het werkveld? Benchmarks Rangorde jaar 1/ klas A/ Rangorde jaar 2/ Klas B/ 28

29 Leerwinstmonitoring Benchmarks/schalen hergebruiken Over opdrachten heen (zelfde competentie) Over jaren heen 29

30 Centrale toetsing Representatieve schalen, b.v. schrijfvaardigheid Vlaanderen, Nederland Individuen, klassen, jaren, scholen, inschalen op representatieve schaal bewaken standaard tendensen en evoluties op niveaus succesvolle interventies? 30

31 Conclusie Comparatief beoordelen genereert rijke data die leerkansen biedt op alle niveaus en zou daarom een plaats moeten krijgen in elk evaluatiebeleid 31

32 Referenties Bouwer, R., Goossens, M., Mortier, A., Lesterhuis, M., & De Maeyer, S. (2018). Een comparatieve aanpak voor peer assessment : leren door te vergelijken. In D. Sluijsmans & M. Segers (Eds.), Toetsrevolutie : naar een feedbackcultuur in het hoger onderwijs (pp ). Phronese. Coertjens, L., 2017: Key-note op D-PAC event. UAntwerpen Lundstrom, K., & Baker, W. (2009). To give is better than to receive: The benefits of peer review to the reviewer's own writing. Journal of second language writing, 18(1), Rollinson, P. (2005). Using peer feedback in the ESL writing class. ELT journal, 59(1),

33 Informatie 33

Vergelijkbare documenten

De leerkansen die comparatief beoordelen biedt

De leerkansen die comparatief beoordelen biedt Maarten Goossens 8/11/2018 1 Comparatief beoordelen 8/11/2018 2 Beoordelingsfamilies (Coertjens, 2017) Holistisch beoordelen het geheel is meer dan de som