15/11/ 17 Peer assessment Welke oplossingen biedt D-PAC Maarten Goossens maarten.goossens@d-pac.be
Wat is er zo moeilijk aan peer assessments?
Wat is er zo moeilijk aan peer assessments? - Rubrics begrijpen en toepassen (Bloxham, 2009, 2016; Sadler 2009)
Wat is er zo moeilijk aan peer assessments? - Rubrics begrijpen en toepassen - Peer pressure (Topping, 2000)
Wat is er zo moeilijk aan peer assessments? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance (Gielen et al., 2010)
Wat is er zo moeilijk aan peer assessments? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol?
Wat is er zo moeilijk aan peer assessments? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol? - Tijdrovend! (Sluijsmans et al., 1998; Topping, 2000)
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol? - Tijdrovend!
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Kwaliteitsvol? - Tijdrovend!
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? Nood aan - Voorbeelden - Kwaliteitsvol? - Tijdrovend! (Orsmond et al. 2002; Topping, 1998)
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? Nood aan - Voorbeelden - Co- constructie - Kwaliteitsvol? - Tijdrovend! (Fraile, Panadero & Prado, 2017)
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Comparatief/holistisch - Kwaliteitsvol? - Tijdrovend!
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Comparatief/holistisch - Anoniem - Kwaliteitsvol? - Tijdrovend!
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Comparatief/holistisch - Anoniem - Begeleiding docent nodig - Kwaliteitsvol? - Tijdrovend!
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Comparatief/holistisch - Anoniem - Begeleiding docent nodig - Kwaliteitsvol? - Tijdrovend!
19 Kwaliteit van Peer Assessment in D-PAC Onderzoeksvragen: 1. Zijn studenten in staat een betrouwbare rangorde te genereren met paarsgewijze vergelijking? 2. In hoeverre komen studentoordelen overeen met docentoordelen?
20 Kwaliteit van Peer Assessment in D-PAC 2 cases: Moodboards (Interieur, Architectuur, Stedenbouw; UAntwerpen) ER schema s (Industriële Ingenieurswetenschappen; KU Leuven)
21 Betrouwbaarheid Peer Assessment in D-PAC Resultaten voor moodboards ρ=.75
22 Betrouwbaarheid Peer Assessment in D-PAC Resultaten voor ER-schema s
23 Validiteit Peer Assessment in D-PAC Moodboards ρ=.65 ρ=.63 ER-schema s ρ=.62 Expertise van studenten is minder ontwikkeld, ze kunnen dus op andere aspecten focussen (Lesterhuis et al. 2016)
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol? - Tijdrovend! De D-PAC oplossing? - Welke van de 2 is de beste? - Holistisch - Anoniem - Begeleiding docent nodig - Ja
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol? - Tijdrovend! De D-PAC oplossing? - Welke van de 2 is de beste? - Holistisch - Anoniem - Begeleiding docent nodig - Ja
Tijdswinst Organisatorisch/administratief - Geen ontwerp rubrics, geen training nodig - Web-based - Studenten laden zelf hun werk op - D-PAC verdeeld de werken, uitval wordt opgevangen - Verwerkt de resultaten en stelt ze online ter beschikking - Eenvoudige monitoring deelname en inzet Minder verbeterwerk - Studenten doen het werk
Minder verbeterwerk Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde
Minder verbeterwerk Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde Docent: - 14 fails - Gelijkaardige FB
Minder verbeterwerk Studenten: - Rangorde van minst goede tot beste paper via CJ - Gem. 10 min per vergelijking - Feedback = relevant, eerlijk en terecht, hoeveelheid is een meerwaarde Docent: - 14 fails - Gelijkaardige FB Laattijdig ingediend->fail ongeacht kwaliteit Enkel nog onderste 30% checken
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance - Kwaliteitsvol? - Tijdrovend! De D-PAC oplossing? - Welke van de 2 is de beste? - Holistisch - Anoniem - Begeleiding docent nodig - Ja - Tijdswinst!
Hoe leren ze ervan? Een comparatieve aanpak voor peerassessment: leren door te vergelijken Bouwer, Goossens, Mortier, Lesterhuis en De Maeyer Door te vergelijken Vele voorbeelden > eigen referentiekader ontwikkelen (Orsmond et al. 2002) Vergelijken lokt dieper leren uit (Pachur & Olson, 2012) Leren door het geven van peer feedback (Lundstrom & Baker, 2009) Ontvangen peer feedback Inzicht in niveau van hun huidige prestatie, relatief en absoluut (rangorde) Specifieke plus- en verbeterpunten > bridge the gap (Hattie & Timperly, 2007) Meer FB op hoge orde (complexe) aspecten (Lesterhuis & Mortier, 2016) 31
32 Hoe ervaren studenten de FB uit D-PAC Betrouwbaar, relevant, eerlijk Specifieke FB om prestatie te verbeteren Feedback van meerdere peers
Moeilijkheden? - Rubrics begrijpen en toepassen - Peer pressure - Feedback acceptance De D-PAC oplossing? - Welke van de 2 is de beste? - Holistisch - Anoniem - Begeleiding docent nodig - Kwaliteitsvol? - Tijdrovend! - Ja - Tijdswinst! - Leerwinst
34 Docenten begeleiding Eventuele check/ herhaling bespreking In college bespreken van resultaten 10 representatieve taken van diverse kwaliteit, studenten maken 5 vergelijkingen + geven FB Studenten vergelijken + FB Resultaten Schrijven/ reviseren Vergelijken +FB geven Deelpunt op basis van studentenrangorde + punt voor gegeven FB