07/04/2017 Competenties kwaliteitsvol beoordelen NL/VL Platform Taalbeleid Hoger Onderwijs Sven De Maeyer Marije Lesterhuis Roos Van Gasse Universiteit Antwerpen www.d-pac.be d-pac@uantwerpen.be
D-PAC project 2
Digital Platform for the Assessment of Competences 3
Overzicht 4 1. Aanleiding D-PAC project 2. Comparatief beoordelen als alternatief 3. Demo van de tool 4. Implementatie in de praktijk 5. Enkele wetenschappelijke bevindingen 6. Hoe zou jij het inzetten?
Complexiteit Authenticiteit Aanleiding 5 Taalcompetenties zijn vaak complex
Aanleiding 6 Het beoordelen van complexe competenties is lastig: op welke aspecten let je wel en welke niet? welk oordeel geef je, wat is de range? is deze beter dan de vorige? geef ik nog wel dezelfde scores als in het begin? geven mijn collega s dezelfde oordelen?
Beoordelen op een absolute manier 7 Hoe donker is dit vlak op een schaal van 1 tot 10?
Ondersteuning aan beoordelaars 8
Problemen met rubrieken en criterialijsten 9 Lastig om te construeren Definiëring van het construct Specifieke versus globale criteria Geen garantie voor betrouwbare en valide oordelen Nog steeds ruimte voor interpretatie van criteria > lage interbeoordelaarsbetrouwbaarheid Verschil in strengheid/mildheid van de beoordelaar Halo-effecten (vooral bij expertbeoordelaars) Volgorde-effecten
10 Comparatief beoordelen als alternatief Thurstone (1927): Law of Comparative Judgement Men is beter en betrouwbaarder in het vergelijken van twee objecten dan in het toekennen van absolute scores aan een enkel object
Beoordelen op een comparatieve manier 11 Welke van de 2 vlakken is het donkerst?
Rangorde van licht naar donker 12
Comparatief beoordelen van competenties 13 Elk representatie komt meerdere keren terug in een random samengesteld paar Meerdere beoordelaars vellen holistisch oordeel (evt. ook met feedback)
Hoe werkt dit in D-PAC? 14
Resultaten van comparatief beoordelen 15 Rangorde van representaties (scores in logits) Beoordelaars die afwijken van het model (misfits) Representaties die afwijken van het model (misfits)
Demonstratie 16 Surf naar https://sandbox.d-pac.be/tool Login Kies schrijfvaardigheden 5ASO demo onder de beoordeel-button
D-PAC in het hoger onderwijs 17 98x gebruikt, waarvan bijna de helft in het hoger onderwijs
18 D-PAC in het hoger onderwijs Tekst wetenschappelijk rapporteren abstracts essays labverslagen behandelingsplannen zelfreflectie-opdrachten portfolio 30 20 Hogeschool Universiteit Afbeeldingen statistische output personal branding moodboards ER diagrammen Video interviewvaardigheden animatiefilmpjes 10 0 beoordelen onderzoek peerassessment selectie
Wetenschappelijke bevindingen 19 1. betrouwbaarheid & efficiëntie 2. validiteit 3. belang van feedback voor student 4. belang van feedback voor organisatie
Betrouwbaarheid 20 Betrouwbaarheid van minimaal.70: gemiddeld 12 vergelijkingen per representatie minimaal 9, maximaal 20 Betrouwbaarheid van minimaal.80: gemiddeld 17 vergelijkingen per representatie minimaal 13, maximaal 25 Voorbeeld met 20 studenten: 20*12 vergelijkingen/2 = 120 vergelijkingen
Validiteit van comparatieve beoordelingen 21 Lesterhuis, van Daal, Van Gasse Coertjens, Donche, & De Maeyer (2017)
Peer assessment 22 Eenvoudig om te doen: studenten beoordelen even betrouwbaar als docenten (SSR =.75-.79) Veilig: alles gaat anoniem Leren door te vergelijken Voorbeelden van uiteenlopende kwaliteit Kwaliteitscriteria vaststellen (bottom-up) Self-efficacy Bereidheid om feedback te gebruiken Focus op hogere orde aspecten van de taak
Feedback voor de student 23 Mortier, Lesterhuis, Vlerick, Donche, & De Maeyer (2017)
Rol van docent bij peer assessment 24
Cijfers geven op basis van de rangorde 25
Professionaliseren van beoordelaar 26 Interne & externe medewerkers beoordelen duizenden teksten per jaar Welke van de externe medewerkers hebben training nodig? Rangorde van 37 teksten: experten (N = 9) en externen (N = 16) 5 externe medewerkers die significant afweken van de rangorde van experten (misfit analyse) Misfits waarderen dimensies van schrijven anders dan experten Professionaliseringsdag: wat is een goede tekst? Achteraf nog een ronde met vergelijkingen Externe medewerkers op één lijn met experts (nog 1 misfit)
27 Voordelen van beoordelen met D-PAC Vooraf Geen vooraf opgestelde rubrics, Geen trainingssessies of intervisiebijeenkomsten Tijdens het beoordelen Expertise van beoordelaars wordt gebruikt Holistische oordelengeen orde-effecten Eenvoudig en snel, ook goed in te zetten voor peer assessment Achteraf Een valide en betrouwbare rangorde Mogelijk om de ontwikkeling van studenten te volgen Extra informatie om docenten te professionaliseren
Een casus bespreken in een kleine groep 28 Voor welke toepassing zou je D-PAC graag gebruiken? Voor welke problemen zou dit een oplossing bieden? Welke randvoorwaarden/ belemmeringen zien jullie om het te implementeren? Vragen? Uitproberen? d-pac@uantwerpen.be
Meer weten? www.d-pac.be