Leren van een assessment. Workshop IVG Scholingsdag Toetsing Eric Entken en Titia van Eijndhoven 12 november 2012

Transcriptie

1 Leren van een assessment Workshop IVG Scholingsdag Toetsing Eric Entken en Titia van Eijndhoven 12 november 2012

2 Doelstelling Hoe kun je de kwaliteit van jouw beoordeling en feedback verbeteren bij een portfolio -assessment?

3 Verscheidenheid in vorm portfolio

4 Uitgangspunten portfolio - assessment bij Verloskunde beoordeling op achtereenvolgens: algemene eisen (voor bewijs en minimum eisen), competenties en HBO niveau keuze van bewijs is aan de student (behalve minimumeisen geen verplicht bewijs) producten gemaakt op school en/of stage (uit diverse bronnen afkomstig) leren in de praktijk an sich wordt niet beoordeeld per competentie naast bewijs ook een verplicht verbindend verhaal over groei en betekenis van het bewijs voor de competentie HBO - criteria (operationalisatie DD) aangewezen per niveau 1 e jaar 4x, 2 e jaar 2x, 3 e en 4 e jaar 1x portfolio, gesprek en direct aansluitende beoordeling altijd assessor opleiding én werkveld, altijd training vooraf

5 Algemene criteria voor bewijsmateriaal Authenticiteit: het aangedragen bewijsmateriaal dient daadwerkelijk een beeld te geven van jouw competentiebeheersing (dus bij groepswerk bijvoorbeeld moet je jouw aandeel kunnen laten zien); Actualiteitswaarde: het aangedragen bewijsmateriaal dient van een recente periode te zijn; Relevantie: het aangedragen bewijsmateriaal dient een beeld te geven van de beheersing van de competentie passend binnen de betreffende beroepstaak; Kwantiteit: het aangedragen bewijsmateriaal dient een reëel beeld te geven van de competentiebeheersing. Er moeten meerdere bewijsstukken zijn opgenomen per gevraagde relevante competentie binnen de beroepstaak; Variatie: het aangedragen bewijsmateriaal moet een beeld geven van de competentiebeheersing van verschillende aspecten van de beroepstaak. Validiteit: het bewijsmateriaal dient representatief te zijn voor de beheersing van de competentie binnen de specifieke beroepstaak. Betrouwbaarheid: elke competentie dient in minimaal 2 verschillende contexten* te worden aangetoond. ( *niet van toepassing in propedeuse)

6 Rolverdeling in assessment docent stagebegeleider assessor aspirant collega student

7 Taak assessor (Sinke 2006) competentie-ontwikkeling (helpen!) vaststellen (wat gaat goed?) kwalificeren ontwikkeling (is goed goed genoeg?) feedback verzorgen

8 Observatieoefening Opdracht: 5 minuten feitelijke waarnemingen noteren (opschrijven) Uitwisselen in duo: zijn het feitelijke waarnemingen? mogelijke persoonlijke valkuilen bespreken

9 Valkuilen beoordelaars (voorbeelden) Sequentie-effect: de resultaten van de ene beoordeling gevolgen laten hebben voor een andere (bijv. in de loop van de tijd steeds strenger beoordelen of na enkele goede studenten een matige student als slecht beoordelen) Halo - / Horn effect: de beoordelaar veronderstelt dat als één bewijsstuk goed of slecht is, de andere bewijsstukken van dezelfde kwaliteit zullen zijn. Naar een eindresultaat toe redeneren: het kan zijn dat de beoordelaar de stellige overtuiging heeft dat de student met een onvoldoende beoordeeld moet worden, zonder dat dat oordeel op grond van observaties en dergelijke waargemaakt kan worden. Contaminatie-effect: het gebruiken van een beoordeling voor een ander doeleinde dan waarvoor de beoordeling eigenlijk bedoeld is (b.v. een docent die een goed indruk wil maken door zijn studenten hoge of juist lage cijfers te geven)

10 Valkuilen bij observeren: je gaat interpreteren Te snel oordelen: eerste indruk of ervaring met student Op basis van te weinig informatie oordelen De persoonlijkheid van degene die beoordeelt, speelt mee in de beoordeling De gevolgen van de beoordeling, beïnvloeden de beoordeling

11 WACKER - methode Waarnemen: beeld van het handelen en producten in relatie tot competenties, beroepstaak en HBO-niveau Aantekenen: noteer waarnemingen scheidt feitelijke informatie en interpretatie Classificeren: elke assessor maakt ordening in overzicht competenties en HBO -criteria Kwantificeren: elke assessor omzetten in waardering per beoordelingseenheid (1 algemeen, 2 competenties, 3 HBO -criteria) Evalueren: in nauw overleg spreken assessoren per beoordelingseenheid en komen tot een eindoordeel Rapporteren: maken gezamenlijk verslag waarin uitkomst evaluatie onderbouwd wordt door weergave van de meest relevante waarnemingen

12 Feedback en leerresultaten frequentie en kwaliteit van feedback zijn de belangrijkste voorspellers van leerresultaten belangrijker dan wijze van lesgeven of kwaliteit van de docent (Hattie& Timperley (2007), Simons 2009)

13 Vier soorten feedback 4 soorten feedback (Hattie & Timperley, 2007): taak gericht (wat) proces gericht (hoe) gericht op kwaliteit van de zelfregulatie gericht op level of self

14

15 Belangrijkste resultaten review ( van 196 studies) Hattie over feedback (2007) : feedback op level of self is meestal ineffectief feedback op taken kan beter ook feedback op proces en zelfregulatie omvatten feedback op positieve resultaten is effectiever dan feedback op fouten prijzen alleen helpt niet hoe meer gedetailleerd feedback is hoe beter de resultaten

16 Feedback is effectief (Hattie/Timperley 2007): als het antwoord geeft op drie belangrijke vragen: waar ga ik heen? (feed up) hoe doe ik het tot nu toe? (feedback) wat zijn vervolgstappen? (feed forward)

17 Beoordelen en feedback (1) Naar jezelf als assessor: wat betekent mijn eerste reactie op iets? Valkuil? Interpretatie? Intersubjectiviteit (nastreven)? als ik feedback geef dan wil ik bereiken dat.doel? een beargumenteerd oordeel levert wat op voor de student in ontwikkeling: een richting om van een halfvol glas een vol glas te maken (van doel naar positief vervolg)

18 Beoordelen en feedback (2) In je formuleringen: concretiseer je feedback zo veel mogelijk. Geef voorbeelden/observaties, formuleer smart koppel feedback aan feedback die de student reeds heeft gekregen over de bijgevoegde producten. Laat je (over)wegingen hierbij zien. koppel feedback aan doel: beschrijvingen beroepstaak, competenties, HBO (aan gevraagde handelen, producten): je toont, je laat zien, je geeft blijk van inzicht Een volgende stap in je ontwikkeling zou kunnen zijn om.(richting het doel)

19 Werkwijze beoordeling en feedback bij Verloskunde (1) portfolio beoordelen assessoren separaat (Wacker) 1 e moderatie assessoren (Wacker): voorbereiding gesprek (keuze uit: initiatief bij student (koers op voldoende), initiatief bij assessoren (bij twijfel) of feedbackgesprek bij reeds onvoldoende portfolio (portfolio is leidend t.o.v. gesprek) gesprek (CGI-Starrt) 2 e moderatie assessoren (Wacker): formuleren beoordeling en feedback (aan de hand beoordelingsformulier criteria)

20 Werkwijze beoordeling en feedback bij Verloskunde (2) meedelen beoordeling en feedback (letterlijke formulering schriftelijke feedback!) (voorkomen mondelinge ruis en bewaking van scheiden beoordelen en begeleiden ) vraag student binnen ½ uur na het assessment de ontvangen feedback op te schrijven mogelijkheid assessor in weken na assessment nogmaals te spreken voor concretisering