D-PAC feedback op organisatieniveau

Transcriptie

1 12/10/2017 D-PAC feedback op organisatieniveau Hoe D-PAC kwaliteitszorg en organisatie-ontwikkeling kan ondersteunen Roos Van Gasse

2 Nut van assessment feedback op organisatieniveau Wat verwachten we van assessments? Een prestatie krijgt op verschillende momenten van verschillende beoordelaars hetzelfde oordeel à betrouwbaarheid Bij het beoordelen van een prestatie waarderen beoordelaars alle aspecten van de competentie die we willen meten à validiteit Betrouwbare en valide meting

3 Nut van assessment feedback op organisatieniveau Wat loopt vaak fout in assessments? Vergelijkbare oordelen worden gegeven, maar het oordeel wordt niet bepaald door de onderliggende competentie à validiteitsprobleem Competentie wordt correct gemeten, maar prestaties worden anders beoordeeld op verschillende momenten of door verschillende beoordelaars à betrouwbaarheidsprobleem Combinatie van beide voorgaande problemen Betrouwbaar, niet valide Valide, niet betrouwbaar Niet valide, niet betrouwbaar

4 Nut van assessment feedback op organisatieniveau Grootste probleem? We weten vaak niet waar het fout loopt. Kijken beoordelaars naar dezelfde aspecten? Zijn beoordelaars even streng? Is het assessment betrouwbaar? En als we willen weten waar het fout loopt, kost dat veel tijd en energie om erachter te komen.

5 D-PAC feedback: functionaliteiten Generiek over het assessment: Rangorde Betrouwbaarheid: kwaliteit van de rangorde Tijdsindicatie: efficiëntie

6 D-PAC feedback: functionaliteiten Per product dat beoordeeld wordt: Aantal beoordelingen per product Prestatie-score: kans dat het product als beter wordt beoordeeld dan een ander product Eensgezindheid-score: mate waarin beoordelaars het product gelijkaardig beoordelen

7 D-PAC feedback: functionaliteiten Per beoordelaar: Aantal beoordelingen die gemaakt zijn Tijdsinvestering in het assessment Mate voor eensgezindheid met collega-beoordelaars Berekend op aantal afwijkende keuzes t.o.v. de consensus van de groep

8 Potentieel van feedback voor kwaliteitszorg en organisatieontwikkeling Hoe kan D-PAC feedback organisaties ondersteunen in het monitoren en verbeteren van assessmentkwaliteit? à case van Vlaamse Examencommissie (AHOVOKS)

9 AHOVOKS met D-PAC aan de slag Context: 30 interne examinatoren en 189 externe freelance examinatoren Departement Engels: ongeveer 3 internen en 25 externen Achterliggend probleem: Interbeoordelaarsbetrouwbaarheid: worden onze examentaken op dezelfde manier beoordeeld door verschillende beoordelaars? Probleem situeert zich voornamelijk op verschil interne versus externe examinatoren Doel: Garantie voor een eenduidige manier van beoordelen Oordeel over competenties onafhankelijk van de beoordelaar

10 AHOVOKS met D-PAC aan de slag Vragen vanuit AHOVOKS: In welke mate kan D-PAC inzicht bieden in verschillen tussen interne en externe examinatoren? In welke mate leidt professionalisering van examinatoren tot meer overeenstemming? Tijdspad Mei/juni 2016 Augustus 2016 December 2016 Januari 2017 Assessment door internen Assessment door externen Professionalisering Evaluatie assessment

11 AHOVOKS met D-PAC aan de slag Vragen vanuit AHOVOKS: In welke mate kan D-PAC gebruikt worden om data te genereren die inzichten biedt in verschillen tussen interne en externe examinatoren? In welke mate leidt professionalisering van examinatoren tot meer overeenstemming? Tijdspad Assessment door internen Assessment door externen Professionalisering Evaluatie professionalisering Mei/juni 2016 Augustus 2016 December 2016 Januari 2017

12 AHOVOKS met D-PAC aan de slag 33 informele brieven in het Engels Beschrijf je gastfamilie op de foto niveau A2 4 niveau-benchmarks

13 D-PAC resultaten Geen afwijkende beoordelaars onder internen (rangorde met betrouwbaarheid 0.86) Wél afwijkende beoordelaars onder externen (6 van de 16) Standardized likelihood à waarde kleiner dan -2 = afwijkend

14 Wat betekent het om afwijkend te beoordelen? Vragenlijst: waarop beoordelen internen en externen informele brieven? Consensus Inhoud Taalfouten Taalgebruik Engelse woordenschat Stijl Structuur Grammatica Lay-out Afwijkende beoordelaars Structuur Taalgebruik Lay-out Taalfouten Grammatica Stijl Engelse woordenschat Inhoud Voorzichtigheid geboden over welke groep juist is!

15 Consensus creëren Tijdens een 4 uur durende professionalisering Deel I: Hoe beoordeel ik? oefeningen om expliciet te maken waar men naar kijkt bij het beoordelen (adhv teksten waarover onenigheid was in D-PAC) Deel II: Hoe beoordelen anderen? oefeningen om tot consensus te komen over belangrijkste aspecten bij het beoordelen van informele teksten (in paren en groepen à per groep minstens 1 afwijkende beoordelaar) Deel III: Terugkoppeling in gehele groep

16 Consensus creëren Welke leeractiviteiten vonden er plaats (Little, 1990)? Verhalen vertellen: vertellen over dagelijkse beoordelingspraktijken Helpen: vragen stellen of hulp bieden m.b.t. het beoordelen van informele brieven (vb. wat het vereiste niveau is) Delen: visies delen over waarom bepaalde aspecten belangrijk zijn in het beoordelen van informele brieven Samenwerking: tot overeenkomst komen over welke aspecten essentieel zijn in het beoordelen van informele brieven

17 Wat leverde de professionalisering op? Evaluatief assessment om na te gaan of de consensus vergroot was Nog steeds afwijkend?

18 Wat leren we hier uit? Voor D-PAC Afwijkende beoordelaars wijken niet alleen toevallig statistisch af, maar verschillen in conceptualisering Gerichte interventies kunnen assessment kwaliteit verhogen Voor gebruikers Assessment data uit D-PAC voor kwaliteitszorg Bespreekbaar maken van assessment processen (o.a. door maat voor afwijkende beoordelingen) Eenvoudige monitor voor hoe een assessment loopt Oppassen voor veroordelen van afwijkende beoordelaars (wat is juist?)

19 D-PAC als tool voor kwaliteitszorg Wetende dat dit één functionaliteit is om D-PAC in te zetten in het kader van kwaliteitszorg, maar er zijn er meer Bedankt voor uw aandacht. Vragen?