Ontwerpen van een instrument voor de collegiale screening van kennistoetsen

Maat: px

Weergave met pagina beginnen:

Download "Ontwerpen van een instrument voor de collegiale screening van kennistoetsen"

Thomas van Dongen
7 jaren geleden
Aantal bezoeken:

1 Jan Adema Karin J. Gerritsen-van Leeuwenkamp MSc Dr. Gerard J.J.M. Straetmans NVE Nunspeet, 10 november 2016 Ontwerpen van een instrument voor de collegiale screening van kennistoetsen

2 Inleiding Kwaliteit van kennistoetsen Kwaliteit kennistoetsen niet altijd voldoende (Van Os & Van Beek, 2012; Van Hees, 2013). Onterechte zak/ slaag beslissingen (Sanders, 2011). Invloed op gerealiseerde eindniveau en waarde van diploma s.

3 Inleiding Collegiale screening Vorm van formatieve evaluatie. Externe validering (Hbo-raad, 2012). Professionalisering van docenten (Expertgroep BKE/SKE, 2013). Systematisch inzetten van collegiale screening vraagt standaardisatie. Veelal geen gestandaardiseerde instrumenten beschikbaar voor examencommissies (Inspectie van het onderwijs, 2015).

4 Discussie Stelling De vakinhoudelijke screening door een collega is een essentieel onderdeel van de kwaliteitsbepaling van een examen.

5 Inleiding Doel De ontwikkeling van een praktisch en verantwoord instrument, waarmee de kwaliteit van de constructiefase van kennistoetsen kan worden beoordeeld.

6 Methode Educational design research (Mckenney in Plomp & Nieveen, 2007)

7 Methode Fase 1: het vooronderzoek Literatuurstudie. gecodeerd m.b.v. deelproducten toetscyclus: 1) basisontwerp; 2) construeren toetsmatrijs; en 3) construeren toets/normeren (Expertgroep BKE/SKE, 2013). Selectie criteria: constructiefase; observeerbaar

8 Methode Fase 2: ontwerp en formatieve evaluatie Opstellen criteria en hulpvragen: criteria geven kwaliteit aan; hulpvragen ondersteunen oordeelsvorming. Vormgeving prototype 1: gekoppeld aan deelproducten toetscyclus: 1) basisontwerp; 2) construeren toetsmatrijs; en 3) construeren toets/normeren (Expertgroep BKE/SKE, 2013).

9 Methode Fase 2: ontwerp en formatieve evaluatie

10 Methode Fase 2: ontwerp, ontwikkeling en formatieve evaluatie Formatieve evaluatie prototype 1: validering door toetsexperts (n=18) en docenten (n=12); relevantie; volledigheid; juistheid; duidelijkheid; codering opmerkingen. Vormgeving prototype 2: cruciaal en belangrijk; 14 criteria, 54 hulpvragen; schalen JN, OVG, ik weet dit niet.

11 Methode Fase 3: semi-summatieve evaluatie Semi-summatieve evaluatie prototype 2 24 tweetallen screeners drie instellingen en zeven opleidingen procedure informatiebijeenkomst uitnodiging via rapportage per tweetal berekenen beoordelaarsovereenstemming Vormgeving prototype 3 in applicatie 13 criteria en 48 hulpvragen

12 Resultaten Formatieve evaluatie prototype 1 Feedback: vrijwel alle criteria en hulpvragen belangrijk of cruciaal; de lijst is compleet maar (te) lang; vakjargon geeft onduidelijkheid; de indeling naar producten is duidelijk en concreet.

13 Resultaten Formatieve evaluatie prototype 1 18 toetsexperts en 12 docenten; Acties naar aanleiding van feedback: herordenen en herformuleren van criteria en hulpvragen; toelichtingen bij moeilijke termen; routing op basis van gegevens van deelproducten; steekproef van opgaven.

14 Resultaten Semi-summatieve evaluatie prototype 2 24 paren van screeners uit 3 instellingen en 7 opleidingen Feedback: doelmatigheid en bruikbaarheid minimaal voldoende; volledig; formulering goed; pop-ups bij vakjargon zinvol; screenen duurt gemiddeld 38 minuten.

15 Resultaten Semi-summatieve evaluatie prototype 2 Kunnen we staat maken op de uitkomsten van het instrument?

16 Criteria prototype 3 1 De toetsmatrijs is correct opgesteld. 2 De opgaven zijn uitwerkingen van de leerdoelen en het cognitieve beheersingsniveau zoals vermeld in de toetsmatrijs. 3 De (deel)opgaven bevatten een duidelijke opdracht. 4 De inleidende teksten, casussen of visueel materiaal zijn van goede kwaliteit. 5 Het juiste antwoord is inhoudelijk correct. 6 Alternatieven van de gesloten vragen zijn effectief. 7 Het scorevoorschrift maakt een objectieve verwerking van de antwoorden tot scores mogelijk. 8 Het taalgebruik van de toets is correct en uniform. 9 De toets is zorgvuldig vormgegeven en samengesteld. 10 De scoring en de cesuur zijn methodisch verantwoord en helder. 11 De herkansing is een toets met andere opgaven maar van gelijkwaardig niveau. 12 De toets wordt veilig verspreid en bewaard. 13 Met de toets wordt vastgesteld of de student het toetsdoel bereikt heeft zoals beschreven in het examenprogramma/modulebeschrijving.

17 Screenshots instrument Toetsconstructeur (of lid Examencie.) nodigt een screener uit. Jansen

18 Screenshots instrument Uitnodiging

19 Screenshots Instrument Bepaling van de te gebruiken criteria

20 Screenshots Instrument Evaluatie van criterium op grond van hulpvragen

21 Screenshots Instrument Rapportage voor examencommissie

22 Tot slot Wettelijk is vastgelegd dat examencommissie leden de kwaliteit van toetsen moeten waarborgen. Inzet van een gestandaardiseerd instrument, waarvan de kwaliteit in de toetspraktijk is gebleken is daarbij bruikbaar. Een digitale applicatie is beschikbaar. Implementatie van de digitale applicatie vraagt nog aandacht.

23 Discussie Stellingen Een vakinhoudelijke screening door een collega is een essentieel onderdeel van de kwaliteitsbepaling van een examen. Inzet van dit instrument leidt tot substantiële verbetering van de toetskwaliteit (en is dus niet zonde van de tijd). De toetsconstructeur is de eigenaar van de screeningsdata van zijn toetsen.

24 Vragen Mag ook via de

25 Literatuurlijst Brennan, R. L., & Prediger, D. J. (1981). Coefficient Kappa: some uses, misuses, and alternatives. Educational and psychological measurement, 41(3), doi: / Expertgroep BKE/SKE. (2013). Verantwoord toetsen en beslissen in het hoger onderwijs, een voorstel voor een programma van eisen voor een basis- en seniorkwalificatie examinering (BKE/SKE). Den Haag: Vereniging hogescholen. Hbo-raad. (2012). Vreemde ogen dwingen: eindrapport commissie externe validering examenkwaliteit hoger beroepsonderwijs. Den Haag: Hbo-raad. Inspectie van het onderwijs. (2015). Verdere versterking onderzoek naar het functioneren van examencommissies in het hoger onderwijs. Utrecht: Inspectie van het onderwijs,. Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33, Plomp, T., & Nieveen, N. (2007). An introduction to educational design research. Enschede: SLO. Sanders, P. (2011). De betrouwbaarheid van toetsscores. In P. Sanders (Ed.), Toetsen op school (pp ). Arnhem: Cito. Van Hees, C. (2013). Beoordelen van de kwaliteit van toetsing. Uitvoering van interne kwaliteitsmeting bij Saxion. Examens, 10(3), Van Os, W., & Van Beek, M. (2012). Toetskwaliteit in objectieve zin en volgens het oordeel van studenten: een casestudy. Tijdschrift voor het hoger onderwijs, 30(4),

Vergelijkbare documenten

1. De opbrengsten van de aanbevelingen van de commissie Bruijn

1. De opbrengsten van de aanbevelingen van de commissie Bruijn Bestuurlijke afspraken tussen de HBO-raad en de Minister van Onderwijs Cultuur en Wetenschap, naar aanleiding van het advies Vreemde ogen dwingen van de Commissie externe validering examenkwaliteit hoger