Toetsdeskundigheid in examencommissies Vereniging Hogescholen. Dr. Kim Dirkx

Transcriptie

1 Toetsdeskundigheid in examencommissies Vereniging Hogescholen Dr. Kim Dirkx

2 Even voorstellen

3 Even voorstellen

4 Programma Jullie vragen staan vandaag centraal

5 Programma Jullie vragen staan vandaag centraal maar ik heb ook vragen aan jullie ;-)

6 Welke vragen hebben jullie (gestuurd)?

7 Hoe belangrijk is de innovatie in de borging van master eindniveau? Hoe ga je om met te laat inschrijven?

8 Eerste selectie Wat is belangrijk mbt examencommissie en accreditatie? Hoe belangrijk is de onderzoeksthesis in de borging? Wat is de rol van een extern Excielid? Is het instellen van een TC verplicht/handig? Wanneer is borging en beoordeling van het eindniveau goed? Best-practices pro-actieve excie

9 Vreemde Ogen Dwingen

10 Adviezen Externe validering van toetsing Externe validering van eindwerkstukken Toetsbeleid voeren Certificering van examinatoren en opleiding van docenten Visitatie commissies Vreemde ogen Toetskwaliteit evalueren

11 Accreditatiestelsel Standaard 3 De opleiding beschikt over een adequaat systeem van toetsing en toont aan dat de beoogde eindkwalificaties worden gerealiseerd Systeem van toetsing: beoordeling inzichtelijk, feedback, borging kwaliteit, toetsing en beoordeling Realisatie beoogde eindkwalificaties

12 Accreditatiestelsel Realisatie beoogde eindkwalificaties o o o o o Tussentijdse en afsluitende toetsen Afstudeerwerkstukken De wijze waarop afgestudeerden in de praktijk of in een vervolgopleiding functioneren De toetsen en beoordeling zijn valide, betrouwbaar en inzichtelijk Samenhang in het programma

13 Accreditatiecheck Beschikt de opleiding over een adequaat systeem van toetsen? Garandeert het systeem van toetsen kwalitatief hoogwaardige toetsen? Maakt het systeem van toetsen expliciet deel uit van een PDCA cyclus? Maken de afzonderlijke toetsen altijd deel uit van een PDCA cyclus? Is er in alle gevallen sprake van valide en betrouwbare toetsen die voor studenten inzichtelijk zijn? Worden er bij toetsen verifieerbare beoordelingscriteria gehanteerd? Is het verifieerbaar dat bij de beoordeling de beoordelingscriteria zijn toegepast? Worden toetsen vooraf op kwaliteit beoordeeld? Worden toetsen altijd geëvalueerd? Worden toetsresultaten gemonitord?

14 Accreditatiecheck Toetst het afstudeerproduct en de beoordeling daarvan adequaat of de leerdoelen zijn gerealiseerd? Zijn de leerdoelen van het afstudeerproduct een adequate vertaling van het beoogde eindniveau? Blijkt het beoogde niveau adequaat uit de tussentijdse en afsluitende toetsen? Kan de opleiding adequaat aantonen dat de eindkwalificaties worden gerealiseerd? Kan worden aangetoond dat de alumni tevreden zijn over het eindniveau? Kan worden aangetoond dat de alumni adequaat functioneren in het werkveld/vervolgopleidingen?

15 Wetgeving Wet Versterking Besturing (2010) examencommissie het orgaan is dat op objectieve en deskundige wijze vaststelt of een student voldoet aan de voorwaarden die de onderwijs en examenregeling stelt ten aanzien van kennis, inzicht, en vaardigheden die nodig zijn voor het verkrijgen van een graad.

16 Taken examencommissie volgens WHW Uitreiken getuigschrift 7.11 lid 2 Eindniveau vaststellen 7.12 lid 2 Examinatoren aanwijzen 7.12c Kwaliteitszorg toetsing borgen 7.12b 1a Richtlijnen vaststellen 7.12b 1b Toestemming vrij studieprogramma 7.12b 1c Vrijstellingen geven (NIET BSA EN TOELATING) 7.12b 1d Optreden tegen fraude 7.12b 2 Regels en maatregelen vaststellen 7.12b 3 Verslag uitbrengen aan CvB 7.12b 5 -> toetsdeskundigheid is een van de competenties die in een profielschets van leden van examencommissies niet mag ontbreken! (HBO-raad, 2011)

17 Taakverschuiving Van taken gericht op procedures naar taken meer gericht op inhoud Meer aandacht voor kwaliteitsborging Borgen dat de kwaliteit van toetsen goed is Protocollen, regels en instrumenten Aanwijzen examinatoren Plan-do-check-act

18 Taakverschuiving Van taken gericht op procedures naar taken meer gericht op inhoud Meer aandacht voor kwaliteitsborging Borgen dat de kwaliteit van toetsen goed is Protocollen, regels en instrumenten (Inspectie van onderwijs, maart 2015) Over formuleren van praktijkopdrachten of toetsvragen Hergebruik van toetsen Aanwijzen examinatoren (borgen kwaliteit): profiel, bepaald onderwijs, bepaalde tijd Plan-do-check-act!!!Mandateren mag maar: Vastleggen, vastleggen E EN verantwoordelijkheid blijven dragen

19 Borging De examencommissie zal ten aanzien van de borging van de kwaliteit in ieder geval nagaan of: examinatoren die zij voornemens is aan te wijzen, toetsbekwaam zijn in het toetsplan van de opleiding transparant is aangegeven hoe de eindkwalificaties van de opleiding zijn geoperationaliseerd in de leerdoelen van onderwijseenheden alle leerdoelen adequaat worden getoetst het geheel aan toetsen er zorg voor draagt dat alle individuele studenten de eindkwalificaties bereiken alle toetsen voldoen aan kwaliteitseisen beoordelingen voldoen aan kwaliteitseisen richtlijnen en aanwijzingen vastleggen om de uitslag van tentamens en examens te beoordelen en vast te stellen (De toetscommissie) zal ten aanzien van de borging in ieder geval Toetsbeleidsplan uitwerken naar een concreet toetsplan voor een opleiding de uitvoering van het toetsplan per opleiding implementeren en bewaken van de kwaliteit van de toetsen en feedback bewaken docenten adviseren over toetsing het toetsplan per opleiding evalueren en bijstellen rapporteren over de kwaliteit van de uitvoering van het toetsplan voorstellen doen en projecten uitvoeren ter verbetering van de kwaliteit van toetsen ondersteuning bieden aan examencommissie (kwaliteitscheck)

20 Opdracht Ga in groepjes van vier met elkaar in gesprek over hoe jullie deze taken op dit moment uitvoeren. Maak aantekeningen als er benaderingswijzen zijn die goed in jouw context zouden passen.

21 Opdracht Noteer twee dingen waar jouw organisatie baat bij zou hebben wanneer ze dat ook zo zouden doen.

22 Best-practices Inspectie van onderwijs (2016)

23 Methode voor borging

24 Antwoord? Wat is belangrijk mbt examencommissie en accreditatie? Hoe belangrijk is de onderzoeksthesis in de borging? Wat is de rol van een extern Excielid? Is het instellen van een TC verplicht/handig? Wanneer is borging en beoordeling van het eindniveau goed? Best-practices pro-actieve excie

25 Hoe belangrijk is de innovatie in de borging van master eindniveau? Hoe ga je om met te laat inschrijven?

26 Ga naar Wat moeten examencommissies weten over toetsing?

27 Waarom aandacht voor kwaliteit van de toets? Verlagen van de kans op onterecht geslaagden/ niet geslaagden

28 Waarom aandacht voor kwaliteit van de toets? Verlagen van de kans op onterecht geslaagden/ niet geslaagden Altijd dilemma tussen dichttimmeren en het timmersmansoog Kwaliteit op verschillende niveaus Kwaliteitskenmerken voor verschillende niveaus Onderwerp via >Beeld >Koptekst en voettekst Pagina 28 Joosten-ten Brinke, 2010; Sluijsmans, Peeters, Jakobs, & Weijzen, 2012).

29 Kwaliteitseisen Beroepenveld Consistentie -> toetsprogramma en toetsmatrijzen Als check dat - Alle eindkwalificaties op alle niveaus beheerst worden - door een combinatie van toetsvormen en toetsmomenten Biggs (1999)

30 Kwaliteitseisen Toetsing is effectief als 1. Toetsing wordt ingezet om studenten te laten leren 2. Feedback wordt gebruikt 3. Studenten en docenten verantwoordelijke partners worden in leren en toetsing 4. Studenten worden geïntroduceerd in de toetspraktijk 5. Toetsing om van te leren centraal staat in ontwerp van het onderwijs 6. Toetsing om van te leren de focus is in de ontwikkeling van docenten en instelling als geheel 7. Toetsing een betrouwbaar beeld geeft van de bekwaamheid van de student Sluijsmans & van Schilt-Mol (2014)

31 Kwaliteitseisen Een toets moet zijn: Valide: Meet de toets wat deze beoogt te meten? Betrouwbaar: Kan ik op de beoordeling vertrouwen? Transparant: Is toetsinhoud en proces van toetsen helder voor alle betrokkenen?

32 Kwaliteitseisen Een toets moet zijn: Valide: Meet de toets wat deze beoogt te meten? - Leerdoelen - Juiste toetsvorm - Representatieve samenstelling van de toets (matrijs) - Goede vragen (inhoudsvalide)

33 Kwaliteitseisen Een toets moet zijn: Betrouwbaar: Kan ik op de beoordeling vertrouwen? - Toetsontwerp - Beoordelingsinstrument - Cesuur - Beoordeling

34 Hoe belangrijk is de innovatie in de borging van master eindniveau? Hoe ga je om met te laat inschrijven?

35 Leerwegonafhankelijk toetsen (LOT) Experimenten op verschillende hogescholen. Uitgangspunt: Leeruitkomsten zijn leidend voor de ontwerpvolgorde: - o Het toetsprogramma is vastgelegd en leidend voor het ontwikkelen van het onderwijsprogramma. o De leeruitkomsten zijn leidend voor het ontwikkelen van de onderwijsactiviteiten. o Onderwijsprogramma en activiteiten zijn flexibel Kwant & Vogelaar (2016)

36 LOT B. Leeruitkomsten zijn leidend voor het bepalen van de leerinhoud. o Het examenprogramma is gebaseerd op het toetsprogramma. o Toetsen zijn gebaseerd op de leeruitkomsten (vast); onderwijsactiviteiten maken geen onderdeel uit van de toets. Kwant & Vogelaar (2016)

37 Hoe belangrijk is de innovatie in de borging van master eindniveau? Hoe ga je om met te laat inschrijven?

38 Regelen en trainen surveillanten Waar? Interne pool Externe pool (uitzendbureau) Wat moeten ze weten? Proces Procedures

39 Regelen en trainen surveillanten Opdracht - Kijk de voorbeelden snel door - Wat vind je goed? Wat niet? - Wat zou je over willen nemen?

40 Hoe ga je om met te laat inschrijven? Hoe belangrijk is de innovatie in de borging van master eindniveau?

41 Verder lezen

42 Hoe ga je om met te laat inschrijven? Hoe belangrijk is de innovatie in de borging van master eindniveau?

43 Bronnen file:///c:/users/kdi/downloads/1w6%20toetsen%20in%20de%20context%20va n%20gepersonaliseerd%20leren.pdf

44 Voor de volgende keer Wensen?