Kwaliteit van toetsing onder de loep. kwaliteitszorg rondom toetsing 6 februari 2014

Transcriptie

1 Kwaliteit van toetsing onder de loep kwaliteitszorg rondom toetsing 6 februari 2014

2 Ochtendprogramma inleiding op methodiek werken aan methodiek terugkoppelen opbrengsten presentatie opzet vervolgonderzoek

3 Vormgeven van een kwaliteitszorgsysteem voor toetsing binnen de eigen instelling Uitgaan van eigenaarschap De Toetsing Getoetst

4 Onderzoeksproject; De toetsing getoetst Centrale vraag project: Wat helpt opleidingen bij het systematisch analyseren en vaststellen van toetskwaliteit, het vaststellen van verbeterplannen t.a.v. toetskwaliteit, het uitvoeren van deze verbeterplannen en het duurzaam borgen van toetskwaliteit?

5 Projectdoelen Projectdoelen 1. Een heldere invulling van het begrip toetskwaliteit. 2. Het ontwerp van een methodiek om toetskwaliteit te analyseren. 3. Het vaststellen van de validiteit, betrouwbaarheid, bruikbaarheid en transparantie van de methodiek. Onderzoeksvragen t.b.v. projectdoel 1. Hoe wordt toetskwaliteit geoperationaliseerd? 1 2. Welke modellen zijn er om tot een onderbouwde analyse van toetskwaliteit te komen? 2 3. Welke stappen zijn nodig voor een onderbouwde analyse van toetskwaliteit? 2 4. Welke lagen in toetskwaliteit kunnen worden onderscheiden? 2 5. In welke mate is de methodiek valide, betrouwbaar, bruikbaar en transparant? 3

6 Projectdoel 1: Een heldere invulling van het begrip toetskwaliteit

7 JOOSTEN-TEN BRINKE, SLUIJSMANS & PEETERS (2012) De kwaliteitspiramide voor eigentijds toetsen en beoordelen

8 Projectdoel 2: Het ontwerp van een methodiek om toetskwaliteit te analyseren

9 AISHE methodiek (gebaseerd EFQM-INK model) De AISHE-methode heeft de volgende kenmerken die ook voor een methodiek om toetskwaliteit vast te stellen van belang zijn: Door zelfevaluatie komen opleiding tot een positie- en ambitiebepaling; Er wordt uitgegaan van fasen van ontwikkeling; Er wordt gebruik gemaakt van n set van criteria die alle betrokkenen hanteren; De relatie met de PDCA cyclus van Deming.

10 Stappen Methodiek Stap 1: Voorbereiding Vaststellen moderator Vaststellen wie zullen deelnemen aan de analyse van de toetskwaliteit Stap 2: Individueel scoren Stap 3: De consensusbijeenkomt Vaststellen van ambitie en verbeterstappen Uitvoeren en monitoren van verbeterstappen

11 Schematische weergave methodiek

12 Vragen per laag, per dimensie Dimensies ONTWERP Lagen TOETSORGANISATIE TOETSBEKWAAMHEID TOETSEN -toets/toetsitems -toetsprogramma -toetsbeleid Hoe zit het bouwwerk van de toetsorganisatie in elkaar? Hoe wordt professionalisering m.b.t. toetsing ingericht? Hoe worden toets/toetsitems, toetsprogramma, toetsbeleid ontworpen? CRITERIA Welke criteria worden gebruikt om de toetsorganisatie in te richten? Welke criteria worden gebruikt om toetsbekwaamheid vast te stellen? Welke criteria worden gebruikt om toetskwaliteit vast te stellen? KWALITEITS- BORGING Hoe wordt de kwaliteit van de toetsorganisatie geborgd? Hoe wordt de kwaliteit van de toetsbekwaamheid geborgd? Hoe wordt de kwaliteit van de toets/toetsitems, toetsprogramma en toetsbeleid geborgd?

13 Bepalen positie en ambities Kwaliteit van de toets Mate van kwaliteit Ontwerp Hoe wordt de toets ontworpen? Zelfbeeld Ambitie Criteria Borging Welke criteria worden gebruikt om de kwaliteit van de toets vast te stellen? Hoe wordt de kwaliteit van de toets geborgd? Zelfbeeld Ambitie Zelfbeeld Ambitie

14 Projectdoel 3: Het vaststellen van de validiteit, betrouwbaarheid, bruikbaarheid en transparantie van de methodiek.

15 Opzet onderzoek Uitgangspunten: - gelijktijdige validering en implementatie - looptijd bij voorkeur studiejaar Opzet: 0. voorbereiden methodiek 1. analyseren kwaliteit van toetsing 2. ambitiebepaling en verbeterstappen 3. uitvoeren en monitoren verbeterstappen 4. schrijven verbeterplannen 5/1. analyseren (verbetering) kwaliteit van toetsing

16 Werken aan methodiek Eerste aanzet tot een gedeeld kader over de invulling van de cellen per piramidelaag Concrete vragen: is de invulling van de cellen volledig en in voldoende mate opleidingonafhankelijk? biedt de invulling van de cellen in voldoende mate een handvat om het gesprek over kwaliteit aan te gaan? welke aanscherpingen/aanpassingen kunnen worden gedaan? geeft het bespreken van de methodiek in deze setting nu al aanknopingspunten voor eigen beleid?

17 Aan het werk! 6 groepen van circa 5 personen: 2x Toetsbeleid en Toetsen/Toetsitems 2x Toetsprogramma en Toetsen/Toetsitems 2x Toetsbekwaamheid en toetsorganisatie

18 Terugkoppeling opbrengsten werkrondes

19 Uitgangspunten bij het vervolgonderzoek gelijktijdige validatie en implementatie altijd betrokkenheid van Kenniscentrum Faculteit Educatie HAN, SU O&O (HAN) en Hogeschool Zuyd deelname aan zowel de implementatie- als onderzoeksmatige activiteiten inzet (uren) vanuit opleiding kan per opleiding verschillen afhankelijk van beschikbare tijd en expertise afhankelijk van grootte/omvang opleiding inzet van externen : Kenniscentrum Kwaliteit van Leren/SU O&O: onderzoeksactiveiten begeleiding proces (procesmatig en inhoudelijk) Zuyd Hogeschool: onderzoeksactiviteiten

20 Opzet en planning vervolgonderzoek Stap 0: voorbereiding methodiek Stap 1: analyseren kwaliteit van toetsing Stap 2: ambitiebepaling en verbeterstappen Stap 3: schrijven verbeterplannen Stap 4: uitvoeren en monitoren verbeterstappen Stap 5/1: analyseren (verbetering) kwaliteit van toetsing september oktober november december januari februari maart april mei juni juli augustus

21 Opbrengsten stap 0: voorbereiding methodiek Gelijke beelden over invulling van het begrip kwaliteit op alle lagen van de kwaliteitspiramide; Indien de bijeenkomst daar aanleiding toe geeft: een eigen beschrijving van de cellen voor de opleiding; Inzicht in welke personen moeten worden betrokken bij de positie- en ambitiebepaling (evt. per laag); Inzicht welke informatie opleidingen gebruiken en/of nodig hebben om de cellen te kunnen begrijpen; Input om de cellen van de conceptmethodiek aan te scherpen/aan te passen; Input om de systematiek van de conceptmethodiek aan de passen.

22 Opbrengsten stap 1: analyseren kwaliteit van toetsing Consensus over de mate van kwaliteit per laag en dimensie; Beknopte rapportage waarin de mate van kwaliteit per laag en dimensie is beschreven.

23 Opbrengst stap 2: ambitiebepaling Consensus over de ambitie ten aanzien van de mate van kwaliteit per laag en dimensie; Beknopte rapportage waarin de ambities ten aanzien van de mate van kwaliteit per laag en dimensie beschreven worden (incl. doelen, verbeteracties, prioritering etc.) Verdere aanscherping van het gebruik van de methodiek in het kwaliteitszorgsysteem (PDCA-cyclus); Zicht op effectiviteit van consensusbijeenkomsten (input voor bijstellen handleiding en scoringsformulieren); Input om de cellen van de conceptmethodiek aan te scherpen/aan te passen; Input om de systematiek van de conceptmethodiek aan de passen.

24 Opbrengst stap 3: schrijven verbeterplannen Plan van aanpak voor de middellange termijn met daarin aandacht voor alle lagen en dimensies van de kwaliteitspiramide. de geprioriteerde doelen worden uitgewerkt in concrete activiteiten. benoemd wordt wanneer de doelen zijn behaald.

25 Opbrengst stap 4: uitvoeren en monitoren verbeterstappen Schrijven plan van aanpak voor middellange termijn: Plan van aanpak voor de middellange termijn met daarin aandacht voor alle lagen en dimensies van de kwaliteitspiramide. Uitvoering en monitoring verbeterstappen: Uitvoering van in stap 2 geprioriteerde verbeteracties Monitoring door examencommissies Inzicht in effectiviteit van de methodiek.

26 Opbrengst stap 5/1: analyseren (verbetering) kwaliteit van toetsing Per laag en per dimensie consensus over de mate van kwaliteit (na uitvoering verbeterplannen) en het bereiken van de ambities; Beknopte rapportage over de opbrengsten van het doorlopen van een eerste cyclus van de methodiek; Input voor een later te organiseren bijeenkomst voor het vaststellen van nieuwe ambities; Inzicht in de mate van effectiviteit en bruikbaarheid van de methodiek.

27 Tijdsinvestering (indicatie!) tijdsinvestering afhankelijk van omvang opleiding en beschikbare tijd en expertise overzicht is voorbeeld voor opleiding waar 15 personen deelnemen (kernteam van 14 personen + 1 ondersteuner): exacte inzet zal per opleiding anders zijn! stap 3 en 4 kunnen pas begroot en gepland worden na uitvoering stap 2 Stappen Planning Uren in te zetten vanuit de opleiding In te zetten én te bekostigen externe uren uren euro s Stap 0 Maand Studiejaar Stap 1 Maand Stap 2 Maand 3 53* Stap 3 Maand 4 Nvt Nvt Nvt Stap 4 Maand 5-9 Nvt Nvt Nvt Stap 5 / 1 Maand 10 Nvt Nvt Nvt Totaal implementatietraject in uren en euro s 186 uur** * inclusief 5 uur deelname aan focusgroep interview ** te verdelen over 15 personen (14 kernteamleden en 1 ondersteuner); dit is gemiddeld 12,4 uur per persoon uit te voeren in 3 maanden.

28 Vragen? Voor meer informatie kun je contact opnemen met Tamara van Schilt-Mol: