KwaliteitsInstrument Toetsprogramma s in beroepsgericht onderwijs (KIT) www.kwaliteit-toetsprogramma.nl Docentversie, januari 2013. In dit document staan de kwaliteitscriteria met onderliggende indicatoren, zoals die ook in het zelfevaluatieinstrument op de website (ww.kwaliteit-toetsprogramma.nl) te vinden zijn. Voor het aanvragen van accounts voor het zelfevaluatieinstrument: stuur een mailtje aan liesbeth.baartman@hu.nl Voor meer informatie en verwijzingen: Baartman, L.K.J., Kloppenburg, R., & Prins, F.J. (2013). Kwaliteit van toetsprogramma s. In: H. van Berkel, A. Bax, & D. Joosten-ten Brinke (red.), Toetsen in het Hoger Onderwijs, pp. 51-62. Houten: Bohn Stafleu van Loghum. Validiteit Operationalisatie= Het toetsprogramma is op een duidelijke en juiste wijze afgeleid van de opleidingskwalificaties 1. De opleidingskwalificaties zijn helder omschreven, uitgewerkt en afgebakend. 2. De opleidingskwalificaties zijn duidelijk uitgewerkt in toetsbare leerdoelen per cursus en alle cursussen dragen bij aan het ontwikkelen van de opleidingskwalificaties. 3. De leerdoelen per cursus zijn duidelijk uitgewerkt in leeractiviteiten en beoordelingscriteria.
Validiteit Dekking = De inhoud van het toetsprogramma is een goede afspiegeling van de opleidingskwalificaties en aspecten daarvan. 1. Alle opleidingskwalificaties en aspecten daarvan worden beoordeeld in het toetsprogramma. 2. Het toetsprogramma bevat een evenwichtige verdeling van kennis, (beroeps)vaardigheden en professionele houding. 3. In het toetsprogramma wordt het integratief inzetten van kennis, vaardigheden en houdingen in complexe beroepssituaties beoordeeld.
Validiteit Complexiteit = Het toetsprogramma is van het juiste niveau, passend bij de fase van de opleiding. 1. Het toetsprogramma vereist een toenemend niveau van kennis, vaardigheden en houdingen. 2. Het toetsprogramma kent een opbouw in de vereiste zelfstandigheid van de student en de ontwikkeling van het lerend vermogen. 3. De normering in het toetsprogramma sluit aan bij het vereiste beheersingsniveau, passend bij de (afstudeer)fase van de opleiding.
Validiteit Vorm = De toetsvormen in het toetsprogramma passen bij de te beoordelen inhoud en de beoogde leerprocessen. 1. In het toetsprogramma is voldoende variatie in toetsvormen. 2. De toetsvormen in het toetsprogramma passen bij de opleidingskwalificaties en de verdeling tussen kennis, vaardigheden en professionele houding daarbinnen. 3. De toetsvormen in het toetsprogramma passen bij de beoogde leerprocessen van de verschillende cursussen.
Betrouwbaarheid Vergelijkbaarheid = De toetsuitslagen van studenten in het toetsprogramma zijn (zoveel mogelijk) vergelijkbaar doordat ze onafhankelijk zin van verschillen tussen beoordelaars en omstandigheden 1. Voor alle toetsen zijn de beoordelingscriteria en normering vastgelegd en voor alle studenten gelijk. 2. Voor alle toetsen geldt dat de verschillende beoordelaars de beoordelingscriteria en normering op gelijke wijze hanteren. 3. Voor alle toetsen geldt dat de beoordelaars zich niet laten beïnvloeden door irrelevante verschillen tussen studenten. 4. De toetsomstandigheden zowel binnen- als buitenschools zijn voor alle studenten vergelijkbaar qua ondersteuning en complexiteit van omstandigheden. 5. Toetsresultaten worden geanalyseerd op mogelijke ongewenste afwijkingen tussen verschillende beoordelaars en indien nodig wordt actie ondernomen om dit te verminderen.
Betrouwbaarheid Triangulatie = Het toetsprogramma levert voldoende rijkheid aan informatie op om een betrouwbaar oordeel te kunnen vellen 1. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door verschillende toetsvormen en/of verschillende soorten bewijzen. 2. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door toetsen in verschillende contexten (binnenschools / buitenschools) 3. Voor elk (cluster van) opleidingskwalificaties wordt rijkheid aan informatie over de student gecreëerd door input van meerdere verschillende beoordelaars (docenten / stagebegeleiders / studenten) 4. Bij toetsmomenten waarbij veel op het spel staat (bijvoorbeeld eindwerkstuk of integraal eindoordeel) worden twee of meer beoordelaars betrokken 5. Deze beoordelaars overleggen om tot een eindoordeel te komen en hebben elk een volwaardige inbreng in het overleg en oordeel 6. Dit oordeel is gebaseerd op een passende weging van alle kwalitatieve en kwantitatieve informatie over de student.
Functies Selectie = Op basis van het toetsprogramma kunnen studenten worden onderscheiden en geselecteerd op hun beheersing van de opleidingskwalificaties. 1. Op basis van het toetsprogramma worden in de beginfase van de opleiding studenten geselecteerd voor het wel of niet vervolgen van de opleiding. 2. Op basis van het toetsprogramma worden studenten geselecteerd op geschiktheid voor de uitoefening van het beroep (aan het eind van de opleiding). 3. Op basis van het toetsprogramma kunnen excellente prestaties van studenten worden vastgesteld.
Functies Leereffect = Het toetsprogramma heeft een wenselijk effect op het leerproces van de student en het leerproces en toetsproces zijn met elkaar verweven. 1. De combinatie van toetsen stimuleert de gewenste leerprocessen. 2. De toetsen geven de student rijke feedback over de geleverde prestaties. 3. Studenten ervaren het uitvoeren van de toetsen als een waardevol leermoment. 4. De toetsen zetten de studenten aan tot nadenken over hun eigen ontwikkeling en stimuleren het zelfstandig ontwikkelvermogen van studenten. 5. Studenten worden actief betrokken bij de toetsing van de kwaliteit van hun eigen werk en dat van anderen (bijvoorbeeld door peer- en zelfassessment), zodat ze hun eigen kennen en kunnen correct leren inschatten.
Functies Onderwijseffect = Het toetsprogramma geeft rijke feedback over het ermee samenhangende onderwijs. 1. De toetsen in het toetsprogramma geven rijke informatie aan de docenten over het huidige niveau van de studenten. 2. De toetsen in het toetsprogramma geven rijke informatie aan de docenten over de kwaliteit van het gegeven onderwijs. 3. Deze informatie wordt gebruikt om het onderwijs en de toetsing te verbeteren.
Condities Transparantie = De informatie over de toetsen in het toetsprogramma is duidelijk en begrijpelijk. 1. De opleidingskwalificaties zijn bekend bij en herkenbaar voor studenten en beoordelaars. 2. De beoordelingscriteria en normering zijn bekend bij en herkenbaar voor studenten en beoordelaars. 3. Voorafgaand aan alle toetsen wordt een duidelijke instructie gegeven aan studenten en beoordelaars. Zij weten op tijd wat er van hen wordt verwacht bij de verschillende toetsvormen. 4. Voor studenten is inzichtelijk hoe een oordeel tot stand is gekomen.
Condities Oordeelkundigheid = De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, de manier van toetsen en het geven van feedback. 1. De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, beoordelingscriteria en normering. 2. De beoordelaars beschikken over voldoende kennis en vaardigheden over de beroepspraktijk waarop de toetsing van toepassing is. 3. De beoordelaars beschikken over voldoende kennis en vaardigheden over de verschillende toetsvormen. 4. De beoordelaars beschikken over voldoende kennis en vaardigheden over het geven van feedback aan studenten en het evalueren van gegeven onderwijs op basis van de toetsuitslagen. 5. De beoordelaars beschikken over voldoende kennis en vaardigheden over wettelijke en ethische aspecten van het beoordelen van studenten.
Condities Organisatie = Het toetsprogramma is efficiënt en effectief georganiseerd. 1. Het toetsprogramma is in overeenstemming met de beschikbare tijd en kosten voor ontwikkeling en uitvoering. 2. Studenten hebben voldoende tijd voor het uitvoeren van de toetsen. 3. De aan de docent toegekende tijd is voldoende om tot een zorgvuldige beoordeling te komen. 4. De toetsuitslagen worden binnen de vastgestelde termijn bekend gemaakt. 5. Er zijn voldoende herkansingsmogelijkheden voor studenten. 6. De opleiding beschikt over een klachtenprocedure die bekend is bij docenten en studenten. 7. De voor de toetsing vereiste voorzieningen zijn voldoende aanwezig.