KIT: KwaliteitsInstrument Toetsprogramma s in beroepsgericht onderwijs Zelfevaluatie-instrument voor docenten Website: www.kwaliteit-toetsprogramma.nl conceptversie 14-03-2013 In onderstaand schema vindt u een overzicht van de kwaliteitscriteria behorende bij het KwaliteitsInstrument Toetsprogramma s (KIT). Het KIT is ook beschikbaar via een website: www.kwaliteit-toetsprogramma.nl. Het KIT is onderdeel van een uitgebreidere zelfevaluatie-procedure, waarmee opleidingsteams (docenten / teamleiders / studenten / vertegenwoordigers uit het werkveld) de kwaliteit van hun eigen toetsprogramma kunnen bepalen. Het schema is als volgt samengesteld: in de linker kolom staan vier kwaliteitscategorieën, deze zijn in de middelste kolom uitgewerkt in twaalf kwaliteitscriteria, en in de rechtkolom is per criterium een set van indicatoren opgenomen. Door na te gaan in hoeverre aan de indicatoren wordt voldaan kan per kwaliteitscriterium worden vastgesteld wat de sterke en zwakke kanten van het toetsprogramma zijn en welke verbeteringen wenselijk of noodzakelijk zijn. Uiteindelijk wordt de kwaliteit van het toetsprogramma van de opleiding bepaald door de mate waarin het doel dat een opleiding ermee heeft, wordt gerealiseerd ( fitness for purpose ). Of dit het geval is, valt bij een afzonderlijke toets moeilijk vast te stellen. Daarom wordt het toetsprogramma als geheel als vertrekpunt genomen voor de evaluatie van toetskwaliteit. Onder een toetsprogramma wordt een samenhangend geheel van toetsen verstaan, gericht op de beoordeling van een vooraf bepaalde set of cluster van opleidingskwalificaties. Voor een deskundig gebruik van het KIT en de zelfevaluatie is het van belang dat de evaluatoren de criteria en indicatoren op een juiste wijze interpreteren en deze kunnen toepassen op de ermee samenhangende aspecten van de toetsing. Hiervoor kan vanaf september 2013 een beroep worden gedaan op een beperkte en een meer uitgebreide instructie en begeleiding vanuit het expertisecentrum docent HBO van de Hogeschool Utrecht (contactpersoon Saskia.vanLaar@hu.nl). Het KIT is vanaf september 2013 via de website www.kwaliteit-toetsprogramma.nl gratis beschikbaar voor beroepsopleidingen in het mbo en hbo. Het onderstaande schema is nu nog een conceptversie en kan worden aangepast. Wij verzoeken u deze versie niet verder te verspreiden. Het KIT is ontwikkeld door en eigendom van dr. Liesbeth Baartman en dr. Raymond Kloppenburg. Voor vragen en opmerkingen kunt u een mail sturen naar Liesbeth.Baartman@hu.nl of Raymond.Kloppenburg@hu.nl. Bij gebruik van onderstaand schema en het KIT als bron vermelden: Baartman, L.K.J., & Kloppenburg, R.T.H.M. (2013). KwaliteitsInstrument Toetsprogramma s (KIT) in beroepsgericht onderwijs. Hogeschool Utrecht.
Kwaliteitscategorie Kwaliteitscriteria Indicatoren Validiteit Operationalisatie= Het toetsprogramma is op een duidelijke en juiste wijze afgeleid van de opleidingskwalificaties. 1. De opleidingskwalificaties zijn helder omschreven, uitgewerkt en afgebakend. 2. De opleidingskwalificaties zijn duidelijk uitgewerkt in leerdoelen per cursus. 3. De leerdoelen per cursus zijn duidelijk uitgewerkt in beoordelingscriteria van de toetsen. Dekking = De inhoud van het toetsprogramma is een goede afspiegeling van de opleidingskwalificaties en aspecten daarvan. 1. Alle opleidingskwalificaties en aspecten daarvan worden beoordeeld in het toetsprogramma. 2. Het toetsprogramma bevat een goede afspiegeling van de vereiste kennisbasis. 3. Het toetsprogramma bevat een goede afspiegeling van de vereiste (beroeps)vaardigheden. 4. Het toetsprogramma bevat een goede afspiegeling van de vereiste beroepshouding. 5. In het toetsprogramma wordt het integraal inzetten van kennis, vaardigheden en houdingen in complexe beroepssituaties beoordeeld. 6. In het toetsprogramma wordt het vermogen tot zelfstandig leren beoordeeld. Complexiteit = Het toetsprogramma is van het juiste niveau, passend bij de fase van de opleiding. 1. De normering in het toetsprogramma sluit aan bij het vereiste beheersingsniveau, passend bij de (afstudeer)fase van de opleiding. 2. Het toetsprogramma vereist een toenemend niveau van kennis, vaardigheden en houdingen. 3. Het toetsprogramma kent een toenemend niveau van complexiteit van beroepstaken. 4. Het toetsprogramma vereist een toenemend niveau van zelfstandigheid. 5. Het toetsprogramma vereist een toenemend niveau van (theoretische en ethische) verantwoording van handelen. Vorm = De toetsvormen in het toetsprogramma passen bij de te beoordelen inhoud. 1. In het toetsprogramma is voldoende variatie in beoordelingsvormen, waardoor studenten voldoende kansen hebben om hun capaciteiten te tonen. Denk bijvoorbeeld aan: schriftelijke toetsen, authentieke beroepstaken, peer/self-assessment, reflectieverslagen, groepsgewijze beoordeling, enzovoort. 2. De toetsvormen in het toetsprogramma passen bij de te beoordelen leerdoelen en de verhouding aan kennis, vaardigheden en beroepshouding daarbinnen. Betrouwbaarheid Vergelijkbaarheid = De toetsuitslagen van studenten in het toetsprogramma zijn 1. De beoordelingscriteria en normering zijn voor alle studenten gelijk en vastgelegd in protocollen. 2. Voor alle toetsen is een eenduidige instructie beschikbaar.
vergelijkbaar doordat zij zoveel mogelijk onafhankelijk zijn van verschillen tussen beoordelaars en omstandigheden. 3. De toetsomstandigheden zowel binnen- als buitenschools zijn voor alle studenten vergelijkbaar qua ondersteuning en complexiteit van omstandigheden. 4. De beoordelaars interpreteren en gebruiken de beoordelingscriteria op dezelfde manier. 5. Er zijn geen grote afwijkingen tussen de beoordelingen van verschillende docenten. Triangulatie = Het toetsprogramma levert voldoende rijkheid aan informatie op om een betrouwbaar (integraal) oordeel te kunnen vellen. Dit gebeurt ten eerste door gevarieerde en rijke informatie te verzamelen over de student. Ten tweede gebeurt dit door een toetsoverstijgend (integraal) eindoordeel te vellen over de student op basis van deze informatie. 1. Elk (cluster van) opleidingskwalificaties wordt in verschillende soorten toetsen beoordeeld. 2. Er wordt rijkheid van informatie gecreëerd door de toetsen in verschillende contexten uit te voeren. Denk aan: binnenschools, buitenschools, simulaties, enzovoort. 3. Er wordt rijkheid van informatie gecreëerd door verschillende beoordelaars te betrekken. Denk aan: verschillende docenten, praktijkdeskundigen, leidinggevenden, medestudenten, de student zelf, enzovoort. 4. De hoeveelheid toetsen/informatie op basis waarvan een oordeel wordt geveld over de student is in overeenstemming met de consequenties van dit oordeel (denk aan: één cursus herkansen, eindexamen herkansen, bindend studieadvies). 5. Bij toetsen waarbij veel op het spel staat (high stake) en/of die veel interpretatie vereisen wordt een tweede beoordelaar betrokken. Bij een toetsoverstijgend eindoordeel 6. Bij een toetsoverstijgend (integraal) eindoordeel zijn meerdere beoordelaars betrokken die elk een volwaardige inbreng hebben in het eindoordeel. 7. Indien deze beoordelaars geen overeenstemming kunnen bereiken, wordt een extra beoordelaar betrokken. 8. Het eindoordeel is gebaseerd op een passende weging van alle kwalitatieve en kwantitatieve informatie uit het toetsprogramma.
Functies Selectie = Op basis van het toetsprogramma kunnen goede en zwakke studenten worden onderscheiden en geselecteerd. Leereffect = Het toetsprogramma heeft een wenselijk effect op het leerproces van de student. Het gaat hier om zowel de voorbereiding van de student richting de toetsen, het leren van de toets zelf (tijdens de toets) en de feedback die de toets oplevert om weer verder te leren. Onderwijseffect = Het toetsprogramma geeft rijke informatie over het ermee samenhangende onderwijs. 1. Op basis van het toetsprogramma kan een goed onderscheid worden gemaakt tussen (zeer) goede, middelmatige en (zeer) zwakke studenten. 2. Op basis van het toetsprogramma wordt tijdig inzichtelijk of studenten geschikt zijn voor het vervolg van de opleiding. 3. Op basis van het toetsprogramma kunnen studenten worden geselecteerd op geschiktheid voor de uitoefening van het beroep (aan het eind van de opleiding. 1. De toetsen in het toetsprogramma stimuleren de gewenste leerprocessen in voorbereiding naar de toets. 2. Studenten ervaren het uitvoeren van de toetsen in het toetsprogramma als een waardevol leermoment. 3. De toetsen in het toetsprogramma zetten de studenten aan het denken over hun eigen ontwikkeling. 4. De toetsen in het toetsprogramma bevatten rijke informatie en geven de student feedback over zijn geleverde prestaties. 5. De toetsen in het toetsprogramma geven de student handvatten over hoe nu verder (b.v. in de vorm van nieuwe leerdoelen). 1. De toetsen in het toetsprogramma geven rijke informatie aan de docent over het huidige niveau van de studenten. 2. De toetsen in het toetsprogramma geven rijke informatie aan de docent over de kwaliteit van het gegeven onderwijs.
Condities Transparantie = De informatie over de toetsen in het toetsprogramma is duidelijk en begrijpelijk. Oordeelkundigheid = De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, de manier van toetsen en het geven van feedback. Organisatie = Het toetsprogramma is efficiënt en effectief georganiseerd. 1. In de studiehandleiding wordt begrijpelijke informatie gegeven over de te beoordelen opleidingskwalificaties en de docent legt dit uit. 2. In de studiehandleiding wordt begrijpelijke informatie gegeven over de beoordelingscriteria en normering en de docent legt dit uit. 3. In de studiehandleiding wordt begrijpelijke informatie gegeven over de toetsvormen en de docent legt uit wat er van studenten wordt verwacht. 1. De beoordelaars beschikken over voldoende kennis en vaardigheden over de toetsinhoud, beoordelingscriteria en normering. 2. De beoordelaars beschikken over voldoende kennis en vaardigheden over de beroepspraktijk waarop de toetsing van toepassing is. 3. De beoordelaars beschikken over voldoende kennis en vaardigheden over de verschillende toetsvormen. 4. De beoordelaars beschikken over voldoende kennis en vaardigheden over het geven van feedback aan studenten en het evalueren van gegeven onderwijs op basis van de toetsuitslagen. 5. De beoordelaars beschikken over voldoende kennis en vaardigheden over wettelijke en ethische aspecten van het beoordelen van studenten. 1. Het toetsprogramma is in overeenstemming met de beschikbare tijd en kosten voor ontwikkeling en uitvoering. 2. De tijd die een student nodig heeft voor het uitvoeren van de toetsen is in overeenstemming met de daartoe bepaalde studiebelasting/ects. 3. De aan de docent toegekende tijd is voldoende om tot een zorgvuldige beoordeling te komen. 4. De toetsuitslagen worden binnen de vastgestelde termijn bekend gemaakt. 5. Er zijn voldoende herkansingsmogelijkheden voor studenten. 6. De opleiding beschikt over een klachtenprocedure die bekend is bij docenten en studenten. 7. De voor de toetsing vereiste voorzieningen zijn voldoende aanwezig.