Expertisecentrum docent HBO Basis Didactische Bekwaamheid

Transcriptie

1 Cursushandleiding Cursus BKE Expertisecentrum docent HBO Basis Didactische Bekwaamheid

2 Inhoudsopgave 1. Algemene introductie De doelen De toets en beoordeling De cursus Achtergrond en positie van de cursus Achtergrond BKE in BDB BKE en SKE... 9 Bijlage 1: de toetsmatrijs Bijlage 2: het beoordelingsformulier BKE Bijlage 3: hoofdstukindeling BKE-dossier /20

3 1. Algemene introductie De toets stuurt het leren. Dat betekent dat de toets niet het sluitstuk van de cursus vormt, maar het startpunt voor en de richtingbepaler van het leren van de student. Elke docent maakt en/of beoordeelt meerdere keren per jaar toetsen die studenten hebben gemaakt. Dat is een vak apart! In deze cursus krijg je handvatten om een goede toets voor je cursus te ontwerpen en om de toets goed te beoordelen. Cursusgegevens Naam cursus: BKE- Basis Kwalificatie Examinering Cursuscoördinator/ secretariaat: / Periode: Tijdsindicatie: 3ECTS 84uur 3/20

4 2. De doelen Iedere docent heeft in zijn functieomschrijving staan dat hij ook examinator is. Dat betekent dat je toetsen moet kunnen ontwerpen, afnemen, beoordelen, feedback kunt geven aan studenten en de resultaten kunt analyseren & registreren. De cursusdoelen zijn gericht op deze taken van de examinator: De docent: - kan de consequenties van het toetsbeleid benoemen voor de eigen toets; - kan de positie van de toets in het totale toetsprogramma aangeven; - is in staat de toetscyclus (figuur 1) toe te passen voor het toetsen van leerresultaten van studenten binnen een vakgebied / module / onderwijseenheid voor een specifieke toetsvorm en levert hiervoor adequaat bewijs in de vorm van een toetsontwerp; - onderbouwt per stap van de toetscyclus de gemaakte keuzes aan de hand van relevante toetskundige literatuur. DOELBEPALING EVALUEREN EN VERBETEREN CONSTRUCTIE COMMUNICEREN & FEEDBACK UITVOEREN Figuur 1. Toetscyclus, aangepaste versie HU (t.o.v. Vereniging Hogescholen, 2013) De cursus is onderdeel van de Basis Didactische Bekwaamheid. Meer over de positie van de cursus hierbinnen vind je in hoofdstuk 5. 4/20

5 3. De toets en beoordeling In het BKE-traject mag je zelf bepalen hoe je aantoont dat je de doelen hebt behaald: via (a) een dossier waarin je verslag doet van je analyses en verbeteracties in de toetscyclus OF via (b) een mondeling examen op basis van een brede evaluatie van de kwaliteit van de door jou gekozen toets en een verbeterde versie van die toets. In dit hoofdstuk geven we de toetsspecificaties weer. De opdracht Om de leerdoelen van deze cursus te halen werk je aan de analyse van een toets uit je opleiding en verbeter je deze toets via de stappen uit de toetscyclus. Je kunt kiezen uit twee toetsvormen: a) Een toetsdossier dat schriftelijk wordt beoordeeld Je stelt een dossier samen waarin je verslag doet van iedere stap uit de toetscyclus. Je beschrijft je analyse, laat de resultaten en conclusies daarvan zien en formuleert verbeteracties voor iedere stap. Per stap uit de toetscyclus voer je één verbeteractie ook daadwerkelijk uit. In bijlage 3 kun je een voorbeeldinhoudsopgave vinden voor dit dossier. b) Een mondelinge toets op basis van vooraf aangeleverd materiaal Via een vraaggesprek met 2 beoordelaars toon je je toetsexpertise aan. In het vraaggesprek verantwoord je je keuzes op basis van de analyses die je hebt gemaakt. 2 weken voorafgaand aan het mondeling lever je in: Een KIT-analyse of andere vorm van kwalitatieve evaluatie van de oude toets (zie HUBL stap 5 van de toetscyclus) en de toetsresultaten. Verbeteringen per stap uit de toetscyclus. De herziene toets met alle bijbehorende materialen: o de leerdoelen, o de toetsmatrijs, o de opdracht of de toets zelf, o eventuele procedures, o beoordelingsformulieren, o antwoordmodellen of voorbeeldantwoorden, o eventuele planning voor en instructie van studenten & voor beoordelaars, o.. De criteria In het beoordelingsformulier (bijlage 2) is te zien wat de criteria bij de verschillende leerdoelen zijn en hoe het eindoordeel (o/v/g) tot stand komt. De criteria zijn voor beide vormen dus gelijk. Je moet minimaal een voldoende halen om de cursus af te ronden. De beoordeling is individueel. Voor beide vormen geldt dat je wordt beoordeeld door twee examinatoren van het Expertisecentrum docent HBO, die niet de eventuele begeleiding of bijeenkomsten hebben verzorgd. Inleveren Je dossier of materiaal ten behoeve van de mondelinge toets stuur je naar EDH@hu.nl Bij het insturen van je dossier of het materiaal ten behoeve van het mondeling is het belangrijk dat je in je mail expliciet aangeeft voor welke vorm je kiest: de schriftelijke beoordeling of de mondelinge toets, anders kan de verwerking vertraging oplopen. Je kunt alleen deelnemen aan de mondelinge toets als je het voorbereidend materiaal volledig/compleet en op tijd hebt ingeleverd. 5/20

6 Inlever- en toetsdata Dossier Uiterlijk 9.00u inleveren via op de volgende maandagen: Periode Datum deadline A 31 oktober 2016 B 16 januari 2017 C 13 maart 2017 D 8 mei 2017 E 10 juli 2017 E 21 augustus 2017 Mondeling Periode Inleverdeadline 9.00u Afname mondelinge toets Dag B 23 november november 2016 Woensdag B 24 november december 2016 Donderdag B 17 januari januari 2017 Dinsdag B 20 januari januari 2017 Vrijdag C 8 maart maart 2017 Woensdag C 9 maart maart 2017 Donderdag D 5 mei mei 2017 Vrijdag D 8 mei mei 2017 Maandag E 19 juni juni 2017 Maandag E 20 juni juni 2017 Dinsdag E 22 augustus augustus 2017 Dinsdag Je schrijft je zo snel mogelijk in voor het mondeling, uiterlijk op dezelfde datum als de inleverdeadline. Een vroege inschrijving garandeert een plek voor het mondeling. Vol = vol. Je schrijft je in via sharepoint voor het de mondeling bij assessoren die NIET jouw docent zijn geweest. Feedback & Herzien Middels het beoordelingsformulier krijg je feedback op jouw getoonde expertise in de verschillende stappen van de toetscyclus. Mocht je een toelichting hierop wensen dan kun je een afspraak maken met de eerste beoordelaar. Als je de toets niet met een voldoende afrondt, mag je in het zelfde studiejaar één keer herkansen. Bij het dossier als toetsvorm kies je voor een volgend gepland inlevermoment en overleg je met de eerste beoordelaar over wijze waarop je de herziening vormgeeft (bijv. een extra documentje of met behulp van wijzigingen bijhouden ). Dit document stuur je weer naar het edh@hu.nl. Wij zorgen dat je dossier weer bij dezelfde beoordelaars komt als de eerste keer. Bij een onvoldoende n.a.v. het mondeling, schrijf je je weer opnieuw in via sharepoint. Mocht je dan nog geen voldoende halen dan kun je je in het volgend studiejaar opnieuw inschrijven en met ga je met een nieuwe toets de toetscyclus doorlopen. 6/20

7 4. De leertrajecten Om de leerdoelen te behalen kun je verschillende trajecten volgen: een maatwerkraject op je eigen instituut, deelname aan een blended cursus of het LOT-traject (LeerwegOnafhankelijke Toets). Specifieke informatie en inschrijfformulieren zijn te vinden op de cursuspagina in sharepoint. In alle trajecten wordt gebruik gemaakt van een digitale leeromgeving en literatuur. De digitale leeromgeving In alle trajecten kun je gebruik maken van de HUBL-omgeving BKE. Als je je hebt aangemeld voor een traject krijg je toegang hiertoe. Op HUBL zijn per stap uit de toetscyclus instructies, materialen en andere handvatten te vinden. Literatuur In de cursus maken we gebruik van: - Berkel, Bax & Joosten ten Brinke (2015) Toetsen in het hoger onderwijs. Houten: Bohn Stafleu van Loghum. De tweede druk uit 2014 is ook te gebruiken. Deze is digitaal te raadplegen. Op de digitale leeromgeving zijn ook verschillende bronnen te vinden. Je kunt ook zelf passende literatuur zoeken en gebruiken. 7/20

8 5. Achtergrond en positie van de cursus In dit hoofdstuk beschrijven we de achtergrond van de cursus BKE. Waarom is er een speciale cursus over toetsen maken en afnemen? En hoe is de cursus ingebed in de algemene didactische bekwaamheid? En hoe verhoudt de BKE zich tot de SKE? Deze vragen komen hier aan bod. 5.1 Achtergrond De BKE/SKE expertgroep van de Vereniging Hogescholen ( ) definieert de examinator (doelgroep BKE én SKE) als: iedere docent in het hoger beroepsonderwijs die eindverantwoordelijk is voor één of meer fasen van de toetscyclus. De taken van de examinator zijn als volgt samen te vatten: De examinator ontwerpt en construeert een toets, neemt deze af, beoordeelt, analyseert en registreert de resultaten. Essentieel voor de borging van de kwaliteit van het toetsproces is de fase van evaluatie: de examinator evalueert het doorlopen van alle fasen en benoemt verbeteracties voor de volgende cyclus. Dit impliceert dat alle docenten tot een bepaald niveau verantwoordelijkheid hebben voor kwaliteitsborging door toetsing te benaderen als een cyclisch proces. Dit punt sluit nauw aan bij het Organisatorisch Kader Toetsen en Beoordelen van de HU (februari 2012) waarbij de PDCA cyclus centraal staat binnen de kwaliteitsborging van toetsen en beoordelen van alle HU opleidingen. 5.2 BKE in BDB De BKE is een onderdeel van de BDB, de Basiskwalificatie Didactische Bekwaamheid. De BDB bestaat uit 4 onderdelen. Voor meer informatie over de BDB kun je terecht op de website van het Expertisecentrum: (1) Introductiecursus BDB (2) Basiskwalificatie Examinering (BKE) (3) Onderwijs Ontwerpen (4) Onderwijs Uitvoeren 1 Vereniging Hogescholen. Expertgroep BKE/SKE (oktober 2013). Verantwoord toetsen en beslissein in het hoger beroepsonderwijs 8/20

9 5.3 BKE en SKE De expertgroep BKE/SKE van de Vereniging Hogescholen heeft de leeruitkomsten vastgelegd van de BKE (Basiskwalifcatie Examinering) en de SKE (Seniorkwalificatie Examinering). Aan de BKE-leeruitkomsten liggen twee belangrijke constructen ten grondslag: de kwaliteitspiramide voor eigentijds toetsen en beoordelen (Joosten-ten Brinke, , Figuur 1) en de toetscyclus (zie Figuur 1 in hoofdstuk 2 en Figuur 2 verderop in dit hoofdstuk). Figuur 1. De kwaliteitspiramide voor eigentijds toetsen en beoordelen In de kwaliteitspiramide (Joosten-ten Brinke, 2011) wordt kwaliteit van toetsing vertaald in zes onderdelen die met elkaar samenhangen: Kwaliteit van toetsitems. Hiermee wordt de kwaliteit van een taak, opdracht of vraag in een toets bedoeld. Belangrijke kwaliteitscriteria zijn relevantie, objectiviteit, efficiëntie en moeilijkheid. Kwaliteit van toetsen. Hiermee wordt de kwaliteit van de hele toets bedoeld, inclusief het ontwerp van de beoordelingsmodellen en student- en beoordelaarsinstructies. Voorbeelden van kwaliteitscriteria waaraan toetsen dienen te voldoen zijn validiteit, betrouwbaarheid en bruikbaarheid. Kwaliteit van toetsprogramma s. Hiermee wordt de kwaliteit van het toetsprogramma als geheel bedoeld. Het gaat om de heldere samenhang tussen de verschillende toetsen in het curriculum. Kwaliteit van het toetsbeleid. Dit gaat over de kwaliteit van de toetsing vanuit de visie van de opleiding. Het inrichten van de toetsing is een ontwerpvraagstuk, waarbij de aansluiting met het leren essentieel is (zie ook Schuwirth & Van der Vleuten, ). Kwaliteit van toetsorganisatie. Vervolgens is de hele organisatie van het toetsbouwwerk belangrijk om toetskwaliteit te kunnen garanderen. Dit komt terug in criteria zoals kosten en haalbaarheid (zie Baartman, ). Toetsorganisatie gaat over zaken als het vaststellen van de rollen, taken en verantwoordelijkheden van betrokkenen bij toetsing, waaronder toets- en examencommissies, de werkprocessen rondom de toetsing, de logistieke organisatie van de toetsing en het vaststellen van toetsroosters. Kwaliteit van toetsbekwaamheid. De toetsbekwaamheid van docenten, examencommissies en andere betrokkenen van essentieel belang, aangezien kwaliteit van toetsing in hoge mate wordt bepaald door de kwaliteit van de beoordelaar. Elke docent moet in staat zijn om toetsinformatie te interpreteren en te gebruiken om vast te stellen waar studenten staan en hoe hij verder kan bijdragen aan het leren van de student (Straetmans, ). 2 Joosten-ten Brinke, D. (2011). Eigentijds toetsen en beoordelen (lectorale rede). Tilburg: Fontys Hogescholen. 3 Schuwirth, L. W. T., & Van der Vleuten, C. P. M. (2005). A plea for new psychometric models in educational assessment. Medical Education, 40, Baartman, L.K.J., Prins, F.J., Kirschner, P.A., & Van der Vleuten, C.P.M. (2007). Kwaliteitsmeting van Competentie Assessment Programma s via zelfevaluatie. OnderwijsInnovatie, maart, Straetmans, G. (2006). Bekwaam boordelen en beslissen. Deventer: Saxion Hogescholen. 9/20

10 Is de kwaliteit op een van de onderdelen niet op orde, dan heeft dat direct implicaties voor de kwaliteit van de andere onderdelen. Als bijvoorbeeld het toetsbeleid niet transparant is, zal dit zijn uitwerking naar beneden hebben op de kwaliteit van toetsprogramma s, toetsen en de onderliggende items. In het rapport van de expertgroep BKE/SKE (2013) wordt op basis van de kwaliteitspiramide een onderscheid gemaakt tussen de eisen voor de BKE en de SKE. Op basis van de kwaliteitspiramide voor eigentijds toetsen en beoordelen wordt een onderscheid gemaakt tussen de leeruitkomsten van de BKE en de SKE. In de BKE ligt het accent op toetsitems en toetsen. In de SKE ligt het accent op het toetsprogramma en toetsbeleid. Redenerend vanuit de kwaliteitspiramide en de toetscyclus zijn de volgende leeruitkomsten geformuleerd voor de BKE. De examinator: 1. kan de consequenties van het toetsbeleid benoemen voor de eigen toets; 2. kan de positie van de eigen toets in het totale toetsprogramma aangeven; 3. is in staat de toetscyclus toe te passen voor het toetsen van leerresultaten van studenten binnen een vakgebied / module / onderwijseenheid voor een specifieke toetsvorm. Leeruitkomsten BKE binnen de HU Binnen de HU is het certificeringstraject BKE gericht op het toepassen van de toetscyclus in je eigen praktijksituatie. Het gaat niet om sec kennis over toetsing, maar om het onderbouwen van hoe een toets is ontworpen, uitgevoerd, geëvalueerd en verbeterd. Binnen de HU wordt de toetscyclus zoals beschreven in de BKE-leeruitkomsten van de Expertgroep BKE/SKE (Vereniging Hogescholen, 2013) enigszins aangepast. De toetscyclus zoals beschreven door de expertgroep BKE/SKE is goed van toepassing op kennistoetsen, maar minder op open toetsvormen zoals beroepsproducten, simulaties, praktijktoetsen, stagebeoordelingen, enzovoort. Bij deze toetsvormen gebeurt bijvoorbeeld het construeren van een toetsmatrijs niet vóóraf aan het construeren van de toets zelf, maar gelijktijdig. In Figuur 2 is de aangepaste toetscyclus weergegeven, zoals we die hanteren binnen de HU. DOELBEPALING EVALUEREN EN VERBETEREN CONSTRUCTIE COMMUNICEREN & FEEDBACK UITVOEREN Figuur 2. Toetscyclus, aangepaste versie HU (t.o.v. Vereniging Hogescholen, 2013) Op basis van de toetscyclus zijn de leeruitkomsten en indicatoren voor het HU certificeringstraject BKE gespecificeerd. Hierin wordt ook zichtbaar wat je doet in de verschillende stappen van de toetscyclus. 10/20

11 Bijlagen Toetsmatrijs Beoordelingsformulier Inhoudsopgave schriftelijk dossier 11/20

12 Bijlage 1: de toetsmatrijs Specificatietabel Leeruitkomsten BKE HU 2016 Landelijke Leeruitkomsten BKE 6 Niveau HU Beoordelingscriteria Toetsonderdeel Kan consequenties van het toetsbeleid benoemen voor de Toepassen Beschrijft relevante onderdelen uit het Analyse doelbepaling eigen toets. toetsbeleid voor eigen toets Kan de positie van de toets aangeven in het totale toetsprogramma Kan de toetscyclus (doelbepaling, constructie, uitvoeren, communiceren & feedback, evalueren en verbeteren) toepassen voor het toetsen van leerresultaten van studenten binnen een vakgebied / module / onderwijseenheid voor een specifieke toetsvorm Kan gemaakte keuzes per stap van de toetscyclus onderbouwen met relevante literatuur op het gebied van toetsing Levert hiervoor adequaat bewijs in de vorm van een toetsontwerp Toepassen Evalueren Synthetiseren Creëren Geeft aan in hoeverre de eigen toets qua niveau, inhoud en vorm past in totale toetsprogramma Kan een sterkte- en zwakte analyse maken van de stappen uit de toetscylcus: doelbepaling, constructie, uitvoeren, communiceren & registreren, evalueren & verbeteren. Kan verbetermogelijkheden concluderen en onderbouwen Kan één verbeterpunt construeren voor elke stap van de toetscyclus. Analyse doelbepaling Analyse alle stappen toetscyclus + evaluatie van de toetscyclus in stap 5: evalueren & verbeteren Verbetervoorstel per stap Uitgewerkte verbetering per stap Toelichting tabel: De leeruitkomsten van de BKE zijn geformuleerd uitgaande van het ontwerp van een nieuwe toets. In de leeruitkomsten vind je terug dat je een goede toets moet kunnen maken en dat ontwerp moet kunnen onderbouwen. In de praktijk van de HU wordt veelal gewerkt met bestaande toetsen, vandaar dat er gekozen is om de nadruk te leggen op de evaluatie van de bestaande toets en de onderbouwing en uitwerking van de verbeterpunten en niet zozeer op de onderbouwing van het ontwerp van een nieuwe toets. In beide gevallen (ontwerp nieuwe toets & evaluatie bestaande toets) gaat het er om dat een BKE-er een doorleefd beeld heeft van toetskwaliteit in de context van de eigen onderwijspraktijk en een brede basiskennis bezit over toetsen (Expertgroep BKE/SKE, 2013), zodat hij/zij een adequaat oordeel kan geven over de leerresultaten van studenten. 6 Expertgroep BKE/SKE (2013). Verantwoord toetsen en beslissen in het hoger beroepsonderwijs: Een voorstel voor een programma van eisen voor een basis- en seniorkwalificatie examinering (BKE/SKE) Den Haag: Vereniging Hogescholen. 12/20

13 Bijlage 2: het beoordelingsformulier BKE Naam HU-docent: Beoordelaar(s) Expertisecentrum docent HBO: 1) 2) Datum: Basiskwalificatie Didactische Bekwaamheid. Beoordelingsformulier Basiskwalificatie Examinering (BKE) 2016/2017 We verwachten dat de opbouw en vormgeving van het schriftelijk werk helder en gepast zijn. Dit houdt in: één tekst met een logische, volgbare inhoudelijk lijn. Indien de vormgeving een goede beoordeling van het de inhoud in de weg staat wordt het werk teruggestuurd. Goed Voldoende 7 Onvoldoende Stap 1: Doelbepaling Als bij voldoende + De sterke en zwakke punten zijn met argumenten en meerdere relevante toetskundige bronnen onderbouwd. De sterke en zwakke punten van de doelbepaling van de toets zijn benoemd, specifiek gaat het om: - De relevante onderdelen uit het toetsbeleid voor de toets zijn beschreven. - Aangegeven of de huidige gekozen toets qua niveau, inhoud en vorm past binnen het toetsprogramma (relatie eindkwalificatie leerdoel). - De kwaliteit van de formulering van de leerdoelen is geanalyseerd met behulp van een gekozen taxonomie en de voorwaarden voor toetsbaarheid. De benoeming van sterke en zwakke punten van de doelbepaling is ontoereikend: - Het toetsbeleid is beschreven zonder aan te geven in hoeverre de gekozen toets past binnen dit beleid. - Het is niet duidelijk of de huidige gekozen toets qua niveau, inhoud en vorm past binnen het toetsprogramma (relatie eindkwalificatie leerdoel). - De kwaliteit van de formulering van de leerdoelen is niet geanalyseerd met behulp van een gekozen taxonomie en de voorwaarden voor toetsbaarheid. 7 Een sterke analyse en overtuigende afweging kan een minimaal uitgevoerd verbeterpunt compenseren en andersom: een omvangrijke uitgevoerde verbetering kan een zwakke analyse compenseren. 13/20

14 - Het gekozen verbeterpunt komt voort uit een afweging op basis van de analyse. De verbetering is uitgevoerd of het voornemen tot de verbetering is geconcretiseerd in een actieplan(netje). - Het gekozen verbeterpunt mist een onderbouwing vanuit de analyse en/of de verbetering is niet of beperkt uitgevoerd. Als bij voldoende + de sterke en zwakke punten zijn met argumenten en meerdere relevante toetskundige bronnen onderbouwd. De sterke en zwakke punten van de constructie van de toets, bestaande uit verschillende toetsonderdelen*, zijn benoemd en gestoeld op de kwaliteitscriteria: Betrouwbaarheid Validiteit Functies en Condities Er wordt concreet en juist verwezen naar de specifieke toetsonderdelen. De sterke en zwakke punten van de constructie van de toets, bestaande uit verschillende toetsonderdelen*, zijn niet of onvoldoende overtuigend gestoeld op de kwaliteitscriteria: Betrouwbaarheid Validiteit Functies en Condities Er wordt niet of onjuist verwezen naar de specifieke toetsonderdelen. Stap 2: Constructie Het gekozen verbeterpunt komt voort uit een afweging op basis van de analyse. De verbetering is uitgevoerd of het voornemen tot de verbetering is geconcretiseerd in een actieplan(netje). *De toetsonderdelen: - leerdoelen - toetsmatrijs - toetsvragen/opdracht - beoordelingsmodel/nakijkmodel/rubric - normering Het gekozen verbeterpunt mist een onderbouwing vanuit de analyse en de verbetering is niet of beperkt uitgevoerd. *De toetsonderdelen: - leerdoelen - toetsmatrijs - toetsvragen/opdracht - beoordelingsmodel/nakijkmodel/rubric - normering Stap 3: Uitvoering Als bij voldoende + De sterke en zwakke punten zijn met argumenten en meerdere relevante toetskundige bronnen onderbouwd. De sterke en minder sterke punten van het proces* van de uitvoering van de toets zijn benoemd aan de hand van de kwaliteitscriteria Betrouwbaarheid, Condities (evt. functies & validiteit) De sterke en minder sterke punten van het proces* van de uitvoering van de toets zijn niet of onvoldoende overtuigend gestoeld op de kwaliteitscriteria Betrouwbaarheid, Condities (evt. functies & validiteit) 14/20

15 Het gekozen verbeterpunt komt voort uit een afweging op basis van de analyse. De verbetering is uitgevoerd of het voornemen tot de verbetering is geconcretiseerd in een actieplan(netje). Het gekozen verbeterpunt mist een onderbouwing vanuit de analyse en/of de verbetering is niet of beperkt uitgevoerd. *Uitvoering - planning voor en instructie van studenten & voor beoordelaars - de condities voor de studenten bij afname van de toets (inclusief herkansing) - de instructies voor en normvinding met (mede)examinatoren - beoordelen & beoordelaarseffecten *Uitvoering - planning voor en instructie van studenten & voor beoordelaars - de condities voor de studenten bij afname van de toets (inclusief herkansing) - de instructies voor en normvinding met (mede)examinatoren - beoordelen & beoordelaarseffecten Stap 4: Communiceren en feedback Als bij voldoende + de sterke en zwakke punten zijn met argumenten en meerdere relevante toetskundige bronnen onderbouwd. De sterke en minder sterke punten van de communicatie met studenten en feedback zijn benoemd. Specifiek gaat het om: In welke mate de feedback op basis van de toetsresultaten informatierijk en adequaat is voor studenten In welke mate de communicatie over de toets en eventuele feedback tijdens het voorafgaande onderwijs informatierijk en adequaat is voor studenten Het gekozen verbeterpunt komt voort uit een afweging op basis van de analyse. De verbetering is uitgevoerd of het voornemen tot de verbetering is geconcretiseerd in een actieplan(netje). De benoeming van de sterke en minder sterke punten van de communicatie met studenten en feedback is ontoereikend. Specifiek gaat het om: Het is niet benoemd in welke mate de feedback op basis van de toetsresultaten informatierijk en adequaat is voor studenten Het is niet benoemd in welke mate de communicatie over de toets en eventuele feedback tijdens het voorafgaande onderwijs informatierijk en adequaat is voor studenten Het gekozen verbeterpunt mist een onderbouwing vanuit de analyse en de verbetering is niet of beperkt uitgevoerd. 15/20

16 5 Evalueren Als bij voldoende + Er zijn meerdere mogelijke redenen gegeven voor deze resultaten. De redenen worden ondersteund met bronnen als onderwijsevaluaties, feedback van studenten, gegevens uit kalibreersessies. + De in kaart gebrachte kwaliteit van de toets als geheel is gerelateerd aan de stappen uit de toetscyclus en de kwaliteitscriteria De toetsresultaten zijn gepresenteerd (kwantitatief) en er is een mogelijke reden gegeven voor deze resultaten. De kwaliteit van de toets als geheel (inclusief de uitgevoerde verbeteringen) is met behulp van een checklist of kwaliteitsinstrument in kaart gebracht en toegelicht. De aanbeveling voor een verbetering in de volgende toetscyclus komt voort uit de evaluatie van de gehele toets. De toetsresultaten zijn gepresenteerd (kwalitatief), maar een mogelijke reden voor deze resultaten ontbreekt. De kwaliteit van de toets als geheel (inclusief de uitgevoerde verbeteringen) is niet met behulp van een checklist of kwaliteitsinstrument in kaart gebracht, de toelichting ontbreekt. De aanbeveling voor een verbetering in de volgende toetscyclus ontbreekt of volgt niet logisch uit de evaluatie. Bij voldoende geldt: een sterke analyse en overtuigende afweging kan een minimaal uitgevoerd verbeterpunt compenseren en andersom: een omvangrijke uitgevoerde verbetering kan een zwakke analyse compenseren. Elke criterium moet minimaal voldoende zijn, compenseren is niet mogelijk. Twee of meer criteria met beoordeling goed, leidt tot een eindbeoordeling goed. Eindoordeel: Onvoldoende/Voldoende/Goed Extra toelichting: Handtekeningen beoordelaars: 16/20

17 Bijlage 3: hoofdstukindeling BKE-dossier Hieronder staat een voorbeeld van een inhoudsopgave van het BKE-dossier, voor de schriftelijke toets. De inhoud die onder de verschillende kopjes valt kun je terugvinden bij de betreffende stap op HUbl, in de handleiding en/of in de bijeenkomsten BKE. Dit voorbeeld is bedoeld als handvat en is dus niet verplicht. (Voorwoord) Inleiding: korte introductie op het onderwerp, algemene beschrijving van de toets die geanalyseerd gaat worden (context, inhoud, vorm), leeswijzer voor de beoordelaar. H1: doelbepaling 1.1 toetsbeleid 1.2 toetsprogramma 1.3 leerdoelen 1.4 conclusies doelbepaling (sterkte/zwakte-analyse) 1.5 verbeteractie H2: toetsconstructie 2.1 toetsvorm 2.2 toetsmatrijs 2.3 toetsvragen/toetsopdracht (wat van toepassing is) 2.4 beoordelingsmodel (indien van toepassing) en normering 2.5 vierogenprinicpe 2.6 conclusies toetsconstructie 2.7 verbeteractie H3: uitvoering 3.1 condities toetsafname 3.2 instructies beoordelaars/toetsafnemers 3.3 beoordelaarseffecten 3.4 conclusies uitvoering 3.5 verbeteractie H4: communicatie 4.1 feedback op de toetsresultaten 4.2 formatieve toetsing: feedback tijdens het onderwijs 4.3 registratie van de resultaten 4.4 conclusies communicatie 4.5 verbeteractie H5: evalueren en verbeteren 5.1 kwalitatieve analyse 5.2 kwantitatieve analyse 5.3 conclusies totaalevaluatie 5.4 verbeteracties toekomstige toetscyclus Nawoord: persoonlijke reflectie op toetscyclus en evaluatie eigen leerdoelen Bijlagen: /20

18 Bijlage 4: Materiaal Mondeling BKE-dossier FORMAT Schriftelijk materiaal behorend bij Mondeling BKE 2016/2017 Hogeschool Utrecht Expertisecentrum docent HBO Naam Kandidaat: Beoogde toetsdatum: Titel gekozen toets: 18/20

19 Opmerkingen vooraf De materialen die je verzamelt, dienen als bewijs (van een adequaat toetsontwerp) en als basis voor het gesprek met de assessoren. Het materiaal moet zo duidelijk zijn, dat er geen informatieve vragen meer nodig zijn. De bedoeling is namelijk dat het gesprek gaat over de afwegingen en de keuzes die je hebt gemaakt om de kwaliteit van de toets te verbeteren. We zullen in het gesprek daarom ook naar (relatie met) toetskundige bronnen kunnen vragen. Meer informatie over het mondeling vind je op HUbl en de site van het EDH. Korte beschrijving gekozen toets Geef een korte beschrijving van de toets die je gekozen hebt om te analyseren en te verbeteren. Denk daarbij aan: positie in toetsprogramma (niveau, inhoud en vorm) en leerdoelen. Evaluatie toets (stap 5 toetscyclus) Vermeld hier de benodigde kwalitatieve evaluatiegegevens (slagingspercentage / TES uitslagen etc.) van de oude en/of de verbeterde toets. Geef een korte samenvatting van de uitkomsten van het ingevulde KIT / of ander formulier voor kwalitatieve evaluatie. Het formulier zelf neem je op als bijlage. Verbeteringen Geef per stap kort weer welke verbetering je hebt aangebracht. Alle toetsmaterialen neem je op in de bijlage. 1. Doelbepaling 2. Constructie 3. Uitvoering 4. Communiceren & feedback 5. Evaluatie 19/20

20 Bijlages - Ingevulde KIT of andere vorm van kwalitatieve evaluatie - Toetsmaterialen o De leerdoelen o De toetsmatrijs o De opdracht of de toets zelf o Beoordelingsformulieren / antwoordmodellen of voorbeeldantwoorden o Normering o Planning voor en instructie van studenten & voor beoordelaars o. - Lijst van gehanteerde toetskundige bronnen (APAA) 20/20