Lia Bijkerk. Basis Kwalificatie Examinering in het hoger beroepsonderwijs

Lia Bijkerk Basis Kwalificatie Examinering in het hoger beroepsonderwijs

Lia Bijkerk Basis Kwalificatie Examinering in het hoger beroepsonderwijs Houten 2015

ISBN 978-90-368-0932-0 2015 Bohn Stafleu van Loghum, onderdeel van Springer Media BV Alle rechten voorbehouden. Niets uit deze uitgave mag worden verveelvoudigd, opgeslagen in een geautomatiseerd gegevensbestand, of openbaar gemaakt, in enige vorm of op enige wijze, hetzij elektronisch, mechanisch, door fotokopieën of opnamen, hetzij op enige andere manier, zonder voorafgaande schriftelijke toestemming van de uitgever. Voor zover het maken van kopieën uit deze uitgave is toegestaan op grond van artikel 16b Auteurswet j het Besluit van 20 juni 1974, Stb. 351, zoals gewijzigd bij het Besluit van 23 augustus 1985, Stb. 471 en artikel 17 Auteurswet, dient men de daarvoor wettelijk verschuldigde vergoedingen te voldoen aan de Stichting Reprorecht (Postbus 3060, 2130 KB Hoofddorp). Voor het overnemen van (een) gedeelte(n) uit deze uitgave in bloemlezingen, readers en andere compilatiewerken (artikel 16 Auteurswet) dient men zich tot de uitgever te wenden. Samensteller(s) en uitgever zijn zich volledig bewust van hun taak een betrouwbare uitgave te verzorgen. Niettemin kunnen zij geen aansprakelijkheid aanvaarden voor drukfouten en andere onjuistheden die eventueel in deze uitgave voorkomen. NUR 841 Ontwerp basisomslag: Studio Bassa, Culemborg Automatische opmaak: Crest Premedia Solutions (P) Ltd., Pune, India Cartoon: Marcel Jurriëns, Boxtel Bohn Stafleu van Loghum Het Spoor 2 Postbus 246 3990 GA Houten www.bsl.nl

V Voorwoord Meten is weten is een bekende stelling wanneer het gaat over het bepalen van resultaten, en toetsing in het onderwijs. Het is de vraag of dat echt altijd zo is. Waarschijnlijk heb je zelf als student allerlei ervaringen met toetsen gehad, goede en minder goede. Werd er echt gemeten wat er gemeten moest worden en klopte het resultaat? Wanneer voelde je je oneerlijk of onterecht beoordeeld op wat je had geleerd? Als docent krijg jij op jouw beurt ook weer de meest uiteenlopende reacties over het toetsen van je studenten. In welke opleiding dan ook, toetsen hoort erbij. Het geeft inzicht in het resultaat en het proces van het leren. Het maken van een goede toets is echter niet eenvoudig. Om de werkwijze rondom toetsing in het hbo-onderwijs te optimaliseren, is er vanuit het ministerie een basiskwalificatie examinering (BKE) voor hbo-docenten ingevoerd. Aanleiding BKE Uit allerlei publicaties, Kamervragen en nieuwsitems blijkt, dat er sinds 2010 ongerustheid is over de kwaliteit van de hbo-diploma s. In het rapport Vreemde ogen dwingen (2012) adviseert de Commissie Bruijn onder meer om te komen tot verdere professionalisering van examinatoren:» Daarbij wordt aandacht besteed aan de opzet van een systeem van certificering van examinatoren, via de invoering van een basis- en seniorkwalificatie examinering (BKE/SKE) systematiek. Dit advies is in 2013 door de expertgroep BKE/SKE in het rapport Verantwoord toetsen en beslissen in het hoger beroepsonderwijs uitgewerkt tot een programma van eisen voor een basis- en seniorkwalificatie examinering (BKE/SKE). In bijlage 1 zijn deze eisen opgenomen. Toetsing BKE Uit het rapport van de expertgroep BKE/SKE is af te leiden dat het volgende vereist is: 55 De docent bezit een brede basiskennis over toetsen. Deze kennis is nodig om de stappen uit de toetscyclus goed te begrijpen en te doorlopen. Dit betekent dat de docent onderbouwde voorstellen doet voor verbetering van iedere fase in de toetscyclus. 55 Een docent bouwt een portfolio op dat de producten uit de hele toetscyclus bevat.

VI Voorwoord 55 Het portfolio toont aan dat de docent een helder beeld heeft van toetskwaliteit in de context van de eigen onderwijspraktijk. Dit betekent dat de docent leerresultaten aantoont aan de hand van voor hem/haar relevante toetsvormen. Aan het eind van elk hoofdstuk in dit boek, staan portfolio-opdrachten. Als je deze opdrachten maakt en bundelt in een verslag of als digitaal portfolio, kun je bewijzen dat je aan de gestelde eisen voldoet. Dit portfolio moet dan nog wel worden beoordeeld door een instelling die hiervoor gevalideerd is. Voor het lezen van de tekst en het maken van het portfolio moet je op minimaal 40 studiebelastingsuren rekenen. Dit staat los van de bijeenkomsten die je in het kader van het behalen van de BKE kunt volgen. De opbouw van dit boek In dit boek gaan we eerst in op het fundament van waaruit je werkt, vervolgens worden de toetsorganisatie, de verschillende vormen van toetsen en de kwaliteitseisen die aan toetsen worden gesteld behandeld (zie 7 H. 1 tot en met 4). Vervolgens worden de zeven fasen van de toetscyclus kort uitgelegd en wordt aangegeven welke producten er per fase opgeleverd moeten worden (7 H. 5). In de volgende zeven hoofdstukken worden alle fasen toegelicht (7 H. 6 tot en met 12). In de mindmap aan het einde van deze inleiding worden de belangrijkste begrippen per hoofdstuk weergegeven. Dankwoord De cases en voorbeelden in dit boek zijn veelal afkomstig van docenten van Avans Hogeschool of Hogeschool Inholland. De conceptteksten zijn van feedback voorzien door specialisten uit het werkveld. Als eerste wil ik drs. Ingrid Pancras, toetsspecialist van het tweedelijnsteam Onderwijs en Kwaliteit van Hogeschool Inholland hartelijk danken voor de feedback en de inspirerende gesprekken. Ook dr. Els Roskam-Pelgrim, onderwijskundige gepromoveerd op toetsing in het hoger onderwijs, en dr. Nynke van Dijk, arts-epidemioloog en onderwijskundige, hoofd van de onderzoeksgroep kwaliteit van onderwijs en opleiden en coördinator toetsing en beoordeling van de huisartsopleiding AMC-UvA, hebben met hun kritische feedback een aanzienlijke bijdrage geleverd aan de uiteindelijke versie van dit boek. Mijn collega-trainers Titia van der Ploeg, Hilde van der Geld, Brunhilde van der Sluijs en Wilma van der Heide hebben de teksten ook van waardevol commentaar voorzien.

Voorwoord VII De hbo-docenten die deelnemen aan de Leergang Activerend Opleiden hebben de conceptteksten gebruikt om te voldoen aan de BKE-eisen. Ook hun opmerkingen en aanvullingen zijn meegenomen in deze uitgave. Mijn dank gaat uit naar Femke Weitenberg (Hanze Hogeschool), Nienke Sikkema, Erik Melsbach en Lesley de Ruijter (Avans Hogeschool). Iedereen die verder nog een bijdrage aan dit boek heeft geleverd maar hier niet genoemd is, wil ik bij deze ook heel hartelijk danken. Dit geldt bijvoorbeeld voor degenen die een casus of een voorbeeld van een toetsvraag hebben aangeleverd. Ik wens alle docenten veel succes bij het behalen van hun BKE en hoop met deze uitgave een nuttige bijdrage te leveren aan de verbetering van de kwaliteit van het toetsen in het hbo-onderwijs. Gouda, april 2015 Lia Bijkerk Edufit l.bijkerk@edufit.nl

cronbachs alpha VIII Voorwoord studenten specifiek selectief voldoende omvang objectief transparatie betrouwbaarheid bruikbaarheid locatie mensen tijd 10. verwerken & analyseren portfolio groepswerk vaardigheden kennistoetsen p-waarde RIT waarde absoluut relatief compromis checklist beoordelingsschaal rubric 9a. afnemen direct uitgesteld feedback - moment feedback - niveau leerdoelniveau docenten reacties klachten van studenten meetgegevens toets meetgegevens onderwijs examencommissie toetsniveau antwoordniveau verzamelen van info onderwijsvisie 12. evalueren & verbeteren 1. fundament OER toetscommissie curriculumcommissie toetsontwikkelaars examenbureau beoordelaar begripsvliditeit inhoudsvaliditeit beroepsprofiel toetsplan studiehandleiding 2. toetsorganisatie 3. soorten toetsen formatief summatief 4. kwalite itseisen validiteit 11. registreren & communiceren inter basiskwalificatie examinering (BKE) 5. toetscyclus halo-effect sympathie signifisch effect contaminatie effect volgorde effect persoonlijke vergelijking normverschuiving vermoeidheid vooroordeel beoordelaarsbetrouwbaarheid intra 9b. beoordelen 8. toets met normering onthouden begrijpen toepassen analyseren evalueren creëren 7. toetsm atrijs inhoud 6. basisontwerp niveau vorm toetsanalyse bloom leerdoelen schriftelijk mondeling digitaal overig cesuur antwoordsleutel correctievoorschrift scoringsvoorschrift toetsinstructie hulpmiddelen omstandigheden examinatoren locatie protocollen kennis & inzicht vaardigheden houding beginner gevorderd startbekwaam

IX Inhoud 1 Werken vanuit een fundament.................................................... 1 1.1 Praktijk................................................................................ 2 1.2 Reflectie............................................................................... 2 1.3 Basisdocumenten..................................................................... 2 1.3.1 Onderwijsvisie/beleid.................................................................. 3 1.3.2 Beroepsprofiel/BoKS.................................................................... 5 1.3.3 Onderwijs- en examenregeling (OER).................................................... 5 1.3.4 Toetsplan.............................................................................. 6 1.3.5 Studiehandleiding en studentenhandleiding............................................ 6 1.4 Portfolio.............................................................................. 7 2 Toetsorganisatie.................................................................... 9 2.1 Praktijk................................................................................ 10 2.2 Reflectie............................................................................... 10 2.3 De toetsorganisatie................................................................... 10 2.3.1 De rol van de examinator............................................................... 10 2.3.2 Taken en bevoegdheden in de toetsorganisatie.......................................... 11 2.3.3 Schematisch overzicht van de toetsorganisatie.......................................... 14 2.4 Portfolio.............................................................................. 16 3 Functie van toetsen................................................................. 17 3.1 Praktijk................................................................................ 18 3.2 Reflectie............................................................................... 18 3.3 Functie van toetsen................................................................... 18 3.3.1 Formatieve toetsen..................................................................... 19 3.3.2 Summatieve toetsen................................................................... 20 3.3.3 Negatieve effecten van toetsen......................................................... 21 3.4 Portfolio.............................................................................. 24 4 Kwaliteitseisen...................................................................... 25 4.1 Praktijk................................................................................ 26 4.2 Reflectie............................................................................... 26 4.3 Kwaliteitseisen voor toetsing.......................................................... 26 4.3.1 Validiteit van een toets................................................................. 27 4.3.2 Betrouwbaarheid van een toets......................................................... 28 4.3.3 Bruikbaarheid van een toets............................................................ 29 4.3.4 Transparantie van de toets.............................................................. 30 4.4 Portfolio.............................................................................. 30

X Inhoud 5 Toetscyclus.......................................................................... 33 5.1 Praktijk................................................................................ 34 5.2 Reflectie............................................................................... 34 5.3 De toetscyclus......................................................................... 34 5.4 Portfolio.............................................................................. 39 6 Fase 1: Basisontwerp............................................................... 41 6.1 Praktijk................................................................................ 42 6.2 Reflectie............................................................................... 42 6.3 Basisontwerp......................................................................... 42 6.3.1 Formuleren van resultaten.............................................................. 44 6.3.2 Toetsvormen........................................................................... 44 6.3.3 Keuzemogelijkheden................................................................... 46 6.3.4 Redenen om een toets digitaal af te nemen.............................................. 47 6.4 Portfolio.............................................................................. 48 7 Fase 2: Construeren toetsmatrijs.................................................. 51 7.1 Praktijk................................................................................ 52 7.2 Reflectie............................................................................... 52 7.3 Toetsmatrijs........................................................................... 52 7.3.1 Voordelen van een toetsmatrijs......................................................... 53 7.3.2 Toetsmatrijs voor een combinatietoets.................................................. 54 7.3.3 Voor- en nadelen van gesloten en open vragen.......................................... 55 7.4 Portfolio.............................................................................. 56 8 Fase 3: Construeren toets met normering........................................ 57 8.1 Praktijk................................................................................ 58 8.2 Reflectie............................................................................... 58 8.3 Taxonomie van Bloom................................................................. 58 8.3.1 Taxonomie en competentieniveaus...................................................... 60 8.3.2 Vragen maken......................................................................... 62 8.3.3 Multiplechoicevragen.................................................................. 63 8.3.4 Overige vragen......................................................................... 66 8.4 Portfolio.............................................................................. 68 9 Fase 4: Afnemen en beoordelen................................................... 69 9.1 Praktijk................................................................................ 70 9.2 Reflectie............................................................................... 70 9.3 Afname van een toets................................................................. 70 9.3.1 Toetsinstructie en de inhoud van de toets............................................... 71

Inhoud XI 9.3.2 Hulpmiddelen........................................................................ 72 9.3.3 Omstandigheden..................................................................... 72 9.3.4 Examinatoren......................................................................... 72 9.3.5 Locatie............................................................................... 72 9.3.6 Uitzonderingsgevallen................................................................. 73 9.3.7 Fraudeprotocol........................................................................ 74 9.3.8 Beoordelen van schriftelijke kennistoetsen............................................. 76 9.3.9 Beoordelen van vaardigheden......................................................... 77 9.3.10 Beoordelen van groepswerk........................................................... 83 9.3.11 Beoordelen van een portfolio.......................................................... 84 9.4 Portfolio............................................................................. 85 10 Fase 5: Verwerken en analyseren................................................. 87 10.1 Praktijk............................................................................... 88 10.2 Reflectie.............................................................................. 88 10.3 Resultaten verwerken................................................................ 88 10.3.1 Score voor elke gemaakte toets........................................................ 88 10.3.2 Bepaal de cesuur...................................................................... 88 10.3.3 Maak een normeringstabel............................................................ 92 10.3.4 Toetsanalyse.......................................................................... 93 10.3.5 Beoordelaarbetrouwbaarheid.......................................................... 97 10.3.6 Beoordelaarsfouten................................................................... 98 10.4 Portfolio............................................................................. 101 11 Fase 6: Registreren en communiceren........................................... 103 11.1 Praktijk............................................................................... 104 11.2 Reflectie.............................................................................. 104 11.3 Communiceren van resultaten....................................................... 104 11.3.1 Feedback geven....................................................................... 105 11.3.2 Invoeren en bekendmaken van resultaten.............................................. 106 11.3.3 Inzage en controle.................................................................... 107 11.4 Portfolio............................................................................. 109 12 Fase 7: Evalueren en verbeteren.................................................. 111 12.1 Praktijk............................................................................... 112 12.2 Reflectie.............................................................................. 112 12.3 Evalueren en verbeteren............................................................. 112 12.3.1 Kwaliteit.............................................................................. 113 12.3.2 De evaluatieve cyclus.................................................................. 115 12.4 Portfolio............................................................................. 119

XII Inhoud Bijlagen Bijlage 1: Eisen BKE/ SKE.......................................................... 123 Bijlage 2: Begrippenlijst........................................................... 127 Literatuur........................................................................... 131 Register............................................................................ 135

XIII Over de auteur Lia Bijkerk heeft Pedagogiek en Onderwijskunde gestudeerd aan de Universiteit Utrecht en werkt sinds 1988 als zelfstandig ondernemer onder de naam Edufit. Edufit is een bureau met als missie: inspireren, stimuleren en faciliteren van particulieren, professionals en organisaties op het gebied van Educatie, Bewegen en Gezondheid. Lia Bijkerk doet onderzoek, adviseert en coacht, ontwikkelt onderwijs en verzorgt de uitvoering van trainingen en workshops. Dit kan zowel in company bij de opdrachtgever als in de vorm van trainingen en workshops in de eigen sfeervolle trainingsaccommodatie nabij het centrum van Gouda. Activerend opleiden Veel van Lia s tijd gaat zitten in het (door)ontwikkelen en uitvoeren van de eigen posthbo-opleiding Leergang Activerend Opleiden voor het verkrijgen van didactische bekwaamheden van docenten en trainers in het middelbaar- en hoger beroepsonderwijs en bedrijfsopleidingen. Deze leergang is in 2014 gecertificeerd bij de Stichting Post Hoger Beroeps Onderwijs Nederland (SPHBO). Het is een praktijkgerichte vakopleiding waarmee de deelnemers, naast hun inhoudelijke vakmanschap, hun didactische meesterschap verkrijgen of vergroten. Startende docenten/trainers verkrijgen hiermee een Basiskwalificatie Didactische Bekwaamheid (BDB), inclusief de Basis Kwalificatie Examinering (BKE); ervaren docenten kunnen zich via deze opleiding verder professionaliseren, en experts leren hoe ze hun kennis door middel van een workshop of training op een effectieve manier kunnen delen met collega s. Rondom het thema activerend opleiden geeft Lia workshops over basisdidactiek, verdiepende didactiek en activerende werkvormen en één- of meerdaagse trainingen over het ontwikkelen en/of uitvoeren van activerend onderwijs. Digitale didactiek Lia heeft in 2013 2014 de post-hbo-opleiding Onderwijs en moderne media gevolgd bij de Hogeschool Leiden. Voor deze opleiding heeft ze een masterpiece geschreven: Professioneel lesgeven in de 21ste eeuw. Onderzoek naar gewenste ICT-competenties voor hbo-docenten. Daarna heeft ze een leergang De digitale docent gemaakt. Hierbij worden docenten getraind om vaardig te worden in drie ICT-competenties: implementeren, communiceren en activeren. Coaching en advies Daarnaast beoordeelt Lia docenten op hun didactische competenties en coacht ze docenten bij het verbeteren van hun lesgeven. Ook adviseert ze het management van onderwijsinstellingen over hoe activerend opleiden als didactische visie geïmplementeerd kan worden in het hele curriculum.

XIV Over de auteur Publicaties Lia Bijkerk heeft ruim dertig jaar ervaring in het maken en toepassen van activerende werkvormen. Samen met Wilma van der Heide heeft ze het succesvolle boek Het gaat steeds beter! Activerende werkvormen voor de opleidingspraktijk geschreven (2006, BSL Houten). In 2010 is hun tweede gezamenlijke uitgave, Haal het beste uit jezelf, verschenen een boekenreeks van twee studentenboeken en twee docentenboeken om de persoonlijke effectiviteit te vergroten. In augustus 2012 is hun boek Activerend opleiden. Didactiek voor resultaatgericht beroepsonderwijs verschenen. Met fotografe Iris Loonen heeft Lia in 2010 de uitgave Water naar de zee dragen en 19 andere activerende werkvormen voor onderwijs, trainingen en workshops gemaakt. In 2012 is bij uitgeverij Thema Aan het werk met Actiekaarten van Lia Bijkerk en Titia van der Ploeg verschenen. Contact: 7 www.edufit.nl, e-mail: l.bijkerk@edufit.nl