Blended training Toetsontwikkeling (BKE) voor hbo-docenten

Blended training Toetsontwikkeling (BKE) voor hbo-docenten Informatiebrochure

Inhoudsopgave 1 Inleiding... 3 1.1 Aanleiding... 3 1.2 Doel en doelgroep... 4 2 Uitgangspunten... 5 2.1 Inhoud... 5 2.2 Didactiek... 7 2.3 Tijdsinvestering... 7 2.4 De online leeromgeving... 8 2.5 Kwaliteit... 9 3 Werkwijze en kosten... 10 3.1 Werkwijze... 10 3.4 Kosten... 10 Bijlage 1 Leeruitkomsten Basiskwalificatie Examinering (BKE)... 11 Bijlage 2 EduProject... 12 Reacties van deelnemers van de training Toetsontwikkeling:... 14 EduProject november 2014 Blended training Toetsontwikkeling 2/14

1 Inleiding Kwalitatief goede toetsen zijn cruciaal voor iedere hbo-opleiding. Naar aanleiding van kritiek op de kwaliteit van hbo-diploma s zijn maatregelen genomen om ervoor te zorgen dat de kwaliteit van toetsing beter geborgd wordt: De NVAO scherpte het beoordelingskader aan: het onderdeel toetsing moet te allen tijde met een voldoende beoordeeld zijn. Is de kwaliteit van toetsing onvoldoende, dan krijgt de opleiding geen accreditatie. De Commissie Bruijn stelt in het rapport Vreemde ogen dwingen maatregelen voor om de kwaliteit van toetsing te verbeteren. Eén van deze maatregelen is van toepassing op docenten: Een docent dient aantoonbaar over voldoende onderwijskundige/didactische deskundigheid te beschikken, en daarbinnen over toetsdeskundigheid om zich te kwalificeren als (zelfstandig) examinator, (extern) lid van een examencommissie bij de eigen of een andere hogeschool, assessor of gecommitteerde. De Vereniging Hogescholen geeft in het voorstel Verantwoord toetsen en beslissen in het hoger beroepsonderwijs indicatoren waaraan de Basis Kwalificatie Examinering (BKE) zou moeten voldoen (zie Bijlage 1). De Vereniging Hogescholen geeft in het document Beoordelen is mensenwerk aanbevelingen voor een gezamenlijk protocol van het beoordelen van werkstukken. Een behoorlijke set aan maatregelen waar iedere opleiding iets mee moet. De blended training Toetsontwikkeling heeft deze maatregelen en eisen vertaald naar een heldere training waarin docenten stap voor stap een eigen toets ontwikkelen die voldoet aan de kwaliteitseisen en het toetsbeleid van de opleiding. 1.1 Aanleiding Veel docenten binnen het hbo combineren hun rol als docent met hun werk in de beroepspraktijk. Een sterk punt omdat de opleiding hiermee de aansluiting tussen het onderwijs en de beroepspraktijk bevordert. Deze constructie heeft tot gevolg dat docenten veelal parttime aan de opleiding verbonden zijn, zij niet allemaal voldoende didactisch geschoold zijn, én het lastig is om hen als groep in te plannen voor bijeenkomsten zoals een training. Een training over toetsontwikkeling is alleen zinvol als het geleerde aansluit op het toetsbeleid van de eigen opleiding. Het is zonde van de schaarse tijd en energie om in een training een toets te ontwikkelen die de docent vervolgens niet in zijn eigen onderwijs kan inzetten omdat de toets niet voldoet aan het toetsbeleid. Het zo min mogelijk belasten van docenten én het toepassen van het geleerde in het eigen onderwijs, vormen de aanleiding voor het ontwikkelen van de blended training Toetsontwikkeling.

1.2 Doel en doelgroep Doel van de blended training Toetssontwikkeling is om Hbo-docenten te ondersteunen bij het ontwikkelen van een kwalitatief goede (= valide, betrouwbare en inzichtelijke) toets. Na het volgen van de training kan de docent een toets maken die betrouwbaar, valide en transparant is, inclusief de bijbehorende toetsproducten zoals een toetsmatrijs en beoordelingsinstrument. De doelgroep bestaat uit hbo-docenten en overige betrokkenen bij toetsing binnen het hbo zoals examencommissieleden, toetscommissieleden en opleidingsmanagers. EduProject november 2014 Blended training Toetsontwikkeling 4/14

2 Uitgangspunten De training is een combinatie van face-to-face onderwijs en online leren (blended learning). De training start met een gezamenlijke kick-off en de docenten gaan vervolgens zelf aan de slag ondersteund door een online leeromgeving. Voordeel is dat de docent kan studeren waar en wanneer hij wil en in zijn eigen studietempo. Alle leerinhoud is online beschikbaar en kan dus geopend worden op een computer of laptop maar ook op een tablet of mobiele telefoon, waar en wanneer het de docent uitkomt. 2.1 Inhoud De inhoud van de training ziet er als volgt uit: EduProject november 2014 Blended training Toetsontwikkeling 5/14

Beschrijving van de inhoud Stap 1: Stel vast wat u gaat toetsen U stelt vast welke leerdoelen u gaat toetsen. Uitgangspunt is de onderlinge relatie tussen Leerdoelen onderwijs toetsing. Ook leert u wat iedere docent moet weten over het NVAObeoordelingskader en de Wet op het hoger onderwijs en wetenschap (WHW). Stap 2: Bepaal de toetsvorm De toetsvorm die u kiest moet passen bij het doel en de inhoud van uw toets. Bij deze stap ontvangt u een handig overzicht van toetsvormen die geschikt zijn voor Hbo-onderwijs. U leert welke toetsvorm bij welke soort doelen past (kennis, vaardigheden, competentie, praktijk) en krijgt per toetsvorm tips hoe u de toets kunt ontwikkelen. Stap 3: Maak een blauwdruk Wat is het nut en de noodzaak van een blauwdruk? Werken met een toetsmatrijs bevordert de validiteit van een toets. U leert hoe u een heldere matrijs opstelt die ook voor derden te begrijpen is. U ontvangt een voorbeeld van een toetsmatrijs en een instructie hoe u deze invult. Stap 4: Ontwikkel de toets U hebt nu de basis gelegd om een goede toets te kunnen maken. Als u bovenstaande stappen goed hebt uitgevoerd, kunt u starten met het formuleren van toetsvragen. U ontvangt bij deze stap tips en een checklist voor het ontwikkelen van goede toetsvragen. Stap 5: Bepaal de beoordeling en het antwoordmodel (cesuur) Als de toets klaar is, ontwikkelt u een antwoordmodel of beoordelingsformulier. U stelt de puntenverdeling vast, het scoringsvoorschrift en bepaalt de cesuur. Cesuur en scoringsvoorschriften staan in deze stap centraal. U krijgt een voorbeeld van een antwoordmodel en een (digitaal) format voor een beoordelingsformulier dat u kunt gebruiken voor uw eigen toets. Stap 6: Check de kwaliteit Voordat de toets definitief vastgesteld wordt, checkt u de toets op de kwaliteitseisen: betrouwbaarheid, validiteit en inzichtelijkheid. U leert wat deze begrippen precies inhouden en hoe u uw toets kwalitatief kunt verbeteren. U ontvangt drie handige checklists om de kwaliteit van uw toets te controleren. Ook gaat deze stap in op het belang en het praktisch regelen van het vier ogen principe. Stap 7: Schrijf de toetsinstructie Met het goed en volledig uitvoeren van deze laatste stap, voorkomt u vragen, onduidelijkheden en problemen (lees: studentklachten). Studenten moeten vooraf goed geïnformeerd zijn over de toets (inzichtelijkheid). In deze stap leert u welke informatie u precies hoort te vermelden en hoe. EduProject november 2014 Blended training Toetsontwikkeling 6/14

2.2 Didactiek De training bestaat uit 7 stappen. Iedere stap begint met kennis (theorie). Daarna volgt een opdracht waarmee de docent het geleerde toepast. In de stappen staat alleen die informatie die de docent nodig heeft en geen overbodige informatie. Iedere stap wordt afgesloten met een toetsproduct zoals een toetsmatrijs, toetsvragen, beoordelingsinstrument of een toets-checklist. Tijdens een trainingsdag gaan we dieper in op de eigen toetsproducten. Dit kan doordat de docenten de theorie al zelf bestudeerd hebben. Docenten brengen hun eigen toetsproducten in, geven feedback op elkaars producten en kunnen vragen stellen aan de onderwijskundige die de dag begeleidt. Resultaat van de trainingsdag is dat de docenten met een goede toetsmatrijs als basis het vertrouwen hebben om zelfstandig de toets en het beoordelingsinstrument via de online leeromgeving uit te werken. Aan het eind van het traject kunnen de docenten hun toetsproducten uploaden voor feedback door een onderwijskundige. Indien wenselijk kan samengewerkt worden met de Examen- of toetscommissie. EduProject verzorgt dan bijvoorbeeld feedback (formatief) waarna de docenten de toetsproducten kunnen aanpassen en in kunnen dienen bij de Examen- of toetscommissie. Planning (duur 6 weken) Planning Week Kick-off bijeenkomst (Stap 1 + 2) Week 1 Face-to-face (2 uur) Stap 3 Week 2 Online Trainingsdag (Stap 4) Week 3 Face-to-face (5 uur) Stap 5 Week 4 Online Stap 6 Week 5 Online Afronding (Stap 7) Week 6 Online 2.3 Tijdsinvestering De totale tijdsinvestering is 30 uur: in de 6 weken besteedt de docent op zelfgekozen tijdstippen gemiddeld 2 uur per week aan de opdrachten Daarnaast zijn er 2 face-to-face bijeenkomsten (kick off 3 uur + training 7 uur) EduProject november 2014 Blended training Toetsontwikkeling 7/14

2.4 De online leeromgeving Links staat de navigatiebalk met daarin het overzicht van alle onderdelen van de training. Klikt u op een onderdeel, dan verschijnt de inhoud van de betreffende stap in beeld zoals hieronder aangegeven. EduProject november 2014 Blended training Toetsontwikkeling 8/14

2.5 Kwaliteit Samenwerking met Examen- of toetscommissie Een training toetsontwikkeling is alleen efficiënt als de ontwikkelde toets aansluit op het toetsbeleid van de opleiding en de toets daadwerkelijk inzetbaar is in het eigen onderwijs. Daarom werkt EduProject graag nauw samen met de Examen- en/of toetscommissie. Bij deelname aan de training door een groep docenten, geldt: de online leeromgeving kan op maat worden ingericht met documenten waar de opleiding mee werkt. Denk aan het toetsbeleid, richtlijnen voor toetsen, format toetsmatrijs, format tentamen voorblad, enz. De docenten weten dan waar hun toets aan moet voldoen en werken direct met de juiste documenten. Er kunnen afspraken gemaakt worden wie feedback geeft op de ontwikkelde toetsen, bijvoorbeeld eerst feedback door een toetsdeskundige van EduProject waarna de docent de toetsprducten aanpast en de definitieve versie inlevert bij de Examen- en/of toetscommissie. Dit bespaart de commissieleden tijd en vergroot de kans aanzienlijk dat de ontwikkelde toetsen daadwerkelijk bruikbaar zijn in de opleiding. Bij individuele deelname aan de training geldt: de training verwijst in iedere stap naar het belang van afstemming van de eigen toets binnen de opleiding. De check of de toets past binnen het beleid van de opleiding ligt bij de docent zelf. Vier-ogenprincipe In de training wordt het vier-ogenprincipe toegepast doordat docenten samenwerken aan toetsen en elkaars toetsen meelezen. In overleg met de Examencommissie kan dit gedocumenteerd worden. Basiskwalificatie Examinering (BKE) De inhoud van de training sluit aan op de indicatoren van de Basiskwalificatie Examinering (BKE) zoals geformuleerd in het voorstel van de Vereniging Hogescholen Verantwoord toetsen en beslissen in het hoger beroepsonderwijs. Na het doorlopen van alle stappen en het aanleveren van een kwalitatief goede toets (inclusief bijbehorende toetsproducten) kan de docent een certificaat ontvangen. Dit certificaat zou de docent samen met zijn toetsproducten in een portfolio kunnen opnemen als bewijslast voor de BKE. Een voorbeeld van het certificaat ziet u in de afbeelding hieronder. De tekst op het certificaat is aan wensen en eisen aanpasbaar. EduProject november 2014 Blended training Toetsontwikkeling 9/14

3 Werkwijze en kosten 3.1 Werkwijze Voor het ontwikkelen van een blended training die aansluit op het toetsbeleid van de opleiding is een nauwe samenwerking met de opleiding van groot belang. Daarom worden bij uitvoering van de training nadere afspraken gemaakt over de samenwerking. 3.4 Kosten De blended training voor groepen (min. 10 deelnemers) bestaat uit: Kick-off bijeenkomst (3 uur) Toegang tot de online leeromgeving gedurende de overeengekomen periode Vragen stellen per e-mail aan onderwijskundige Trainingsdag* (6 uur) Feedback op ontwikkelde toetsproducten door onderwijskundige Dit is inclusief: - Voorbereiding - Materiaalkosten - Reiskosten van de trainer - BTW Exclusief: locatiekosten. De trainingsdag(en) vinden plaats bij de opdrachtgever of op een externe locatie gekozen door en betaald door de opdrachtgever. Prijs: 900 per deelnemer - *Max. 15 deelnemers per trainingsdag; bij meer dan 15 deelnemers worden extra trainingsdagen ingepland. - Prijs voor individuele deelnemers: 750. Individuele deelnemers volgen de training volledig online, dus zonder face-to-face bijeenkomsten. Vrijgesteld van BTW EduProject staat in het CRKBO-register waardoor de training is vrijgesteld van BTW EduProject november 2014 Blended training Toetsontwikkeling 10/14

Bijlage 1 Leeruitkomsten Basiskwalificatie Examinering (BKE) Nr. Beschrijving leeruitkomst Indicatoren* BKE-1 Is in staat de toetscyclus toe te passen voor het toetsen van leerresultaten van Beschrijft per fase van de toetscyclus doel en producten. studenten binnen een vakgebied / module / onderwijseenheid voor een specifieke toetsvorm en levert hiervoor Bepaalt in overleg met collega s de te ontwerpen toets en maakt een planning voor de daarbij behorende werkzaamheden. adequaat bewijs in de vorm van een toetsontwerp. Onderbouwt per fase uit de toetscyclus Verzamelt de kaders voor de te ontwerpen toets: leeruitkomsten, toetsbeleid, toetsplan en toetsmatrijs. de gemaakte keuzes aan de hand van Stelt de leeruitkomsten waar nodig bij. relevante toetskundige literatuur. Kiest voor de te ontwerpen toets een passende toetsvorm gegeven de leeruitkomsten. Stelt de toetsmatrijs op (of past een bestaande toetsmatrijs aan), gegeven leeruitkomsten en toetsvorm. Stelt volgens het vier-ogenprincipe de toets samen op basis van de toetsmatrijs cf. kwaliteitseisen. Stelt de normering vast en maakt een beoordelingsmodel bij de toets in overleg met collega s. Neemt de toets af. Beoordeelt de toets aan de hand van het beoordelingsmodel, verwerkt en analyseert de resultaten. Geeft adequate, informatierijke feedback aan de student naar aanleiding van de toetsresultaten. Voert de cijfers in van de beoordeelde toets. Evalueert alle fasen van de toetscyclus. BKE-2 Kan de positie van de toets in het totale toetsprogramma aangeven. Geeft aan welke toetsvormen in het programma worden gegeven. Geeft aan welke positie het vak/de onderwijseenheid in het programma heeft. Bepaalt consequenties van het programma voor de inhoud, de vorm en het niveau van de toets. BKE-3 Kan consequenties van het toetsbeleid benoemen voor de eigen toets. Kan de visie op toetsing in de organisatie benoemen. Vertaalt de knelpunten van de visie naar de eigen toets. EduProject november 2014 Blended training Toetsontwikkeling 11/14

Bijlage 2 EduProject EduProject is in 2006 opgericht door Christine van Halm. Christine studeerde Opleiding en Voorlichting in Organisaties (Pedagogische Wetenschappen) aan de Universiteit Leiden (MSc Educational Studies). Christine werkt sinds 2000 als opleidingskundige voor diverse Hbo-instellingen, is Examencommissielid en werkt als vaste toetsscreener voor Stichting Praktijkleren. Ik heb veel kennis en ervaring opgedaan in Hbo-toetsing. Dat ging niet vanzelf. Aan het begin zelfs met een gezonde dosis weerstand tegen alle opgelegde regels en richtlijnen. Ik vond (en vind) dat docenten zich vooral moeten richten op de inhoud van hun vak. Daar zijn ze goed in en dat vinden ze leuk om over te brengen op studenten! Door de hoeveelheid regels over toetsing en het belang van toetsing, zie ik dat docenten soms onzeker worden over hun vak. Om docenten te ontlasten van al die regels, zodat ze zoveel mogelijk tijd aan hun vak kunnen besteden, besloot ik uit te zoeken hoe het precies zit. Ik ontdekte dat het onderwerp toetsing soms onnodig ingewikkeld wordt gemaakt. Daarom besloot ik mijn kennis te delen en heb deze cursus over toetsontwikkeling geschreven. Hierin staat wat iedere Hbo-docent moet weten op het gebied van toetsing zonder overbodige ballast. Ik hou van duidelijkheid en probeer onderwijskundige modellen, theorieën en (wettelijke) regels zoveel mogelijk te vertalen naar praktische en werkbare informatie voor docenten. Tot slot. Toetsing is niet alleen een zeer belangrijk item geworden bij accreditatie. Ook voor docenten is de toets een mooi moment. Het geeft voldoening om te zien wat studenten na afloop van een module concreet kunnen. Je ziet hoe studenten zich ontwikkelen. Docenten (en hun goede toetsen) leveren daar een belangrijke bijdrage aan! EduProject november 2014 Blended training Toetsontwikkeling 12/14

Anderen over Christine (zie https://www.linkedin.com/pub/christine-van-halm/7/736/a11) Christine is een ervaren onderwijskundige met uitgebreide ervaring in het HBO. Wij, TriamFloat, zettten Christine herhaaldelijk bij klanten in vanwege haar expertise en het goed kunnen schakelen tussen kaders/beleid en praktische uitvoering. Zij is een prettig en rustige gesprekspartner. Zij weet rust te brengen in een onrustige context. Christine is expert op het gebied van onderwijsontwikkeling en toetsing/evc. Tevens voert zij voor ons regelmatig trainingen op het gebied van toetsing uit. Zij staat haar 'mannetje' in groepen waar onrust en weerstand is. Sanna Langerak, business managertriamfloat *** Christine werkt al een aantal jaar als assessor voor het EVC bureau van ROC Mondriaan. Daarin is zij een constante factor gebleken, die naast haar uitstekende kwaliteiten als assessor ook actief meedenkt aan de kwaliteitsslag en professionalisering. Als opleidingsdeskundige is Christine ook bekwaam in het samenstellen van examenprojecten. Dat doet zij op creatieve wijze, waarbij ze de kwaliteitseisen niet uit het oog verliest. Christine is betrouwbaar, denkt mee én vooruit, levert werk van goede kwaliteit, is analytisch, kan goed luisteren en kan haar mening goed overbrengen. Daarbij is ze prettig in de omgang. Een absolute aanwinst om mee samen te werken! Karin Holderbusch (Thomson), Volwassenenopleiding en EVC at ROC Mondriaan EduProject november 2014 Blended training Toetsontwikkeling 13/14

Reacties van deelnemers van de training Toetsontwikkeling Mooie training heb je gemaakt! Mijn complimenten, duidelijk en veel info. Je feedback is van grote waarde geweest!. Ik dank je voor de leerzame training. Bedankt voor je feedback, de tips zijn zeker welkom. Vond het leuk dat je zo uitgebreid de tijd voor me hebt genomen om alles met mij te bespreken. Was leerzaam! Dank voor de feedback! Ik kom hier een heel stuk verder mee. Prettig dat er meegedacht wordt. Veel dank voor je snelle reactie. Interesse gewekt? Ik denk graag mee over de kwaliteit van toetsing binnen uw opleiding. Neem contact op voor het maken van een vrijblijvende en kosteloze afspraak om de wensen en mogelijkheden te bespreken: info@eduproject.nl 06-41 88 02 86 EduProject november 2014 Blended training Toetsontwikkeling 14/14