HOE ONTWERPT U EEN GOEDE OPDRACHT? Waar begint u mee en welke criteria zijn belangrijk? Opdrachten in de vorm van een product, handeling of gesprek 4 oktober 2016 Harry Molkenboer
Even voorstellen Onderzoek 14 hogescholen stand van zaken BKE/SKE 2
Programma Inleiding Bereiken van startbekwaamheid Toetsvormen Leerdoelen Taxonomie Toetsmatrijs Opdrachten ontwerpen Eenvoudig beoordelingsmodel Uitgebreid beoordelingsmodel (rubric) Cesuur bij een rubric De mondelinge toets Ook proces beoordelen Kalibreren NVAO 3
Toepassen in eigen organisatie Denk bij de volgende onderdelen van het programma na over de eigen situatie en maak een keuze of bedenk een oplossing. Doe dit individueel of samen met een collega. Toetsvormen Leerdoelen en taxonomie Toetsmatrijs Eenvoudig beoordelingsmodel of rubric Van enkelen wordt gevraagd dit kort toe te lichten. 4
Opdrachten zijn vaak integratief Opdrachten meten kennis, inzichten, vaardigheden en houding vaak op een integratieve wijze. Dit maakt dat opdrachten vaak complex te ontwikkelen zijn. Hoe verder in de opleiding hoe belangrijker integratieve opdrachten worden. Bij de afstudeeropdracht komt dit het meest duidelijk naar voren. Vaak is een samenstel van opdrachten gewenst (methodemix). En elke toetsvorm heeft zijn eigen specifieke dynamiek! 5
Een goede opdracht betekent kleien 6
Startbekwaamheid Beroepscontext Landelijke of eigen beroeps- en opleidingsprofielen Eindkwalificaties Dublin descriptoren Hbo-standaard Toetsen 7
Dublin descript. en hbo-standaard Dublin descriptoren Kennis en inzicht Toepassen kennis en inzicht Oordeelsvorming Communicatie Leervaardigheden Hbo-standaard Gedegen theoretische kennis Onderzoekend vermogen Professioneel vakmanschap Beroepsethiek en maatschappelijk bewustzijn 8
Beoordelen startbekwaamheid Onderwijsvisie Toetsbeleid Toetsprogramma Toetsen Verbijzonderde eindkwalificaties tot leerdoelen 9
Voorbeeld onderwijsvisie 10
Voorbeeld onderwijsvisie 11
Toetsvormen Bron: Miller, 1990, bewerkt 12
Toetsvormen Om een toetsvorm te kunnen gebruiken moet je weten wat hij voorstelt en waarvoor hij geschikt is! Bron: website Score HvA 13
Toetsvormen Bron: M. Nieweg, 2013, website Score HvA 14
Toetsvormen Bron: Werkmodel voor toetsvormen, Jaspers & Heijmen-Versteegen, 2004 15
Toetsvormen 16
Toetsvormen 17
Toepassen toetsvormen U neemt deel aan deze workshop vanuit een bepaalde kennisbehoefte naar een opdrachtvorm (toetsvorm). Met welke toetsvorm(en) zou u aan de gang willen (of werkt u al) binnen uw eigen omgeving? Wat gaat daarbij goed en welke problemen komt u tegen? 18
Toetsvorm en leerdoelen 1. Een toetsvorm kan alleen goed worden bepaald als de leerdoelen vastliggen. 2. Leerdoelen beschrijven inhoud en niveau in de vorm van zichtbaar en daardoor meetbaar gedrag. 3. De zichtbaarheid bepaalt de toetsvorm. 4. Een taxonomie is een hulpmiddel bij het classificeren van leerdoelen in gedragsniveaus in oplopende complexiteit 19
Leerdoelen 20
Dichttimmeren werkt vaak niet 21
Taxonomie Bron: Gereviseerde versie Bloom, 1956 en Krathwohl, 2001 22
Taxonomie 23
Taxonomie 24
Taxonomie Bron: Bloom/Krathwohl, 2001; Krahtwohl, Bloom & Masie, 1964; Dave, 1967/1970 25
Taxonomie 26
Taxonomie 27
Taxonomie 28
Taxonomie van de magie 29
Taxonomie Bron: ZelCommodel, Bulthuis, 2013 30
Toepassen leerdoelen en taxonomie 1. Denk eens na over het gebruik van leerdoelen en toetstermen. Hoe past u ze toe en wat zou u eventueel anders willen doen? 2. Welke taxonomie(ën) hanteert u? En wat zou u eventueel anders willen doen? 3. Wat gaat daarbij goed en welke problemen komt u tegen (bij 1. en 2.)? 31
Dichtspijkeren of timmermansoog? Analytisch versus holistisch 32
Toetsmatrijs 33
Toetsmatrijs 34
Drie opdrachten Toetsmatrijs Beoordelen product Beoordelen product of proces? 35
Toetsmatrijs / specificatietabel Een toetsmatrijs is een blauwdruk van een toets. Het is een tabel waarin zichtbaar wordt hoe de vragen of beoordelingsaspecten (bij opdrachten) worden verdeeld over de leerdoelen én de gedragsniveaus. Een toetsmatrijs geeft de systematische onderbouwing van een toets weer en maakt de validiteit van de toets zichtbaar; de juiste inhoud en op het juiste niveau. Een toetsmatrijs wordt in het geval van opdrachten ook wel een specificatietabel genoemd. Ook bij opdrachten is dus sprake van een toetsmatrijs! 36
Toepassen toetsmatrijs Op welke wijze maakt u gebruik van toetsmatrijzen? Denk ook aan meer analytisch, meer holistisch of aan geen toetsmatrijs. Wat gaat daarbij goed en welke problemen komt u tegen? 37
Opdrachten ontwerpen Opdracht in de vorm van een: Product Handeling Gesprek 38
Bijbehorende toetsvormen 39
Opdrachten gelijk ontwerpproces Van eindkwalificatie naar leerdoelen en toetstermen Keuze voor een toetsvorm Keuze voor een taxonomie Ontwikkelen van een specificatietabel Ontwikkelen van een beoordelingsmodel Bepalen van een cesuur (grens voldoende/onvoldoende) Afnemen Beoordelen aan de hand van beoordelingsmodel Evalueren Kalibreren Aanpassen 40
Opdrachten eigen inhoud 41
Voorbeeld eenvoudig mod Bron: Verslag onderzoeksstage Miranda Joosten, 2010, bij faculteit Diergeneeskunde 42
Voorbeeld eenvoudig mo Bron: Verslag onderzoeksstage Miranda Joosten, 2010, bij faculteit Diergeneeskunde 43
Voorbeeld uitgebreid model Bron: Masteropleiding Toetsdeskundige, 2016, Fontys 44
Elementen rubric Beoordelingsdimensies/criteria op basis van taaksituaties uit de specificatietabel Beoordelingsschaal/-niveaus Prestatie-indicatoren Bron: Toetsen in het hoger onderwijs, derde druk, 2014 45
Beoordelingsdimensies/criteria Van analytisch naar holistisch Geschoolde intuïtie Bron: Toetsen in het hoger onderwijs, derde druk, 2014 46
Beoordelingsschaal/niveaus Bron: Toetsen in het hoger onderwijs, derde druk, 2014 47
Toepassen beoordelingsmodel Op welke wijze maakt u gebruik van beoordelingsmodellen? Denk aan eenvoudig, rubric, magisch. Wat gaat daarbij goed en welke problemen komt u tegen? 48
Bepalen cesuur (voorbeeld) Bron: Masteropleiding Toetsdeskundige, 2016, Fontys 49
Mondelinge toets Vraagtechnieken/-methoden binnen de toetsfase: STAR: Situatie, Taak, Actie, Resultaat, Reflectie, Transfer Wacker - proces-methode: Waarnemen, Aantekeningen maken, Classificeren, Kwalificeren, Evalueren en Rapporten 50
Ook proces beoordelen Beoordeel bij een product- of handelingstoets ook het proces. Dit kan schriftelijk (bij een product) of mondeling (bij een handeling). Daarbij gaat het om achterliggende kennis en inzichten; hoe is gewerkt, waarom zijn bepaalde keuzes gemaakt et cetera. 51
Kalibreren Bestaande beoordeling van een opdracht Goed, slecht en op de cesuurgrens Opnieuw laten beoordelen door beoordelaars Resultaat en keuzes bespreken Consensus bereiken Verbeteringen doorvoeren 52
Rubric is geen doel Het gaat om één ding. Een toetstechnisch te verantwoorden onderbouwing van de gekozen en uit te voeren beoordeling die valide, betrouwbaar, generaliseerbaar en transparant is. De NVAO denkt net zo 53
Dank voor jullie aandacht Klei ze Harry.molkenboer@toetsen-beoordelen.nl 06 53 67 47 03 54