Ontwerpen: modaliteiten kiezen Omschrijving Een toets ontwerpen veronderstelt keuzes maken. Deze keuzes zijn afhankelijk van de onderwijs- en toetsvisie, het toetsplan/ toetsprogramma, het doel van de evaluatie, kenmerken en talenten van je studenten, de groepsgrootte, de beoogde leerresultaten/competenties/leerdoelen, de beschikbare tijd en middelen, de beoogde kwaliteitseisen, de beschikbare infrastructuur, de beschikbare ondersteuning, etc. In functie van deze factoren kan je je toets ontwerpen door een antwoord te formuleren op de volgende vragen: Waarom? Wanneer? Hoe (modus en vorm)? Wie? Waar evalueren? Kader Toetsfase Kwaliteitscriterium Toetsvormen Ontwerpen/modaliteiten kiezen Validiteit / betrouwbaarheid/ transparantie Alle toetsvormen Stappenplan Om het ontwerpen van een toets te ondersteunen kan je een antwoord formuleren op iedere onderstaande vraag. Hieronder geven we bij iedere vraag de potentiële keuzemogelijkheden. Er kunnen bij elke rubriek meerdere antwoorden mogelijk zijn. Waarom evalueren? q summatief: in functie van formele beslissingen q formatief: in functie van de ontwikkeling van de student q criteriumgericht: q product: beheersing van de beoogde leerdoelen/competenties/ leerresultaten q proces: de manier waarop de beoogde leerdoelen/competenties/ leerresultaten ontwikkeld werden q normgericht: de prestaties van de student vergelijken t.o.v. andere studenten q zelfgericht of ipsatief: de voortgang en evolutie van de student t.o.v. zijn vorige prestaties q Wanneer evalueren? q evaluatie tijdens de examenperiode q evaluatie buiten de normale examenperiode OOF-project Toetskoffer: startbagage voor toetscommissies 2012-2014 1
q partiële of permanente evaluatie met (afrondende) evaluatie tijdens de examenperiode q permanente evaluatie (zonder evaluatie tijdens de examenperiode) q tijdsonafhankelijk Modus q mondeling q schriftelijk q vaardigheid q performance/gedrag Context q campus examenlokaal computerlokaal skillslab q werkplek q thuis q informeel q plaatsonafhankelijk q digitaal Studenten Selfassessment (SA): studenten beoordelen zichzelf Peerassessment (PA): studenten beoordelen elkaar Docenten Vakdocent (VD): de beoordeling gebeurt door de docent van het desbetreffende vak Docent ander vak (DAV): de beoordeling gebeurt door een docent van een ander vak binnen de opleiding (bv. presentatie voor het vak Psychologie wordt beoordeeld door de docent van het vak Nederlands) Docent andere opleiding (DAO): de beoordeling gebeurt door een docent van een andere opleiding binnen de instelling Externen Indien externen de beoordeling van de toetsen op zich nemen, dan dien je aan te geven hoeveel externen hieraan deelnemen Hoe evalueren (evaluatievorm)? q examen met vragen q meerkeuzevragen Evaluatieactiviteit die bestaat uit mondelinge of schriftelijke vragen. De student duidt in een lijst voorgestelde antwoorden het correcte antwoord aan. q gesloten vragen de student formuleert de antwoorden niet zelf vb. ordeningsvragen, matchingsvragen, OOF-project Toetskoffer: startbagage voor toetscommissies 2012-2014 2
verbindingsvragen, hotspotvragen, q (half)open vragen q casustoets q voortgangstoets q praktijkevaluatie q portfolio / bewijslast q evaluatiegesprek q vaardigheidstoets q simulatie/ performance assessment q beroepsproduct/ ontwerp de student formuleert de antwoorden zelf (kort of lang) formuleren bv. in- en aanvulvraag, lange antwoordvraag. de student lost een reële casus of probleem uit de praktijk op. Een overalltoets is een vorm van een casustoets. Evaluatieactiviteit waarin de voortgang van de student wordt geëvalueerd (kennisinhouden of vaardigheden) in relatie tot het verwachte eindniveau. Evaluatieactiviteit waarin de student in het kader van een opdracht, project, stage, werkplekleren, in de praktijk of in een zo authentiek mogelijke setting geëvalueerd wordt bv. door middel van observatie. Evaluatieactiviteit waarin de student bewijslast verzamelt (bv. verslagen, teksten, producten, brieven, e-mails, werkstukken, videofragmenten, ervaringsverslagen, evaluaties, logboekfragmenten, ). Evaluatieactiviteit waarin de student in een gesprek zijn ontwikkeling aantoont bv. een criteriumgericht interview, een driehoeksgesprek, een gestructureerd gesprek/ interview. Een interview wordt sterk gestuurd door de examinator, een driehoeksgesprek met bv. werkveld, student en docent gaat uit van 3 gelijkwaardige partners in assessment. De student voert een handeling uit of demonstreert een vaardigheid in een gesimuleerde setting. Evaluatieactiviteit waarin de student een opdracht/taak uitvoert waarin hij kennis(inhouden), vaardigheden, attitudes, geïntegreerd aantoont in een gesimuleerde setting. Een (beroeps)product of een ontwerp is een concreet tastbaar product dat de student ontwikkelt in het kader van een opdracht, project, bachelorproef, stage, werkplekleren,. Een (beroeps)product is een fysiek of materieel product dat streeft naar praktische bruikbaarheid voor het werkveld of een werkplek: het heeft te maken met een reële kwestie uit het werkveld of speelt in op een concrete vraag van een werkplek. OOF-project Toetskoffer: startbagage voor toetscommissies 2012-2014 3
q verslag q stationsproef q paper/ werkstuk q presentatie, uiteenzetting, expositie Evaluatieactiviteit waarin de student een neerslag maakt van geobserveerde, bijgewoonde of uitgevoerde activiteiten en de resultaten hiervan. Deze neerslag kan aangevuld worden met een analyse of reflectie. Voorbeelden zijn een logboek, stageverslag, reflectieverslag, onderzoeksverslag. De student doorloopt een reeks van verschillende evaluatieactiviteiten in verschillende ruimtes (= stations ). Evaluatieactiviteit waarbij de student bronnen behandelt en verwerkt in een eigen of wetenschappelijke analyse en zijn mening of een onderbouwd standpunt geeft. Voorbeelden zijn een essay, betoog, artikel, opstel. Evaluatie-activiteit waarin de student het proces en/of product van zijn leeractiviteiten presenteert, uiteenzet of exposeert. Wie beoordeelt 1? q de student (self-assessment): q medestudenten (peer-assessment): q docent: q leerwegonafhankelijke beoordelaars nl. q docent/expert eigen/andere onderwijsinstelling: q expert buiten onderwijsveld: q het werkveld: Tips & tricks Ga bij het zoeken naar een antwoord op de voorgestelde vragen in overleg met (meer ervaren) collega s van je vak-, ontwikkelgroep, een medewerker onderwijs, onderwijsondersteuner, een toetscoach, een toetscommissie,. Zij kunnen je bij twijfel advies geven. Is er een toetsbeleid/ toetsplan/ toetsprogramma in je hogeschool/ opleiding? Informeer je en neem deze afspraken mee bij het maken van keuzes. Probeer steeds alle vragen in overweging te nemen tijdens de vormgeving van een toets. Op deze manier ga je doordacht te werk. 1 Hier bedoelen we diegene die effectief een stem heeft in het toekennen van een beoordeling/ score toekennen aan de prestaties van de student en/of in het nemen van een beslissing over de eindscore. OOF-project Toetskoffer: startbagage voor toetscommissies 2012-2014 4
Pro & Contra Elke keuze heeft helaas voor- en nadelen. Zoals gezegd zijn deze keuzes afhankelijk van verschillende factoren. Voor de voor en nadelen van elke evaluatievorm verwijzen we je graag door naar de concrete fiches over de toetsvormen. In elke fiche vind je daarbij een rubriek met voor- en nadelen. Meer weten en doen? Van Berkel, H., Bax, A., & Joosten-Ten Brink, D. (2013). Toetsen in het hoger onderwijs (3 de Ed.). Houten, Nederland: Bohn Stafleu van Loghum. https://score.hva.nl/docent/toetscyclus/paginas/ontwerpen.aspx OOF-project Toetskoffer: startbagage voor toetscommissies 2012-2014 5