Neem volgende elementen in overweging bij de vormgeving van een overalltoets:

Transcriptie

1 Overalltoets Omschrijving De overalltoets is een specifieke vorm van een casustoets. De overalltoets bestaat uit een probleemsituatie/casus die wordt beschreven door middel van verschillende informatiebronnen én toetsvragen. Deze toetsvorm is ontwikkeld door prof. Mien Segers van de Universiteit van Maastricht. De overalltoets heeft 10 specifieke kenmerken. 1. De overalltoets is gebaseerd op één uitgebreide reële probleemsituatie in zijn geheel. 2. De probleemsituatie wordt beschreven in de vorm van informatiebronnen. De informatiebronnen zijn verschillend van aard (bv. artikel, brief, rapport, cijfermateriaal, nota, mail, transcriptie van een gesprek, brochure, planning, samenvatting, observatie, evaluatie, schets, plan, slide(s) powerpoint, ). 3. Er zijn 7 tot 10 informatiebronnen. Elke informatiebron belicht een ander aspect van de probleemsituatie. 4. De probleemsituatie is nieuw (niet aan bod gekomen tijdens de lessen). 5. De probleemsituatie wordt vanuit verschillende disciplines/kennisinhouden benaderd (minimaal 2 of 3). 6. De studenten krijgen de informatiebronnen van te voren. 7. De toetsvragen richten zich op de kernelementen van het probleem. Ze toetsen niet in welke mate de student het probleem in zijn geheel kan duiden, analyseren en oplossen. 8. De overalltoets bevat gesloten en open vragen. 9. De overalltoets is een open-boekexamen. 10. De ontwikkeling van de overalltoets is teamwork van docenten. Ontwikkeling Vertrek bij het ontwikkelen van een evaluatieactiviteit steeds van de leerresultaten/competenties/leerdoelen. Om te bewaken of je toets deze leerdoelen/leerresultaten dekt, kan je gebruik maken van een toetsmatrijs (zie fiche Toetsmatrijs). Neem volgende elementen in overweging bij de vormgeving van een overalltoets: Algemeen Enkele algemene tips die in het achterhoofd dienen gehouden te worden tijdens het ontwikkelen van de overalltoets zijn: Ontwikkel de overalltoets met een team van docenten uit verschillende kennisgebieden. De toetsontwikkeling vergt een bewuste planning. Maak voldoende aaneengesloten tijd vrij om geconcentreerd te kunnen werken. Leg de probleemsituatie, vragen, beoordelingscriteria, beoordelingsmodel voor aan collega s ter feedback. OOF-project Toetskoffer: startbagage voor toetscommissies

2 Probleemsituatie De probleemsituatie is de basis van een overalltoets. Houd daarom rekening met de volgende aandachtspunten: Besteed de nodige aandacht aan de selectie van een geschikte probleemsituatie aan de hand van de informatiebronnen. Enkele richtinggevende vragen hierbij zijn: - Sluit de probleemsituatie aan bij de beoogde leerresultaten/ competenties/ leerdoelen die behandeld zijn in de les?, - Biedt de probleemsituatie voldoende aanknopingspunten voor het formuleren van een set van toetsvragen? Maak de informatiebronnen zowel talig als inhoudelijk toegankelijk voor studenten. De schrijver presenteert zijn mening helder en duidelijk zodat studenten deze eenduidig interpreteren. Vermijd een probleemsituatie waar je zoveel informatie beschrijft dat de situatieschets niet meer helder en duidelijk is. De toetsvragen Naast de casus bevat een casustoets enkele vragen. Neem bij het opstellen van de vragen volgende aandachtspunten in overweging: Richt de toetsvragen op de kernaspecten van de probleemsituatie. De toetsvragen meten niet in welke mate de studenten het probleem zoals beschreven in zijn geheel kunnen duiden, analyseren en oplossen. De toetsvragen richten zich op de kernelementen van het probleem (de beoogde leerresultaten/competenties/leerdoelen). Bedenk welke denkstappen de student moet doorlopen om het probleem te kunnen duiden, analyseren of oplossen. Zorg dat de vragen probleemoplossende vaardigheden toetsen. Het antwoord mag NIET rechtstreeks te vinden zijn in de informatiebronnen. De toetsvraag is NIET te beantwoorden zonder de informatiebron gelezen te hebben, maar de toetsvraag kan ook NIET louter beantwoord worden op basis van een informatie in de gegeven informatiebron. De student moet zijn eigen kennis en de info uit de informatiebron aan elkaar linken. De toetsvragen kunnen een mix zijn van gesloten en open vragen. De gesloten vragen zijn bij voorkeur juist/onjuist -vragen. Deze juist/onjuist -vragen toetsen of een student theoretische modellen of begrippen kan herkennen/toepassen in de nieuwe probleemsituatie. Maak je niet te vlug druk om de verhouding open- en gesloten vragen. Open vragen kunnen later altijd weer gesloten worden gemaakt en omgekeerd. Stel vragen die rechtstreeks uit de casus voortkomen. Stel bv. geen vragen die beginnen met Stel dat. Deze vragen staan los van het kernprobleem. Voorbereiding van studenten Zorg ervoor dat studenten bij aanvang van de overalltoets voldoende vertrouwd zijn met het werken met casussen. Raad daarom studenten aan om de cases en het type vragen die tijdens de lessen aan OOF-project Toetskoffer: startbagage voor toetscommissies

3 bod kwamen, grondig te bekijken. Verder kan je studenten ook een voorbeeld overalltoets, bv. van vorige jaren, aanreiken zodat ze kunnen oefenen. Informeer studenten goed over hoe de toets moet worden voorbereid, hoe de toets verloopt en hoe deze beoordeeld wordt (gewichten, beoordelingscriteria, cesuur, ). Wijs studenten op het feit dat de overalltoets een openboekexamen is en hoe de studenten de van te voren gekregen informatiebronnen moeten doornemen. Een advies dat je aan de studenten kan meegeven is om bij wijze van voorbereiding de probleemsituatie voor de komende overalltoets samen met medestudenten te analyseren, oplossingen te formuleren en deze te beargumenteren. Beoordeling en beslissing Stel voor iedere vraag een antwoord- of beoordelingsmodel op. Het gebruik van een gezamenlijk beoordelingsmodel verhoogt de betrouwbaarheid van de beoordeling van een toets. Richt je beoordelingsmodel globaal op het toetsen van competenties die vervat zijn in volgende vragen: - In welke mate kan de student een nieuw probleem (of element ervan) definiëren? - In welke mate toont de student aan dat hij relevante onderliggende begrippen of theoretische modellen kan selecteren en toepassen? - In welke mate kan de student een nieuw probleem analyseren? - In welke mate kan hij op basis van de analyse een conclusie trekken, een oplossing/ advies formuleren en/of beslissingen beargumenteren? Noteer tijdens de beoordeling voor elke student welke score hij op elk aspect gekregen heeft en verantwoord dit met behulp van het beoordelingsmodel. Een korte neerslag van je bevindingen helpt om de eindscore te verantwoorden en gerichte feedback te geven bij terugkoppeling. Voor de concrete beoordeling van de overalltoets verwijzen we je, afhankelijk van hoe de student de casus moet beantwoorden (met meerkeuzevragen, gesloten of open vragen, schriftelijk of mondeling), graag verder naar de bijhorende fiches. Verder is het ook belangrijk om een duidelijke cesuur (zak-/slaaggrens) vast te leggen. Voor meer informatie hierover raadpleeg je best de fiche Cesuur. Afname Neem bij afname de volgende aandachtspunten mee: Laat studenten hun identiteit bewijzen bij een surveillant die de studenten niet kent. Maak afspraken wie de examens naar het lokaal brengt. Maak afspraken indien er meerdere surveillanten betrokken zijn zodat het examen in vergelijkbare omstandigheden uitgevoerd of afgenomen wordt. Zorg voor zo rustig mogelijke afname-omstandigheden (bv. geen telefoon, geen doorgang voor mensen, niet te veel externe prikkels, niet te warm/koud, goede ventilatie, ). Stel als surveillant de student zoveel mogelijk op zijn gemak. Studenten vinden examens erg stresserend, hun zelfvertrouwen en vlotheid verbetert als je hen hartelijk verwelkomt bij het binnenkomen. OOF-project Toetskoffer: startbagage voor toetscommissies

4 Overloop indien mogelijk met de studenten de instructies zodat ze goed weten wat en hoe ze juist moeten antwoorden en bespreek de verdere stappen in het evaluatieproces. Informeer de student over de afname-omstandigheden: - de duur; - het gebruik van de informatiebronnen en eventuele hulpmiddelen; - de tools die studenten niet mogen gebruiken; - de afspraken over praten en vragen stellen tijdens het maken van de overalltoets; - de specifieke afspraken (bv. terug meenemen van de informatiebronnen); - Wees op de hoogte van studenten met specifieke examenfaciliteiten en neem de nodige maatregelen. Deel de studenten op gepaste momenten mee hoeveel tijd er nog is, maar overdrijf daar vooral niet in. Terugkoppeling naar studenten Koppel naar studenten niet enkel het cijfer terug maar ook een mogelijk antwoordmodel. Bij inzagemomenten kan je dieper ingaan op de juiste antwoorden en verantwoorden waarom de student een bepaalde score behaald heeft. Pro & Contra Pro - De student kan met een Overalltoets aantonen dat hij zijn kennisbestand flexibel kan transfereren naar andere problemen. - Toetst of de student kennis uit verschillende disciplines weet te gebruiken voor het oplossen van realistische praktijkproblemen, in plaats van alleen de aanwezigheid van de kennis op zich. - Door de Overall-toets van tevoren aan de student te geven, kan de student zich voorbereiden op de toetsvragen, net als in het echte leven. Contra - De toetskwaliteit staat of valt met de samenwerking van de docenten bij de toetsontwikkeling. - De ontwikkeling van een Overalltoets is complex en vraagt de nodige expertise, tijd en planning. Tips & tricks Verander de probleemsituatie of vraag wanneer er onvoldoende overeenstemming bestaat over het juiste antwoord bij collega s, experts, werkveld, OOF-project Toetskoffer: startbagage voor toetscommissies

5 Meer weten en/of doen? Dochy, F. & Segers, M. (1999). Innovatieve toetsvormen als gevold van constructiegericht onderwijs: op naar een assessment-cultuur. In: P. de Boeck & M. Lacante (red.) Meer kansen creëren voor het hoger onderwijs (p ). Dordrecht: Kluwer. OOF-project Toetskoffer: startbagage voor toetscommissies