Deze steekkaart maakt deel uit van het boek "Steekkaarten doceerpraktijk" van Mieke Clement en Lies Laga (Eds.), uitgegeven door Garant.

Transcriptie

1 Evalueren Omschrijving Met de evaluatie van studenten tracht het didactisch team (zie steekkaart Didactisch team ) na te gaan in welke mate de studenten de vooropgestelde doelstellingen van een opleidingsonderdeel hebben bereikt. Evaluatie heeft enerzijds betrekking op de beslissing of de leerresultaten van een student voldoende zijn om te slagen voor een opleiding(sonderdeel). Anderzijds kunnen evaluatieactiviteiten ook worden gebruikt om de studenten en het didactisch team te informeren over de gemaakte vorderingen en eventuele moeilijkheden. De evaluatie heeft dan tot doel het leerproces te ondersteunen en te sturen. Nieuwere vormen van evaluatie assessment genoemd streven een sterkere integratie van evaluatie en het onderwijsgebeuren na en geven studenten een eigen verantwoordelijkheid in het evaluatieproces. Waarover gaat het? In de onderwijspraktijk neemt evaluatie een centrale plaats in. Via verschillende evaluatieactiviteiten tracht het didactisch team te meten in welke mate de studenten de vooropgestelde doelstellingen van een opleidingsonderdeel hebben bereikt. Onderzoek toont overigens aan dat het studeergedrag van studenten in sterke mate samenhangt met de wijze van evalueren. De afstemming tussen de evaluatie en de doelstellingen (zie steekkaart Formuleren van doelstellingen ) van een opleidingsonderdeel is dus uitermate belangrijk. Bovendien is het belangrijk dat de manier waarop wordt geëvalueerd, overeenstemt met de leeractiviteiten (zie steekkaart Cognitieve verwerkingsactiviteiten ) die de studenten doorheen het semester/academiejaar uitvoeren. Evaluatie wordt niet alleen gebruikt voor het toekennen van punten of een diploma (summatieve evaluatie), maar ook om het leerproces van de student te ondersteunen (formatieve evaluatie). Daarnaast wordt ook een onderscheid gemaakt tussen product- en procesevaluatie. De laatste jaren is een verschuiving opgetreden naar meer studentgerichte en authentieke evaluatieactiviteiten. Deze nieuwe manieren van evalueren, assessment genoemd, vormen een belangrijke aanvulling op de meer traditionele evaluatieactiviteiten. Waaruit bestaat het? Met de evaluatie wordt nagegaan in welke mate de studenten de vooropgestelde doelstellingen hebben bereikt. Naargelang het doel van de evaluatie spreekt men van productevaluatie en procesevaluatie enerzijds en summatieve en formatieve evaluatie anderzijds. Productevaluatie procesevaluatie Productevaluatie verwijst naar de meest bekende vorm van evaluatie van studenten, nl. de evaluatie waarbij wordt nagegaan of een student heeft bereikt wat van hem wordt verwacht. Hier wordt dus enkel het uiteindelijke resultaat bekeken. Procesevaluatie daarentegen verwijst naar het systematisch inwinnen van informatie over het verloop van het leerproces. Hierbij gaat het dus niet alleen om het uiteindelijke resultaat van dit leerproces, maar wordt vooral gekeken naar de manier waarop de doelstellingen werden nagestreefd en gerealiseerd.

2 Summatieve formatieve evaluatie Standaard wordt een onderwijsperiode afgesloten met een eindevaluatie, met als doel te beslissen of iemand al dan niet is geslaagd (i.c. de doelstellingen heeft bereikt). Voor deze vorm van evaluatie, summatieve evaluatie, verzamelt men meestal informatie over langere periodes. Essentieel is dat het hier om een beoordeling van de student gaat. Formatieve evaluatie is niet zozeer bedoeld om te beslissen of iemand geslaagd is, maar wel om de student in te lichten over zijn eigen kennen en kunnen in vergelijking met de verwachtingen en eisen van het didactisch team of de opleiding. Cruciaal is dat de studenten feedback (zie steekkaart Feedback ) krijgen over hun sterke en zwakke kanten en de kans krijgen om te oefenen, fouten te maken, te remediëren,... Bovendien krijgt het didactisch team via formatieve evaluatie informatie over de noodzaak om op bepaalde leerinhouden terug te komen of eventueel de cursus bij te stellen. Veranderende ideeën over evaluatie In de literatuur wordt gesproken over een verschuiving van een toetscultuur naar een assessmentcultuur. Samen met de invoering van vernieuwende onderwijsmethodes (zoals projectonderwijs, probleemgestuurd onderwijs, casusgeoriënteerd onderwijs, e.d., zie bv-databank: ontstond ook de nood aan nieuwe vormen van evaluatie. Deze nieuwere evaluatievormen hebben de volgende kenmerken: - Kennisconstructie is het uitgangspunt, niet kennisreproductie. - Zowel basiskennis als het toepassen van kennis en ((meta)cognitieve, sociale, motorische, dynamisch-affectieve) vaardigheden zijn het doel van de assessment. - Er worden authentieke of levensechte situaties gebruikt, bijv. in de vorm van casussen of problemen. - Evaluatieactiviteiten worden zoveel mogelijk in het leer- en instructieproces geïntegreerd; formatieve evaluatie ter begeleiding van het leerproces van studenten speelt dan ook een onmisbare rol. - Studenten spelen een actieve rol bij het ontwerp en/of de uitvoering van de evaluatie. Enkele nieuwe vormen van assessment zijn: - peer-assessment (zie steekkaart): studenten evalueren elkaar volgens voorafbepaalde criteria (door het didactisch team of in samenspraak opgesteld); - self-assessment: studenten evalueren het eigen werk, maar worden eveneens betrokken bij het bepalen van de evaluatiecriteria; - portfolio (zie steekkaart): een (elektronische) verzamelmap waarin studenten een selectie van werken en materialen bewaren en voorzien van commentaar (zelfreflectie); - authentieke assessment: studenten moeten complexe kennis en vaardigheden kunnen toepassen in realistische contexten; - Toch betekent deze verschuiving naar een assessmentcultuur niet dat de meer traditionele manieren van evalueren (zie steekkaarten Openboek- versus geslotenboekexamen, Mondeling versus schriftelijk examen, enz.) volledig aan de kant moeten worden geschoven. Ze moeten wel worden aangevuld met een veelheid aan andere evaluatievormen, waarbij het didactisch team verantwoordelijk is voor de keuze van de evaluatiemethode die het beste aansluit bij de doelstellingen die men nastreeft. Waarvoor en hoe kan je het gebruiken? Uit onderzoek blijkt dat het studeergedrag van studenten in sterke mate samenhangt met de inhoud en de wijze waarop wordt geëvalueerd. Wat studenten leren hangt af van wat zij verwachten te zullen moeten aantonen tijdens de evaluatie. Het is dus erg belangrijk om doelstellingen en evaluatieactiviteiten nauw op elkaar te doen aansluiten. Wanneer de studenten weten dat een examen enkel neerkomt

3 op het aantonen van theoretische kennis, zullen zij vooral uit het hoofd leren. Indien het didactisch team echter verwacht dat studenten op het examen aantonen dat ze inzicht hebben in de leerstof of nieuwe problemen zelfstandig kunnen oplossen, zal dat tot heel ander studeergedrag leiden. Bij het opzetten van een evaluatie dienen volgende aspecten in overweging te worden genomen: Waarom evalueren? Heeft de evaluatie als functie de student te beoordelen (summatieve evaluatie) of wordt de evaluatie opgezet vanuit de bedoeling om het leerproces van de student te begeleiden en sturen (formatieve evaluatie)? Wordt een eindproduct geëvalueerd (productevaluatie, bijv. opdracht (zie steekkaart Opdrachten ), oefening met beoordeling (zie steekkaart Oefening met beoordeling ), ) of staat de evaluatie van het doorlopen van het leerproces centraal (procesevaluatie, bijv. portfolio (zie steekkaart Portfolio ))? Wat evalueren? Wat wil men precies meten? Welke vaardigheden worden getoetst: (meta)cognitieve, sociale, motorische, dynamisch-affectieve vaardigheden? Wat moet een student kunnen aantonen tijdens de evaluatie? Voor cognitieve doelen maakt men traditioneel een onderscheid tussen: kennis toepassing inzicht integratie op te lossen op basis van herinnering of herkenning de vraag bevat bekende probleemsituaties, vaak in geparafraseerde vorm op te lossen op basis van een formule, wet of oplossingsprincipe de vraag bevat een nieuw probleem op te lossen op basis van zelfstandig denken (interpretatie, analyse, synthese en evaluatie) de vraag moet worden gereorganiseerd om tot een antwoord te komen de vraag vereist een integratie van de drie bovenstaande om tot een oplossing te komen. Wie evalueert? Wie zijn de evaluatoren? Dit kan de docent zijn die de cursus heeft gegeven, andere leden van het didactisch team, maar ook een externe beoordelaar, een team van beoordelaars, een medestudent (zie steekkaart Peer-assessment ) of de student zelf. Hoe de evaluatie organiseren? Voor welke evaluatievorm kiest men? Op basis van de doelstellingen die men wil nagaan, kiest het didactisch team de evaluatiemethode die hiervoor het best in aanmerking komt. - gesloten boek - open boek - take-home - paper - verslag - presentatie - oefening met beoordeling - medewerking tijdens contactmomenten - peer-assessment /self-assessment (zie steekkaarten)

4 Voor welke modaliteit kiest men? - schriftelijk - mondeling met schriftelijke voorbereiding Wanneer vindt de evaluatie plaats? Het moment waarop wordt geëvalueerd hangt sterk samen met het doel van de evaluatie. Vindt de evaluatie plaats op het einde van een opleidingsonderdeel of kiest men voor permanente evaluatie (zie steekkaart)? Aanbevelingen en valkuilen Afstemming evaluatie en doelstellingen Om na te gaan of studenten de doelstellingen van een opleidingsonderdeel hebben bereikt, is het uiteraard belangrijk dat er een duidelijke relatie bestaat tussen de evaluatie en de vooropgestelde doelstellingen. Alle doelstellingen die studenten moeten verwerven, moeten dan ook aan bod komen tijdens de evaluatie. Als men inzicht nastreeft bij studenten volstaat het niet enkel te peilen naar feitenkennis of de uitvoering van handelingen. Omgekeerd heeft een evaluatie waarin naar inzicht wordt gepeild enkel zin wanneer studenten tijdens de contactmomenten werden ondersteund en aangezet tot het verwerven van inzicht (zie steekkaart Cognitieve verwerkingsactiviteiten ). Om de aansluiting van evaluatie en doelstellingen te bewerkstelligen, helpt het om zeer concreet uit te werken wat men precies wil evalueren. Wil men bijvoorbeeld nagaan of studenten wetenschappelijke artikels kritisch kunnen beoordelen, dan kan dit niet door de bespreking van een artikel dat reeds tijdens de les werd bediscussieerd of het opvragen van een opsomming van aandachtspunten. Een goed aansluitende evaluatie vereist eerder dat op het examen een nieuw artikel wordt voorgelegd dat de studenten kritisch dienen te bespreken. Communicatie aan studenten Uitermate belangrijk is dat alle informatie met betrekking tot de evaluatie (waarom, wat, wie, hoe, wanneer?) zo vroeg mogelijk aan studenten wordt gecommuniceerd, net omdat de evaluatie in sterke mate zal bepalen op welke manier studenten zullen studeren. Cruciaal is dan ook gedetailleerde informatie over de evaluatie in te vullen in de syllabus (zie steekkaart Beschrijving van een opleidingsonderdeel ). Daarnaast wordt best al vanaf het eerste contactmoment en herhaaldelijk in volgende contactmomenten aan studenten alle nodige informatie over de evaluatie meegedeeld. Criteria voor een geslaagde evaluatie Evaluaties komen pas tot hun recht als deze aan bepaalde kwaliteitseisen voldoen. Zeer belangrijk is dat de beslissingen die voortvloeien uit een summatieve evaluatie zakken of slagen voor de betrokkenen aanvaardbaar zijn. Daarom moet het voor de studenten duidelijk zijn hoe zij zich kunnen voorbereiden en hoe het cijfer tot stand komt. Daarnaast is het belangrijk dat de evaluatie inhoudelijk nauw aansluit bij de doelstellingen. Tenslotte moet het resultaat van studenten op een evaluatie zo min mogelijk door toevallige omstandigheden worden bepaald. In toetstechnisch jargon worden deze drie eisen aangeduid met de termen betrouwbaarheid, validiteit en aanvaardbaarheid/transparantie. Betrouwbaarheid De resultaten van studenten op een evaluatie worden door meer factoren bepaald dan alleen door hun kennis en vaardigheden. Pech of geluk met de vragen en storingen tijdens de evaluatie zijn voorbeel-

5 den van toevalsfactoren die van invloed kunnen zijn op het resultaat. Hoe geringer de invloed van dit soort factoren op de evaluatie, hoe betrouwbaarder de uitkomst. Een evaluatie wordt betrouwbaar genoemd als het er voor het eindoordeel niet toe doet wie het cijfer geeft (inter-beoordelaarsbetrouwbaarheid), met welke vragen of opdrachten een vaardigheid wordt gemeten (inter-taakbetrouwbaarheid) of op welk moment de evaluatie plaatsvindt (test-hertestbetrouwbaarheid). Validiteit In de literatuur worden vele vormen van validiteit beschreven. Voor de kwaliteit van een evaluatieactiviteit is de zogenaamde inhoudsvaliditeit belangrijk. Hieronder wordt enerzijds verstaan dat de evaluatie een goede weerspiegeling is van de doelstellingen van het opleidingsonderdeel (representativiteit van de evaluatie). Anderzijds betreft de validiteit ook het feit of een vraag echt nagaat wat men wil weten. Transparantie (aanvaardbaarheid) Belangrijk is tenslotte dat een evaluatieactiviteit transparant/aanvaardbaar is. Een goede inhoudsvaliditeit levert een belangrijke bijdrage aan de transparantie. Als de evaluatie een goede afspiegeling is van de doelstellingen (zowel naar vorm als inhoud), dan zal dit de aanvaardbaarheid voor alle betrokkenen vergroten. Maar de eis van transparantie en aanvaardbaarheid geldt ook voor de hele organisatie van de evaluatie: studenten moeten precies weten wat de bedoeling van de evaluatie is, wat van hen wordt verwacht, welke criteria en welke evaluatievorm worden gebruikt, enz. Aanbevelingen voor een geslaagde summatieve of formatieve evaluatie Betrouwbaarheid - de kwaliteit van de evaluatieactiviteit zelf: Formuleer de vragen helder en eenduidig. Zorg voor een juiste mix in moeilijkheidsgraad van de vragen. - de omstandigheden waaronder de evaluatie wordt afgenomen: Pas de evaluatieactiviteit aan de beschikbare tijd aan. Zorg voor een rustige omgeving. Voorzie duidelijke instructies voor de studenten. - de wijze waarop de resultaten worden beoordeeld: Streef nauwkeurigheid en objectiviteit na (bijv. door een gedetailleerd antwoordmodel en daarbij horende puntenverdeling te gebruiken, zie steekkaart Open en gesloten vragen ). Validiteit - Pas het aantal en de aard van de vragen aan het doel van de evaluatie aan (bijv. voor een representatieve evaluatie is een goede weerspiegeling van alle doelstellingen belangrijk; voor het evalueren van een beperkt leerstofonderdeel is het belangrijk dat alle vragen specifiek daarop betrekking hebben). - Bepaal op basis van de vaardigheden die men wil toetsen de meest geschikte vraagvorm (zie steekkaarten Open en gesloten vragen en Meerkeuzevragen ). Transparantie/aanvaardbaarheid - Geef in de syllabus en tijdens de contactmomenten gedetailleerde informatie over de vorm, inhoud en beoordelingscriteria van de evaluatie. - Betrek studenten actief bij het ontwerpen van de evaluatie. - Let er bij de formulering van vragen op dat deze duidelijk verwijzen naar herkenbare begrippen, situaties of vaardigheden zoals die werden behandeld tijdens de contactmomenten.

6 Bijkomende aandachtspunten voor summatieve evaluatieactiviteiten Betrouwbaarheid - de kwaliteit van de evaluatieactiviteit zelf: Bedek een groot deel van de inhoud/doelstellingen, i.c. gebruik veel vragen/opgaven om tot een betrouwbaar oordeel te komen. - de wijze waarop de resultaten worden beoordeeld: Voer eventueel de evaluatie uit met meerdere beoordelaars (bijv. didactisch team), dit komt de inter-beoordelaarsbetrouwbaarheid ten goede; belangrijk is dan uiteraard om afspraken te maken over beoordelingscriteria en scoringsregels. Validiteit - Een belangrijk hulpmiddel om validiteit te garanderen is de toetsmatrijs (zie steekkaart Toetsmatrijs ); aan de hand hiervan kan worden gecontroleerd of de opgaven in een examen alle doelstellingen weerspiegelen. - Een uitgebreide reeks van vragen kan helpen om de inhoudsvaliditeit (representativiteit) van een evaluatieactiviteit te verhogen. - Met gesloten vragen of vragen met een kort antwoord kan gemakkelijker een representatieve evaluatie worden samengesteld in vergelijking met open vragen met een uitgebreid antwoord; deze vragen vergen immers meer antwoordtijd en dus kunnen niet veel vragen worden gesteld waardoor het moeilijker wordt om de volledige reeks doelstellingen te beslaan (zie steekkaart Open en gesloten vragen ). Formatieve evaluatie als ondersteuning/sturing van het leerproces Formatieve evaluatie kan verschillende vormen aannemen, bijv. (elektronische) tussentijdse toetsen (zie steekkaart), opdrachten met feedback van het didactisch team (zie steekkaart Opdrachten ), verslagen of papers met feedback van medestudenten (zie steekkaart Peer-assessment ), Essentieel is via formatieve evaluatie aan de student zo gedetailleerd en specifiek mogelijke informatie te geven zodat de student zijn studeergedrag kan bijsturen (zie steekkaart Feedback ). Het scoren van een paper met een B of 7/10 zegt de student weinig over hoe hij dit kan remediëren. Het is voor de student niet alleen belangrijk om via formatieve evaluatieactiviteiten inzicht te krijgen in zijn relatieve positie in de totale groep van studenten, maar ook in zijn eigen sterktes en zwaktes. Belangrijk is dan ook dat feedback niet gezien wordt als een verantwoording door het didactisch team van een gegeven punt, maar dat de feedback een hulpmiddel is dat de student toelaat zijn/haar prestaties te verbeteren. Daarnaast mag een formatieve evaluatie niet bedreigend zijn voor de student waardoor verdediging of verwerping wordt gestimuleerd. Enkelvoudige cijfers of letters zijn naast het feit dat ze weinig informatief zijn, ook meer bedreigend dan meervoudige scores of beschrijvende opmerkingen. Waar punten noodzakelijk zijn voor summatieve evaluatie, kunnen zij evengoed weggelaten worden bij formatieve evaluatie (zie steekkaart Feedback ). Gebruik van een digitaal leerplatform Hieronder worden enkele voorbeelden gegeven van hoe een digitaal leerplatform kan worden ingezet bij evalueren: - omschrijving van de verschillende evaluatieactiviteiten (waarom, wat, wie, hoe en wanneer); - de weging van de verschillende evaluatieactiviteiten; - omschrijving van de evaluatiecriteria; - voorbeelden van examenvragen;

7 - voorbeelden van scoring van antwoorden van studenten + feedback hierop (bijv. studietips, oplossingsmethode, ); - aanbieden van evaluatieformulieren (voor self- en peer-assessment); - elektronische tussentijdse toetsen (formatieve evaluatie) of examens (summatief); - elektronisch inleveren van opdrachten voor take-home-examens; -... Wil je er meer over weten? Black, P. & Wiliam, D. (1998). Inside the black box: Raising standards through classroom assessment. Phi Delta Kappan, 80(2), Dierick, S., Dochy, F., & Van de Watering, G. (2001). Assessment in het hoger onderwijs: Over de implicaties van nieuwe toetsvormen voor de edumetrie. Tijdschrift voor Hoger Onderwijs, 1, Dochy, F., Heylen, L., & Van de Mosselaer, H. (Eds) (2002). Assessment in onderwijs: Nieuwe toetsvormen en examinering in studentgericht onderwijs en competentiegericht onderwijs. Utrecht: Lemma. Dochy, F., Schelfhout, W., & Janssens, S. (2003). Anders evalueren: Assessment in de onderwijspraktijk. Leuven: Centrum voor Opleidingsdidaktiek K.U.Leuven & Tielt: Uitgeverij Lannoo. Dunn, L., Morgan, C., O Reilly, M., & Parry, S. (2004). The student assessment handbook: New directions in traditional and online assessment. London/New York: RoutledgeFalmer. Inspectie van het Onderwijs (2003). Zicht op toetsen. Toetsing en examinering in het hoger onderwijs: De stand van zaken. Utrecht. Verloop, N. & Lowyck, J. (Eds) (2003). Onderwijskunde: Een kennisbasis voor professionals. Groningen/Houten: Wolters-Noordhoff (hoofdstuk 9 over Evaluatie en assessment ).