VUB Visie op Evalueren

Transcriptie

1 1. Waarom een visie op evalueren? 1 VUB Visie op Evalueren In het nieuwe Vlaamse accreditatiekader, geldig vanaf 2012, blijft het principe van opleidingsaccreditatie gehandhaafd. De opleiding dient beschreven te worden volgens 3 generieke kwaliteitswaarborgen: Generieke kwaliteitswaarborg 1 - Beoogd eindniveau Generieke kwaliteitswaarborg 2 - Onderwijsproces Generieke kwaliteitswaarborg 3 - Gerealiseerde eindniveau De opleiding beschikt over een adequaat systeem van beoordeling, toetsing en examinering en toont aan dat de beoogde leerresultaten worden gerealiseerd Als een opleiding op minstens één van bovenstaande kwaliteitswaarborgen een onvoldoende scoort moet er binnen 1-3 jaar nogmaals gevisiteerd worden om na te gaan of de tekorten zijn weggewerkt, met alle kosten van dien. Zwaktes in het evalueren van een opleiding betekenen nu dus een veel groter accreditatierisico dan tijdens de vorige accreditatieronde waarbij het aspect beoordeling en toetsing slechts een klein onderdeel was van een groter onderwerp. Dat dit risico reëel is bleek uit een bevraging in 2011 van alle voorzitters van opleidingsraden aan de VUB. We stelden vast dat er op opleidingsniveau m.b.t. de derde kwaliteitswaarborg nauwelijks afstemming plaatsvindt en/of afspraken worden gemaakt. In het kader van interne kwaliteitszorg aan de VUB is het van belang dat opleidingen beleid omtrent evaluatie voeren. We hebben nl. de verplichting te garanderen dat studenten de instelling verlaten met de vooropgestelde leerresultaten, én met een aanvaardbaar rendement. Immers, als studenten op een congruente wijze geëvalueerd worden, goed op de hoogte worden gebracht van de vereisten en criteria van een evaluatie, continue feedback krijgen op hun prestaties,... dan toont grootschalig meta-onderzoek 1 aan dat het leerproces verbetert en slaagkansen toenemen. Deze visie op evalueren kadert ten slotte in de eerder ontwikkelde visiedocumenten visie op onderwijs (2012) en competentiegericht leren in flexibel onderwijs (2000). De visie op onderwijs identificeert 5 kenmerken die elke VUB-afgestudeerde in meer of mindere mate dient te bezitten, het wat verwijst naar kwaliteitswaarborg 1. Het document over competentiegericht leren handelt over de wijze waarop we dit trachten te realiseren in de onderwijspraktijk, het hoe verwijst naar kwaliteitswaarborg 2. Voorliggende visie op evalueren sluit hierop aan en gaat over hoe we op een kwaliteitsvolle manier uitspraken kunnen doen en beslissingen kunnen nemen over het onderwijsproces én het bereikte resultaat - kwaliteitswaarborg 3. De visie op evalueren is tot stand gebracht door een werkgroep bestaande uit stafmedewerkers van het en Prof. dr. N. Engels & Prof. dr. K. Struyven van de vakgroep Educatiewetenschappen. Allen zijn onderwijsexperts met een ruime VUB-ervaring. Deze groep is doorheen meerdere discussieronden tot een eerste visietekst gekomen en heeft deze in het voorjaar van 2012 aan de decanen voorgesteld. Hierbij hebben de decanen de opdracht gegeven om per faculteit een (door de faculteit zelf voorgestelde) delegatie te bevragen met als doel de tekst meer aan te laten sluiten bij de kennis en ervaring van het ZAP. Dat is eind augustus 2012 gebeurd waarna op basis van de feedback deze finale versie is opgemaakt. 1 John C. Hattie, (2009), Visible Learning: A Synthesis of Over 800 Meta-Analyses Relating to Achievement. London & New York: Routledge, Taylor& Francis.

2 2 2. VUB Visie op evalueren De VUB wenst het LEREN te EVALUEREN maar ook het EVALUEREN om te LEREN te stimuleren waarbij KWALITEIT voorop staat te bereiken door: CONGRUENTIE, COMBINATIE, COMMUNICATIE en CONSTRUCTIE rekening houdend met de CONTEXT LEESWIJZER Deze VUB visie op evalueren probeert de onderwijskundige terminologie zo beperkt mogelijk te houden. Om de gebruikte termen toch zo klaar en duidelijk mogelijk te maken werd er gebruik gemaakt van voorbeelden. Deze voorbeelden zijn zo gekozen dat het eerder karikaturen zijn om het gebruikte concept duidelijk te maken, meer dan levensechte voorbeelden. Verder moet het absoluut duidelijk zijn dat er expliciet NIET voor of tegen de ene of andere evaluatievorm gepleit wordt. Deze visie probeert duidelijk te maken dat ELKE evaluatievorm zijn merites heeft, MAAR ook zijn nadelen. De visie wenst dan ook te bereiken dat opleidingen en docenten zich hiervan bewust worden, en dat men als opleiding (én individuele docent) de nodige maatregelen kan nemen om de nadelen te ondervangen. De visie op evalueren heeft in de eerste plaats de bedoeling om impulsen te geven op opleidingsniveau, maar uiteraard gelden de voorgestelde principes ook op studiedeelniveau. Meer nog, als bepaalde keuzes in een beleid rond evalueren op opleidingsniveau geen weerslag vinden in de dagdagelijkse evaluatiepraktijk zal er op zich ook weinig veranderen voor studenten, en blijft beleid dode letter.

3 HET LEREN EVALUEREN + EVALUEREN om te LEREN 3 In het didactisch handelen van een docent neemt evalueren een centrale plaats in. Het is een belangrijk sturend element van zijn of haar onderwijspraktijk en dient met de nodige zorg ontworpen én uitgevoerd te worden. Bij een discrepantie tussen de leerresultaten, leeromgeving en evaluatie (= gebrek aan congruentie) zal het de evaluatie zijn die het leergedrag van lerenden gaat sturen. Voorbeeld: Stel dat men studenten een project in groep laat uitvoeren, waarbij de verantwoordelijkheid voor het leerproces vooral bij de studenten ligt. Als men dit onderwijsproces zou afsluiten met een vooral op kennis gebaseerde meerkeuzetoets, dan is de kans groot dat studenten weinig betrokkenheid zullen tonen en tijd gaan investeren in het project, nét omdat ze uiteindelijk toch (slechts) moeten tonen aan de prof dat ze de cursus geblokt hebben. Evalueren verloopt volgens een proces van informatieverzameling (via het stellen van vragen of via observatie) en informatiebeoordeling, om hierover ten slotte een beslissing te nemen en deze te communiceren. In dit evaluatieproces kan de student meer of minder betrokken zijn. Het evalueren binnen een onderwijscontext kan 2 functies hebben: 1) Summatief: Evalueren om primair een beslissing te kunnen nemen over het al dan niet slagen van een student = het leren evalueren 2) Formatief: Evalueren om primair een beslissing te kunnen nemen over het aanpassen van het onderwijs- en leerproces = evalueren om te leren Een evaluatievorm op zich is niet per definitie summatief of formatief te noemen. Zo kan een meerkeuzetoets gebruikt worden voor een formatieve evaluatie, dan is het een oefentoets, of voor een summatieve evaluatie, dan is het een examen. Het kan ook zo zijn dat beide functies worden gecombineerd nl. resultaten van een peer assessment worden zowel gebruikt voor het geven van feedback aan studenten, als om een quotering toe te kennen. Formatieve en summatieve evaluatie zijn complementair en integreerbaar. In de universitaire onderwijspraktijk gebeurt deze integratie nu reeds minstens impliciet. Enerzijds zijn we verplicht om te evalueren, waarbij we een quotering moeten toekennen aan de prestatie van een student (summatieve evaluatie). Anderzijds observeert elke docent continu zijn of haar studenten en past zijn of haar onderwijsgedrag hierop aan (formatieve evaluatie). Als we kijken naar de criteria voor de derde kwaliteitswaarborg, dan merken we dat vooral de nadruk gelegd wordt op (de verantwoording van de kwaliteit van) summatieve evaluatie. Met deze visie op evalueren wensen we als VUB ook de implementatie van meer expliciete formatieve evaluatievormen te stimuleren. Daar ligt voor opleidingen meestal nog veel verbeteringsmarge. Samengevat: De VUB visie op evalueren stuurt minstens op opleidingsniveau aan op: 1) Het versterken van de kwaliteit van de summatieve evaluatie 2) Het intensifiëren en uitbouwen van een meer expliciete formatieve evaluatie

4 4 KWALITEIT Kwaliteit wordt dikwijls gebruikt als containerbegrip. Dat wensen we in deze visie te expliciteren. Een kwaliteitsvolle evaluatie: 1) Maakt deel uit van een congruent didactisch ontwerp; 2) Combineert verschillende evaluatievormen; 3) Houdt een duidelijk communicatie naar studenten in over de gebruikte evaluatie; 4) Wordt zo valide en betrouwbaar mogelijk geconstrueerd; 5) Houdt rekening met relevante contextfactoren.

5 5 CONGRUENTIE De eerste kwaliteitseis gaat over congruentie. Het is van cruciaal belang dat de gekozen evaluatievormen congruent zijn met de rest van het didactisch ontwerp (leerresultaten, onderwijsvormen, inhouden). Voorbeeld summatieve evaluatie: Als men studenten theoretische hoorcolleges aanbiedt, zonder oefeningen waarbij studenten zelf de verworven kennis moeten toepassen, dan wordt het moeilijk voor deze studenten om op een examen een probleem van een case uit het werkveld te kunnen oplossen. Voorbeeld formatieve evaluatie: Studenten moeten een portfolio bijhouden met eigen leerproducten en hierover een reflectie op papier zetten. Als dit werk niet in het onderwijsproces geïntegreerd wordt en studenten hierover geen regelmatige feedback krijgen, dan zal de kans groot zijn dat studenten weinig tijd gaan investeren in dit portfolio. De kwaliteit van het opgeleverde werk zal dus laag zijn, alsook het leerresultaat. COMBINATIE De tweede kwaliteitseis gaat over het combineren van evaluatievormen. Elke evaluatievorm heeft op zich duidelijke voor- en nadelen. Vaak is het een goede oplossing om met een doordachte combinatie de nadelen van de ene evaluatievorm te compenseren door de voordelen van een andere. Als dit door bepaalde contextfactoren niet mogelijk is kan men ook door een meer optimale constructie bepaalde nadelen trachten te minimaliseren. Voorbeeld summatieve evaluatie: Als men gebruik maakt van klassieke mondelinge examens zijn hieraan (naast heel wat voordelen, wat deze keuze in veel gevallen zeer legitiem maakt!) nadelen verbonden waarvan de belangrijkste met objectiviteit en betrouwbaarheid te maken hebben. Zo is een mondeling examen geschikt om diepgaand begrip en inzicht over inhouden te evalueren, maar tegelijk kan je slechts een beperkt aantal vragen stellen. De beoordeling in het begin van de dag zal anders zijn dan op het einde van de dag. De quotering van eenzelfde student zal ook (dikwijls héél) anders zijn van beoordelaar tot beoordelaar. Een combinatie met een andere evaluatievorm (bijv. enkele meerkeuzevragen) kan de zwakte van een mondeling examen waarin bv. slechts 1 topic wordt bevraagd (lage betrouwbaarheid) compenseren met de sterktes van een andere (hoge betrouwbaarheid), en omgekeerd. Naast het combineren kunnen uiteraard ook bepaalde constructie-ingrepen de betrouwbaarheid verhogen (antwoordmodellen, schriftelijke voorbereiding, specificatietabel,...). Voorbeeld formatieve evaluatie: Men kan een proefexamen organiseren waarbij men zowel kennis vragen stelt, als 1 open vraag om inzicht te evalueren. Feedback over het resultaat kan men zowel in groep (men leert uit veel gemaakte fouten) als individueel organiseren. Als het proefexamen een goede afspiegeling (representativiteit) is van wat er verwacht wordt op het eigenlijke examen, dan beantwoordt dit initiatief ook aan een andere kwaliteitseis nl. communicatie.

6 6 COMMUNICATIE Het is van belang om zowel op voorhand als tijdens het evaluatiemoment (formatief of summatief) duidelijk te communiceren over de wijze van evalueren. Ook na iedere evaluatie dient gelegenheid te worden geboden tot een nabespreking. Adequaat en duidelijk communiceren over de evaluatie zorgt voor een verhoging van de betrouwbaarheid van de informatie die je over studenten verzamelt. Je wil namelijk in principe niet dat evaluatiestress voor bias zorgt in de uiteindelijke resultaten. Uiteraard is de studiedeelfiche een eerste bron van informatie die dient in orde te zijn, maar het gaat ook over een goede evaluatie-instructie, het ter beschikking stellen van voorbeeldexamenvragen, oefenen met peer assessmentmethodieken,... Voorbeeld summatieve evaluatie: Een heldere communicatie over wat studenten kunnen verwachten op het examen zorgt voor een daling van de examenstress, een aspect dat we in principe niet wensen te meten, en niet willen gereflecteerd zien in een quotering. Voorbeeld formatieve evaluatie: Een heldere communicatie en afspraken over de organisatie van peer assessment zorgt voor meer betrouwbare resultaten, en zal een meer zinvol gesprek achteraf toelaten. Het zorgt ook voor een reductie in de weerstand die we bij studenten vaststellen rond het beoordelen van zichzelf en medestudenten (dit is niet onlogisch als je weet dat studenten zelden tot nooit met dit type van evaluatie geconfronteerd zijn geweest). CONSTRUCTIE Een evaluatievorm (formatief of summatief) is een instrument om informatie te verzamelen over studenten. Daarom dient deze ook zelf te beantwoorden aan bepaalde instrumentele kwaliteitseisen in de constructie ervan: 1) Validiteit: Meet ik wat ik bedoel te meten : Bij validiteit speelt zowel inhoud (congruent met de leerdoelen), niveau (de moeilijkheidsgraad) als representativiteit een rol. 2) Betrouwbaarheid: Meet ik goed : de evaluatie maakt een betekenisvol onderscheid tussen de studenten die de leerdoelen goed of minder goed beheersen. Hierbij speelt de kwaliteit van de evaluatie een rol (onderscheidend vermogen, minimale gokkans, eenduidigheid), de omstandigheden waaronder de evaluatie wordt afgenomen (standaardisatie en objectiviteit) en de wijze waarop de resultaten worden beoordeeld (objectief, niet willekeurig, nauwkeurig). Er is geen evaluatievorm die in alle aspecten van validiteit en betrouwbaarheid superieur is aan alle andere, voor elke evaluatievorm bestaan er hulpmiddelen om de betrouwbaarheid en/of validiteit te verhogen. Een andere oplossing kan er in bestaan om (ook) verschillende evaluatievormen met elkaar te gaan combineren (zie kwaliteitseis combinatie). Voorbeeld summatieve evaluatie: De eerder genoemde nadelen (naast duidelijke voordelen) van een mondeling examen hebben zowel te maken met de validiteit en nog meer met de betrouwbaarheid. Je kan maar een beperkt aantal vragen stellen en er speelt een belangrijke menselijke factor mee. Hulpmiddelen (naast combineren met andere evaluatievormen) om de validiteit en betrouwbaarheid te verhogen zijn het opstellen van een specificatietabel, antwoordsleutels en ev. het instellen van een tweede beoordelaar.

7 7 Voorbeeld formatieve evaluatie: Als men gebruik maakt van meerkeuzevragen voor een oefentoets dan is dat een heel betrouwbare evaluatievorm. Iedereen die beschikt over de antwoordsleutel zal tot eenzelfde quotering komen. Deze toets kan m.a.w. ook door een computer worden verbeterd. Echter is er een probleem met de validiteit als men inzicht en vooral vaardigheden wil aftoetsen. Als door contextfactoren (zie kwaliteitseis context) geen combinatie van evaluatievormen kan opgezet worden dan kan men toch andere maatregelen nemen om de validiteit te verhogen, zoals gebruik maken van een werkwoordentabel. Dit is een leidraad met mogelijk te gebruiken werkwoorden die peilen naar verschillende types kennis. CONTEXT Alle besproken kwaliteitseisen dienen steeds door de bril van een bepaalde (meestal dwingende) context bekeken te worden. Hierbij dient men te zoeken naar een evenwicht tussen effectiviteit en efficiëntie. Als men met deze randvoorwaarden geen of te weinig rekening houdt, kan dit alsnog een evaluatie opleveren van slechte kwaliteit. Tegelijk kan en mag context ook geen makkelijk excuus worden om de evaluatiepraktijk niet verder te optimaliseren! Voorbeeld summatieve evaluatie: Als men inzicht wenst te evalueren bij studenten d.m.v. een mondeling examen, dan is dat niet zo n goed idee als men veel studenten dient te evalueren. De nadelen (inter- en intra beoordelaarsbetrouwbaarheid,...) die verbonden zijn aan deze evaluatievorm kunnen op die manier nog versterkt worden. Voorbeeld formatieve evaluatie: Als we in een collegezaal tijdens de les feedback wensen te ontvangen via clickers (stembakjes om snelle feedback te ontvangen van toehoorders) dan moet dit in de eerste plaats geïntegreerd worden in het didactisch ontwerp van de les. Maar de les kan nog zo goed ontworpen zijn, als de contextfactoren niet vervuld zijn (er moeten voldoende clickers aanwezig te zijn, de software moet werken en gebruikersvriendelijk zijn,...) dan is de kans reëel dat de ingreep alsnog mislukt.

8 8 3. Implementatie Hoe kan een opleiding deze visie op evalueren omzetten in een beleid? Hiervoor wordt ondersteuning voorzien door de facultaire medewerkers kwaliteitszorg. Het opzetten van een beleid zal zeer expliciet geïntegreerd worden in de bestaande kwaliteitszorgwerking en methodieken (prismameeting, interne kwaliteitsbeoordeling), zodat de extra planlast zo beperkt mogelijk blijft. Een belangrijk basisdocument zal hierbij de competentiematrix worden, die als het ware een foto maakt van de opleiding als geheel, incl. de wijze waarop een opleiding evalueert en vooral, WAAROM dit zo gebeurt.