Kwaliteitsvol evalueren Studiedag peer review van het toetsgebeuren, 31/5/2013 Dirk Van Landeghem
Inleiding Kwaliteitsvol onderwijs vereist kwaliteitsvol evalueren Evaluatie = multidimensioneel en complex begrip. Relatie met: o o o Opleidingsdoelstellingen Leerresultaten Werkvormen o Niveau Veel aandacht in het NAS (visitatie, accreditatie) (Infosessie NAS_v4, vluhr 2012) 31/05/2013 2
VisitatieKader drie generieke kwaliteitswaarborgen: 1. Wat beoogt de opleiding? beoogd eindniveau 2. Hoe realiseert de opleiding dit? onderwijsproces 3. Worden de doelstellingen bereikt? gerealiseerd eindniveau (Infosessie NAS_v4, vluhr 2012) 31/05/2013 3
Visitatie GKW 3 Toetsing De opleiding beschikt over een adequaat systeem van beoordeling, toetsing en examinering en toont aan dat de beoogde leerresultaten worden gerealiseerd. Criteria: Het gerealiseerde niveau blijkt uit de validiteit, betrouwbaarheid en transparantie van de beoordeling, de toetsing en de examinering van de studenten, (Infosessie NAS_v4, vluhr 2012) 31/05/2013 4
Ervaringen met het NAS Multicampus: o Veel aandacht voor opleidingsvarianten o Uitgebreide vergelijking van opleidingsvarianten Toetsen en evalueren: o Toetsbeleid, toetsen en kwaliteitsvol evalueren komen ruim aan bod. o De commissies vragen zowel examenopgaven, verbeterde kopijen als verbetersleutels op. o Er is bijzondere interesse voor objectief en transparant evalueren. (KU Leuven, Thomas More, KHBO, 2013) Het is dus belangrijk om werk te maken van: o een facultair toetsbeleid o een facultaire toetskwaliteit (basiskwaliteit) in een multicampus context 31/05/2013 5
Kwaliteitseisen/toetseisen Betrouwbaarheid Validiteit Evaluatie is betrouwbaar als de toets nauwkeurig en consistent meet. Objectiviteit, interbeoordeelaarsbetrouwbaarheid Evaluatie is objectief als kenmerken van de beoordelaar geen rol spelen. Evaluatie is valide als ze meet wat ze beoogt te meten. Relevantie, onderdeel validiteit Evaluatie is relevant als er een directe relatie is met de leerdoelen. Efficiëntie, bruikbaarheid Evaluatie is efficiënt als de betreffende inspanningen (zowel bij de docenten als bij de studenten) in verhouding staan tot de opbrengsten. Transparantie Evaluatie is doorzichtig als de docent daarover heldere informatie geeft. Normering, cesuur Evaluatie is goed genormeerd als de beslissingen die de docent neemt naar aanleiding van een examen (inhoudelijk) te rechtvaardigen zijn. 31/05/2013 6
Betrouwbaarheid Een toets wordt betrouwbaar genoemd: o Als herhaalde afname onder dezelfde omstandigheden eenzelfde resultaat laat zien. (Jaspers & Heijmen-Versteegen, 2005; Van Zutven et al., 2004) o Als voldoende doelen geëvalueerd worden. o Als vragen of opdrachten duidelijk geformuleerd zijn. o Als omgevingsfactoren (temperatuur, licht, meubilair, plaats, stilte ) toelaten een goed examen te maken. o Als tijdsdruk op het examen acceptabel is. o Als evaluatievorm en -duur aanpasbaar is voor studenten met een functiebeperking. o Als beslissingen m.b.t. studievoortgang gebaseerd zijn op meerdere metingen, i.p.v. 1 enkele meting. (Cohen-Schotanus, 2003) 31/05/2013 7
Verhogen van betrouwbaarheid Gebruik een duidelijk antwoordmodel en duidelijke beoordelingscriteria. (van Berkel en Bax, 2006; Liagre et al., 2009-2010) Een goed antwoordmodel (verbetersleutel) bevat: o naast de juiste antwoorden ook gedeeltelijk juiste en onjuiste antwoorden. (van Berkel en Bax 2006) o de maximumscore en de verdeling ervan in deelscores. Normverschuiving (t.g.v.: sequentie-effect, contaminatie-effect, haloeffect ) beperken door: o regelmatig de antwoordvellen door elkaar halen. (van Berkel en Bax 2006) o antwoorden verbeteren per vraag in plaats van per student. (van Berkel en Bax 2006) 31/05/2013 8
Transparantie Transparantie betreft vooral de inhoud van de vragen en de berekening van het cijfer: o De studenten zijn bij aanvang van en/of tijdens het opleidingsonderdeel op de hoogte gebracht van: de beoogde leerresultaten de leerstof voor evaluatie (Liagre et al., 2009-2010) de evaluatievorm de beoordelingscriteria (Liagre et al., 2009-2010) de weging van verschillende onderdelen (Van Zutven et al., 2004) o o o Studenten kunnen zich pas goed voorbereiden op een examen als ze de spelregels kennen. (Liagre et al., 2009-2010) Een van de hulpmiddelen hiertoe is het OER, waarin alle regels en procedures bekend gemaakt worden aan alle betrokken partijen. (Jaspers & Heijmen-Versteegen, 2005) Er is een goede regeling voor de inzage van en het geven van feedback over de resultaten. 31/05/2013 9
Verhogen van transparantie Transparantie verhoogt de mogelijkheid voor studenten: o om zich zo goed mogelijk voor te bereiden. o de best mogelijke antwoordstrategie aan te wenden. (van Berkel & Bax, 2006) Formuleer eerst het antwoord en pas daarna de vraag. (vermijden van meerdere antwoorden op één vraag ) (van Berkel en Bax, 2006) Vermeldt de te verdienen punten bij iedere vraag. o belangrijkheid van een vraag beter inschatten, o tijdsbesteding bepalen (van Berkel & Bax, 2006) Maak een duidelijk onderscheid tussen vraaggedeelte en informatiegedeelte. (van Berkel & Bax, 2006) 31/05/2013 10
Validiteit Validiteit gaat na in welke mate de evaluatie meet wat men bedoelt te meten. Validiteit is het belangrijkste aspect waaraan de evaluatie moet voldoen. (Van Zutven et al. 2004) o De vragen of opdrachten gaan na of de studenten de competenties / de doelen uit de vakfiche hebben bereikt. o De vragen of opdrachten zijn van een passend niveau: bv. kennis wordt gemeten door kennisvragen, inzicht door inzichtsvragen, toepassen door toepassingsvragen o De evaluatie vraagt van studenten oplossingsstrategieën die zoveel mogelijk gelijken op de strategieën die in de (beroeps)praktijk worden gebruikt. 31/05/2013 11
Verhogen van validiteit Evenwichtige verdeling van doelstellingen en/of onderdelen van OPO/OLA in het examen: (Clement & Laga, 2005) o Belangrijk voor juistheid van de gevolgtrekking uit de toetsscore. (van Berkel & Bax, 1993) o Twee belangrijke vragen: Heeft iemand die geslaagd is voor een examen ook werkelijk de doelstellingen voldoende bereikt? Is het examen representatief genoeg? (Liagre et al., 2009-2010) D.m.v. Toetsmatrijs (Clement & Laga, 2005; Liagre et al., 2009-2010) 31/05/2013 12
Toetsmatrijs Een toetsmatrijs is een tabel waarin wordt aangegeven hoe de opgaven in een examen zijn verdeeld over de leerstof in combinatie met de vooropgestelde doelstellingen. De toetsmatrijs is een soort blauwdruk, een uitgewerkt plan, dat een systematische constructie van een examen wil garanderen. Een examen dat is geconstrueerd op basis van een systematisch plan zal eerder bruikbare en betekenisvolle scores opleveren dan een examen waarvan de vragen op niet-systematische wijze zijn samengebracht. 31/05/2013 13
Lege toetsmatrijs (Clement & Laga, 2005) Twee dimensies (Doelstellingen en Leerstof inhoud) worden gecombineerd om tot een systematische samenstelling van het examen te komen. Elke doelstelling specificeren in welke mate men deze in elk inhoudelijk thema/hoofdstuk nastreeft. Leerstof Doelstelling 1 Doelstelling 2 Doelstelling 3 Totaal Hoofdstuk x % % % % Hoofdstuk x % % % % Hoofdstuk x % % % % Hoofdstuk x % % % % Hoofdstuk x % % % % Totaal % % % % 31/05/2013 14
Ingevulde toetsmatrijs (Clement & Laga, 2005) Stel dat een opleidingsonderdeel is opgebouwd rond drie grote doelstellingen Het docententeam kan voor elk hoofdstuk specificeren in welke mate doelstellingen zich tot elkaar verhouden. Leerstof K1: Disciplinaire basiskennis en inzicht I1: Problemen analyseren en oplossen I2: modellen op waarde schatten en modelleren Totaal Hoofdstuk 1 5% 0% 0% 5% Hoofdstuk 2 15% 10% 0% 25% Hoofdstuk 3 10% 5% 5% 20% Hoofdstuk 4 15% 5% 10% 30% Hoofdstuk 5 5% 5% 10% 20% Totaal 50% 25% 25% 100% 31/05/2013 15
Verdeling examenvragen Toetsmatrijs I (Clement & Laga, 2005) Vermijden dat teveel opgaven gericht zijn op dezelfde doelstelling, dezelfde leerstof of vaardigheid. Bij een evenwichtige verdeling is de kans groot dat het examen een representatieve steekproef vormt van de te toetsen doelstellingen. Verantwoording van de inhoud van het examen Leerstof K1: Disciplinaire basiskennis en inzicht Hoofdstuk 5 2 2 4 8 31/05/2013 16 I1: Problemen analyseren en oplossen I2: modellen op waarde schatten en modelleren Totaal Hoofdstuk 1 2 0 0 2 Hoofdstuk 2 6 4 0 10 Hoofdstuk 3 4 2 2 8 Hoofdstuk 4 6 2 4 12 Totaal 20 vragen 10 vragen 10 vragen 40 vragen
Verdeling examenvragen Toetsmatrijs II (Clement & Laga, 2005) Afhankelijk van het belang dat het docententeam hecht aan doelstellingen enerzijds en leerstof anderzijds zal de toetsmatrijs er anders uitzien. Een docententeam kan bijvoorbeeld examenvragen opmaken per doelstelling waarin verschillende leerinhouden worden gecombineerd i.p.v. per leerstofonderdeel. Leerstof Hoofdstuk 1 Hoofdstuk 2 Hoofdstuk 3 K1: Disciplinaire basiskennis en inzicht geïntegreerde vragen over hoofdstuk 1,2,3 Hoofdstuk 4 - Hoofdstuk 5 - I1: Problemen analyseren en oplossen I2: modellen op waarde schatten en modelleren - - geïntegreerde vragen over hoofdstuk 2,3,4,5 - geïntegreerde vragen over hoofdstuk 3,4,5 Totaal geïntegreerde vragen Totaal 50% 25% 25% 100% 31/05/2013 17
Verdeling examenvragen Toetsmatrijs III Afhankelijk van het belang dat het docententeam hecht aan doelstellingen enerzijds en leerstof anderzijds zal de toetsmatrijs er anders uitzien. Een docententeam kan bijvoorbeeld examenvragen opmaken per doelstelling waarin verschillende leerinhouden worden gecombineerd i.p.v. per leerstofonderdeel. Leerstof K1: Disciplinaire basiskennis en inzicht I1: Problemen analyseren en oplossen I2: Modellen op waarde schatten en modelleren Hoofdstuk 1 geïntegreerde - - Hoofdstuk 2 vragen over - - hoofdstuk 1,2,3 Hoofdstuk 3 vragen hoofdstuk 3 met doel I1 en I2 Hoofdstuk 4 - geïntegreerde vragen hoofdst. 4 en 5 Hoofdstuk 5 - binnen doelstellingen I1 en I2 Totaal geïntegreerde vragen Totaal 50% 25% 25% 100% 31/05/2013 18