Onderwijskunde Leren en Instructie. Inleiding: Evaluatie

Transcriptie

1 Onderwijskunde Leren en Instructie Inleiding: Evaluatie

2 Evaluatie Groot deel van de lestijd Informatie voor zowel : Lerende als onderwijsgevende Welke verwachtingen zijn er? Doelen bereikt? Evaluatie als deel van onderwijs zelf

3 Evaluatie Waarde-bepaling Formatieve functie / evaluatie (assessment for learning) Summatieve functie / evaluatie (assessment of learning)

4 Wat evalueren? Selectie van kennisonderdelen, vaardigheden en attitudes Hulpmiddel: toetsmatrijs (voornamelijk voor examensituaties)

5 De toetsmatrijs Stap 1: Leerstofonderdelen Stap 2: Relatief belang van onderdelen Stap 3: Beheersingsniveaus Weten Begrip Toepassing Reflectie Probleemoplossing Inleiding Stap 4: Relatief belang van niveaus 50% 50% % Stap 5: Onderdeel x Niveau 10x = 5% x = 5% 100 Stap 4: Relatief belang van niveaus 10% 20% 50% 20% - Hoofdstuk 1 40% Stap 5: Onderdeel x Niveau 40x = 4% x = 8% x = 20% x = 8% 10 Stap 4: Relatief belang van niveaus 30% - 20% - 50% Hoofdstuk 2 30% Stap 5: Onderdeel x Niveau 50x = 9% x = 6% x =15% 100 Stap 4: Relatief belang van niveaus - 40% 40% 20% - Hoofdstuk 3 20% Stap 5: Onderdeel x Niveau 20x = 8% x = 8% x = 4% 100 Het totale evaluatie-instrument = 100%

6 Evaluatie Vier fasen Fase 1: verzamelen van bruikbare informatie Fase 2: het oordelen over de waarde van iets Fase 3: het nemen van een verantwoorde beslissing Fase 4: het informeren van de betrokkenen over het oordeel en de genomen beslissing

7 Waarom evalueren? Evaluatie = waardebepaling In onderwijs: waardebepaling van doelstellingen, werkvorm, leraar, leren van de leerlingen Summatieve versus formatieve evaluatie -doelen bereikt => score /beoordeling // assessment of learning -plaatsen, oriënteren, selecteren - assessment for learning -bijsturen en bevorderen van leren - diagnosticeren

8 Waarom evalueren? Productevaluatie: resultaat van het leerproces => Zijn leerdoelen bereikt? Procesevaluatie: deelhandelingen van het leerproces Info over manier waarop gewerkt wordt aan het bereiken van de leerdoelen Bijsturing mogelijk Verklaring voor eventuele slechte resultaten

9 Wie evalueert? Self-assessment Vaak formatief door lln Lln bepalen mee hoe, wanneer en op basis waarvan wordt beoordeeld Belang van reflectie Peer-assessment Vaak formatief door lln Wijze waarop peers een bijdrage leveren Vaak bij coöperatief leren Co-assessment Leraar en lerenden rol in beoordelingsproces Selectie van beoordelingscriteria Uiteindelijk oordeel door leerkracht

10 Wie beoordeelt? Maar: evalueren door leerlingen is een vaardigheid die moet worden geleerd Bv. Bij aanvang vaak irrelevante criteria Bij aanvang tendens tot minder gunstig beoordelen van zichzelf

11 Hoe evalueren? Idealiter gebruik van meerdere instrumenten Mogelijke instrumenten: Traditionele examens en overhoringen Observaties Vaardigheidstaken Portfolio Overall toets Assessment/development center Criteriumgericht interview

12 Hoe evalueren? Traditionele examens en overhoringen In beeld brengen van de kennis van lln => hebben lln de leerstof begrepen Examens zijn summatief Overhoringen kunnen ook formatief zijn Risico van te veel summatieve toetsen: sturen van het onderwijs teaching to the test

13 Hoe evalueren? Traditionele examens en overhoringen Verschillende soorten vragen Meerkeuzevragen 4,00 gram van een geconcentreerde waterstofperoxide-oplossing wordt in water opgelost en de oplossing wordt aangelengd tot 500,0 ml. Aan 25,0 m van de aangelengde oplossing wordt er een overmaat kaliumjodide toegevoegd en het mengsel wordt aangezuurd met zwavelzuur. Het mengsel wordt vervolgens opnieuw neutraal gemaakt en er wordt zetmeel toegevoegd. De blauwgekleurde oplossing wordt getitreerd met een 0,100 molaire natriumthiosulfaatoplossing. Na toevoeging van 15,0 ml van deze laatste oplossing verdwijnt de blauwe kleur van het mengsel. Welk van onderstaande antwoorden is het juist massprocent waterstofperoxide? A. 15,3 B. 0,765 C. 30,6 Essay vragen Welke veranderingen hebben in Midden- en Oost-Europa plaatsgevonden op het gebied van veiligheid en economie na de val van de Berlijnse Muur en geef een verantwoording voor deze veranderingen.

14 Hoe evalueren? Traditionele examens en overhoringen Vraagtypes Weetvragen: bv. Wanneer werd België onafhankelijk? Begripsvragen: bv. Hoe is obesitas gerelateerd tot compulsief gedrag? Toepassingsvragen: bv. Reageer vanuit strevings-, plicht- en waarde-ethiek van het geweten en motiveer telkens waarom je invulling in dat gewetensmodel past: "Je mag van je ouders niet naar een film op vrijdagavond omdat zij weg moeten en jij thuis moet blijven om op je broertje te passen." Reflectievragen: bv. Wat zijn argumenten pro of contra om de leersanctie (opleiding, vorming) in te voeren als autonome rechterlijke sanctie in het Belgische strafrecht?

15 Observaties Hoe evalueren? Kwalitatieve informatie Systematische beschrijving van het gedrag Vaak gebruikt voor specifieke problematiek (bv. doorverwijzing) Maar: zeer tijdsrovend

16 Hoe evalueren? Vaardigheidstaken (performance assessment) Nagaan of lln kennis kunnen gebruiken Probleemstelling zoveel mogelijk ingebed in authentieke context Voor oplossing van probleem rekening houden met gehele context Vaak ruimte voor meerdere alternatieven Nood aan beoordelingsformulier / scoringscriteria

17 Vaardigheidstaken grafische kunsten Hoe evalueren? Voor het eindexamen fotografie in de opleiding grafische kunsten - dat traditioneel volgende opdracht bevatte: "Maak en ontwikkel 10 foto's van hoge kwaliteit" - werd volgende vaardigheidstaak ontworpen: "Jij bent vertegenwoordiger van een adverteerbedrijf. Je eerste opdracht bestaat erin dat je op school een cliënt moet zoeken die foto's nodig heeft om een bepaald evenement of een bepaalde activiteit te promoten. Jouw taak is onderzoek te doen naar de aard en de inhoud van de activiteit wat moet resulteren in een fotoreeks van zes foto's die de unieke karakteristieken van de activiteit weerspiegelen. De foto's zullen gebruikt worden bij een advertentie die bedoeld is om interesse voor het evenement of de activiteit te promoten. Vooraleer je de foto's maakt, schrijf je in een studierapport neer welke ideeën je op de diverse foto's wil visualiseren en hoe je dit gaat doen. Het studierapport bevat ook schetsen van de foto's. Je presenteert de schetsen en inhoud van het studierapport aan je werkgever vooraleer je de foto's neemt." Voorbeeld overgenomen:

18 Vaardigheidstaken Drie categorieën Hands-on toetsen Simulatietoetsen Hands-off toetsen Hoe evalueren?

19 Portfolio Hoe evalueren? Verzameling van materialen en documenten als bewijs van bepaalde competenties Reflectie op leerproces als rode draad Oorsprong: wereld van de kunst, modewereld

20 Portfolio Hoe evalueren? Onderwijsportfolio: 5 kenmerken Verzameling van bewijsstukken Selectie obv reflectie Aantonen van groei of ontwikkeling in competentie(s) Keuze en inhoud van bewijsstukken wordt door lln verantwoord Instructie en begeleiding door leraar

21 Portfolio Hoe evalueren? Groeiportfolio versus beoordelingsportfolio Voordelen: Self-assessment bevorderen Aanzetten tot reflectie Positieve impact op prestaties en instructie Voorspellen van prestatie op werkvloer

22 Portfolio Hoe evalueren? Nadelen Soms vergaarbak Reflectie-moeheid Uitgebreide feedback en coaching nodig Verwante instrumenten: logboek leerverslag

23 Overall toets / casustoets Openboek toets Hoe evalueren? Meten in welke mate studenten realistische problemen kunnen oplossen Pen-en-papier toets met 7 tot 10 casussen Casussen twee weken op voorhand Combinatie van gesloten en open vragen Veelal als summatief assessmentinstrument

24 Hoe evalueren? Assessment / development center Gestandaardiseerde evaluatie van gedrag Verschillende praktijkproeven Assessment center = informatiecentrum waar lln worden doorgemeten Gericht op beoordeling en selectie Ongekende situaties voor lln => inzicht in transfer

25 Criteriumgericht interview Ondervraging Hoe evalueren? Inlichting over competentieontwikkeling Geoperationaliseerde competenties zijn het criterium Voorbeeld: STAR-interviewtechniek => uitdiepen van ervaringen

26 Criteriumgericht interview Hoe evalueren? Situatie In welke situatie zijn de ervaringen opgedaan (context)? Benoem een concrete situatie waarin een specifieke competentie werd ingezet. Denk hierbij in de tegenwoordige tijd en vanuit de ik-persoon. Denk aan details, achtergrond, indrukken, roep beelden op. Taak Wat was in die situatie precies jouw formele of informele taak, opdracht, doelstelling of rol (wat)? Wat waren je intenties vooraf? Wat wilde je bereiken? Bij het beantwoorden van deze vraag zet je vooraf een meetlat waarmee je de effectiviteit van je aanpak kan bepalen. Actie Welke actie ondernam je, wat deed je (hoe)? Licht de acties zo concreet mogelijk toe. Vermijd veralgemeniseringen. Hoe reageerden anderen op uw actie? Wat waren de belemmeringen? Hoe zou je het een volgende keer doen? Resultaat Wat was het resultaat (effectiviteit)? Denk hierbij aan de taakstelling. Zijn er punten die verbeterd kunnen worden? Probeer zo vaak mogelijk feitelijkheden aan te geven in plaats van intenties.

27 Beoordelen van de verzamelde informatie Beoordelingscriteria (referentiepunt) Criteriumgericht of absolute beoordeling criterium ligt op voorhand vast, bv. 10/20 Groepsnormgerichte of relatieve beoordeling Afhankelijk van niveau van groep, bv. gemiddelde van de groep Leerlinggerichte beoordeling Differentiatie t.a.v. evaluatiecriteria volgens kenmerken van lln

28 Beoordelen van de verzamelde Correctie en analyse van antwoorden op toetsvragen Door leerlingen zelf indien mogelijk => snel feedback en resultaat Nauwkeurige analyse nodig zicht op mogelijke tekorten en hiaten in het leerproces foutenanalyse informatie

29 Beoordelen van de verzamelde informatie Beoordelen van gedragingen en complexe vaardigheden Gebruik van beoordelingsschaal Grafische schaal X Slordig ordelijk Numerieke schaal Bv. Schaal van 1 tot 5 Kan zelfstandig werken: 2 Kan goed samenwerken met anderen: 4 Beschrijvende schaal Verbale omschrijving

30 Beoordelen van de verzamelde Vaak voorkomende fouten bij beoordelingsschalen Neiging tot zeer categoriek oordelen Halo-effect informatie Zelfde scoren voor onderdelen die zouden samenhangen Zowel proces als product

31 Beoordelen van de verzamelde informatie Cijfers, letters of woorden? Cijfers Ruwe beschrijving (+onvolledig) Lokt soms competitie uit => negatieve invloed op motivatie Enkel interesse in behalen van hoge cijfers Letters A = uitmuntend, B= zeer goed, enz. Uiteenlopende betekenis Woorden Kwalitatieve beoordeling Meer gedetailleerde en bruikbare informatie Vooral belangrijk bij formatieve evaluatie

32 Beslissingen nemen Onderwijsleerproces: meestal door individuele onderwijsgevende Hoger onderwijs: deliberaties Klassenraad Begeleidende klassenraad: evaluatie van vorderingen van een groep leerlingen Delibererende klassenraad: oordeel over het slagen van de leerling obv informatie over de examens

33 Rapporteren van resultaten Feedback als extra leerkans Schriftelijke of mondeling feedback Evaluatieve vormen: verbale en niet verbale vormen van appreciatie Descriptieve vormen: gericht op wat lln bereikt heeft of op vooruitgang Leerbevorderend effect afhankelijk van perceptie van lerende Effectiviteit ook afhankelijk van tijdstip Rapportering Syntheserapport Tussentijdse rapport

34 Kenmerken van goede evaluatie Validiteit Kwaliteit van de meting en de boordeling Betrouwbaarheid Kwaliteit van de meting en de beoordeling Consequentiële validiteit Evaluatieproces in zijn geheel en zijn effecten op het onderwijs en het leerproces

35 Kenmerken van goede evaluatie Validiteit Mate waarin methode meet wat het beoogt te meten Relevantie (begripsvaliditeit) Kenmerk van afzonderlijke vragen en opdrachten Items kiezen die het best kennis of vaardigheden toets Ook belangrijk bij vaststellen van evaluatiecriteria Evenwichtigheid (inhoudsvaliditeit) Kenmerk van een hele toets Verschillende onderdelen evenwichtig vertegenwoordigd in toets

36 Kenmerken van goede evaluatie Betrouwbaarheid Zijn resultaten vertekend? Vier componenten Het instrument vragen niet eenduidig, aantal vragen gering De afnamesituatie: Extreem lawaai, tijdsdruk De beoordeling Niet eenduidige scoringsregels De beoordeelde Vermoeidheid, ziekte, gebrek aan motivatie

37 Kenmerken van goede evaluatie Consequentiële validiteit Gevolgen van evaluatie = bedoelde gevolgen? Pre-assessment effect: perceptie examen effect op studieaanpak True-assessment effect: door evaluatie nieuwe inzichten Post-assessment effect: informatie over eigen leerproces en prestatieniveau

38 Kenmerken van goede evaluatie Transparantie => duidelijkheid voor lerenden wat er wordt geëvalueerd, hoe en welke criteria zullen worden gebruikt.

39 Besluit Van test- naar assessmentcultuur Veel aandacht voor formatieve evaluatie Lesgeven en evalueren worden geïntegreerd Diversiteit aan evaluatie-instrumenten Ontwikkelingsgericht