Kalibreersessies HO Congres NVE 23 november 2017 Marlies van Beek
Opzet workshop Beoordelen beoordeeld Procedure en resultaten Opdracht beoordeling handtekenen Voorbeeld resultaten scriptie Vervolg procedure
Procedure kalibreersessies Onafhankelijk beoordelen van hetzelfde werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen
Resultaten Betrouwbare beoordeling door: Afspraken over beoordeling Duidelijker documenten Gemeenschappelijk referentiekader Afspraken over begeleiding
Beoordelingsprocedure Onafhankelijk van elkaar beoordelen Oordelen vergelijken Bespreken oordelen
Beoordelingsopdracht Industrieel Product Ontwerpen Vijf tekeningen met de hand Beoordeel de vijf tekeningen van de student onafhankelijk van elkaar op grond van het beoordelingsformulier.
Verbeterpunten Formuleer drie verbeterpunten, bijvoorbeeld over: de omschrijving van de criteria de opmaak en inhoud van het beoordelingsformulier de beoordelingsprocedure beoordelingsinstructies de totstandkoming van het eindoordeel.
Oordelen set 2 Tekentechniek Perspectief 4 6 7 7 5 7 7 7 7 3D suggesties 5 7 8 7 4 6 7 7 6 Vormconstr. 4 7 7 8 6 5 6 7 6 Vormvariatie 4 6 7 8 5 7 7 7 6 Lijnvoering 5 6 8 7 4 7 7 8 7 Effecten 6 6 7 6 4 5 7 7 4 Beroepshouding Exper. Lust 6 6 7 6 4 8 7 6 6 Omgang og 6 6 7 6 4,5 8 6 7 6 Inzet/leercurve 6 5 7 4 4,5 8 6 7 6 eindcijfer 5 6 7 7 5 7 7 7 6
Conclusies Lijnvoering minste overeenstemming (bij alle 5 sets tekeningen) Criteria over beroepshouding aanpassen
Verbeteringen
Uiteindelijk De student kan Score Rechte lijnen trekken 0 1 Met lijndiktes spelen 0 1 Perspectief opzetten 0 1 Kubussen en balken construeren 0 1 Ellipsen construeren 0 1 Cilinders en conussen construeren 0 1 Aanzichten in Amerikaanse projectie tekenen 0 1 Verhoudingen tekenen 0 1. 0 1 Totaal
Beoordelen beoordeeld Voorbeeld resultaten scriptie Onafhankelijk beoordelen van hetzelfde werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen
Oordelen over scriptie Vakkundigheid A B C D E Kwaliteit van... probleemanalyse, onderzoeksvraag en deelvragen g t t v o theoretisch kader t o t t t onderzoek/ data-analyse v t t o o beroepsproduct v t t o o/t conclusie en aanbevelingen v t t o t Schriftelijke communicatie Kwaliteit rapportage g t t/v t o Eindoordeel 60 5 40 4,5
Toelichtingen bij scriptie onderzoeksmethoden en instrumenten Blijft op globaal niveau: interviews, desk research. Type interview of research wordt niet concreet gemaakt, noch verantwoord: wie is/zijn geïnterviewd, hoeveel mensen, met welke vraagstellingen, hoe zijn de resultaten verzameld? Bij inventarisatie van de huidige situatie (deelvraag 1) wordt de werkwijze niet vermeld; Naar sommige bijlagen wordt helemaal niet gerefereerd; In H6 wordt niet naar de interviews verwezen, die de basis vormen van de vastgestelde requirements; Onderzoeksmethoden niet in hoofdverslag beschreven, instrumenten ook niet.
Kwaliteit van onderzoek De student beschrijft welke onderzoeksmethoden en instrumenten gebruikt worden De gemaakte keuzes m.b.t. de uitvoering van het onderzoek zijn verantwoord en onderbouwd De gehanteerde methoden en technieken zijn juist gekozen en adequaat toegepast Toelichting in beoordelingsformulier: Per deelvraag beschrijft de student de selectie van de correcte methode(n) en instrument(en), inclusief een verantwoording/onderbouwing
Beoordelen beoordeeld Vervolg procedure Onafhankelijk beoordelen van hetzelfde werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen En dan.?
Beoordelen beoordeeld Nogmaals onafhankelijk beoordelen van ander werkstuk Democratische beoordelingsstandaard = gemeenschappelijke oordelen/toelichtingen Vergelijking toelichtingen met standaard 100 90 80 70 60 50 40 30 20 10 0 A B C D E F
Beoordelen beoordeeld Procedure Onafhankelijk beoordelen van hetzelfde werkstuk Vergelijking oordelen en toelichtingen Inventarisatie verbeterpunten Afspraken en aanpassingen Beoordeling van oordelen en toelichtingen
Literatuur Bird & Yucel, 2013. Improving marker reliability of scientific writing. Assessment & Evaluation in Higher Education. Andriessen e.a. Beoordelen is mensenwerk, 2014. Eindrapport Expertgroep Protocol. Bijlage 6: Handreiking kalibreersessies. Lampe & van Beek, 2015. Beoordelen beoordeeld. Kalibreersessies in het HO Special Examencommissies onderweg.
Dank voor uw aandacht Marlies.vanbeek@cito.nl