Beoordelen van leeruitkomsten en de rol van de werkplek daarbij Projectteam HAN Werkplekleren 23 januari 2017
Programma 16.30: Inleiding door Annemieke 16.50: Dialoog in groepen over het beoordelen van leeruitkomsten en de rol van de werkplek 17.45: Plenaire terugkoppeling
Vragen rondom beoordelen van werkplekleren Hoe zorg ik ervoor dat toetsen en beoordelen ook echt bijdraagt aan de ontwikkeling van studenten?
Beoordelen van werkplekleren is lastig... Verschillende betrokkenen: student docent praktijkbegeleider/ collega s
Beoordelen van werkplekleren is lastig Werkplek heeft eigen dynamiek Voorstructurering/protocollen gericht op werkprocessen, maar niet op leerprocessen Leren is een bijproduct van werken Match van opleidingsdoelen en resultaten werkplekleren?
Beoordelen van werkplekleren is lastig Verschillende objecten: Beoordeel je het leren op de werkplek? Beoordeel je het functioneren op de werkplek? Beoordeel je de kennis/vaardigheden/attitudes (bijv. d.m.v. beroepsproducten)? Of zelfs een combinatie?..
In de toetstheorie Problematiek wordt herkend maar geen pasklare oplossingen/antwoorden. Beroepspraktijk/werkplek is onmisbaar zeker als het over beoordelen van bekwaamheid/competentie gaat. Twee bronnen: Shavelson, R.J. (2010, 2013) Van der Vleuten, C. e.a. (2010)
Richard J. Shavelson (2010, 2013) The assessment triangle (national research council, 2001)
Object van beoordeling construct (Shavelson): Complexe fysieke of intellectuele vaardigheden of een combinatie ervan, waarvan de uitvoering waar te nemen is en door ervaring en oefening en reflectie en self-regulatie kan verbeteren. Betreft: bekende, realistische taken van een bekwame professional
Van der Vleuten, e.a. (2010)
Van der Vleuten, e.a. (2010) Wat zegt de theorie? Bekwaamheid is specifiek, niet generiek. Niet één toets kan alles. De taak/opdracht is bepalender voor de prestatie dan de vorm van het antwoord. Objectiviteit betrouwbaarheid Toetsing stuurt het leren Validiteit kun je inbouwen
Twee soorten beoordelingsinstrumenten Performancetoetsen: Via observatie (direct, via video) Over een langere periode Aggregatiemethoden Logboek Portfoliobeoordeling
Ontwerprichtlijn 1 Betrek verschillende experts Dus niet meer dan één, maar verschillende, dat verhoogt betrouwbaarheid. Ook de (mede)student is expert Bij does : gebruikers van instrumenten zijn bepalender voor de kwaliteit, dan de instrumenten zelf Dus. train ze én houd ze op kracht, zorg dat experts/ beoordelaars afstemmen met elkaar/benchmarken
Ontwerprichtlijn 2 Ga uit van een afspiegeling van alle realistische taaksituaties/contexten (van een bekwame professional). Assessment betreft uitvoering van realistische taken Streef naar standaardisatie (iedereen dezelfde kans) Benut experts voor de steekproef
Ontwerprichtlijn 3 Combineer informatie van verschillende toetsmomenten (liefst gedurende langere periode) en verschillende toetsmethoden Gebruik ook narratieve/kwalitatieve methoden en geef ze een belangrijke plek in de beoordeling Zelf-beoordeling nooit de enige bron Aggregatie is ook werk voor expert (en geen rekensom)
Ontwerprichtlijn 4 Combineer formatieve en summatieve toetsing Beoordeling is geen doel op zich. Organiseer feedback om toegevoegde waarde te creëren voor het leerproces Positieve feedback is effectiever dan negatieve Toetsing stuurt het leren (gelukkig!)
Ontwerprichtlijn 5 Stel een duidelijke norm: beschrijf wat je minimaal wilt zien. Wel of niet voldoende, of zelfs niveau van uitvoering Scoring: holistisch, analytisch (rubric) of combinatie (aandacht voor gebruik door beoordelaar nodig!)
Groepsopdracht (50 min): Stel je voor: Niet de opleiding, maar de werkplek is voortaan verantwoordelijk voor het beoordelen van de leeruitkomsten. Jullie zijn professionals op die werkplek. Ga uit van de kracht van de werkplek. Kies één leeruitkomst Beschrijf hoe de student op de werkplek kan laten zien dat hij/zij dit kan. Hoe pak je de beoordeling aan? Gebruik de ontwerprichtlijnen. Welke dilemma s/vragen komen op?
Bronnen Shavelson, R.J. (2013) On an Approach to testing and modeling competence. Educational psychologist, 48(2), 73-86. Shavelson, R.J. (2010) On the measurement of competence. Empirial Research in Vocational Education and Training, 2(1), 41-63 Van der Vleuten, C.P.M. et al (2010) The assessment of professional competence: building blocks for theory development. Best practice & Research Clinical Obstretrics and Gyneacology, 24, 703-719 www.han.nl/werkplekleren