Beoordelen Functioneren in de praktijk, niveau 3

Transcriptie

1 1 CIMO-rapportage Pedagogiek Ank Greijmans en Annemieke Peeters, 13 juli 2017 Beoordelen Functioneren in de praktijk, niveau 3 C I In het deeltentamen Functioneren in de praktijk op niveau 3 staat het handelen dat de student gedurende de (laatste fase van) de stage heeft laten zien centraal. Het deeltentamen bestaat uit een eindgesprek met de student, in aanwezigheid van de praktijkbegeleider. Voor de beoordeling van het handelen is de praktijkdocent sterk afhankelijk van de input van de praktijkbegeleider. De opleiding wil vaststellen in hoeverre de toetsing Functioneren in de praktijk op niveau 3 valide, betrouwbaar en transparant is. Met andere woorden, toetsen ze daadwerkelijk en op een eerlijke en betrouwbare manier het handelen van de student in de praktijk, op niveau 3? Bij de start van studiejaar heeft de opleiding een aantal wijzigingen in de eindbeoordeling doorgevoerd. Het Persoonlijk ontwikkelplan is geen beoordelingsproduct meer, de student beschrijft zijn handelen in 2 kritische beroepssituaties (als input voor het eindgesprek). Tijdens het eindgesprek wordt de STARR-methode gebruikt om het handelen centraal te stellen. De opleiding heeft aan studenten informatie en instructie gegeven over deze nieuwe eindbeoordeling. M O Betrokkenen (docenten, studenten en praktijkbegeleiders) zijn bevraagt op de door hen ervaren validiteit, betrouwbaarheid en transparantie. De drie variabelen zijn geoperationaliseerd in items voor drie vragenlijsten. De verwachting is dat de betrokkenen positief reageerden op de items. De items gaan over: Validiteit: Bijdrage van de adviesbeoordeling aan het beeld van het handelen? Voldoende beeld van het handelen verkregen? Geschiktheid eindgesprek? Betrouwbaarheid: Betekenis beroepsbekwaamheid? Objectiviteit praktijkbegeleider? Representativiteit eindcijfer? Overwegingen tbv eindbeoordeling? Eerlijkheid? Helderheid beoordelingsformulier? Transparantie: Verwachtingen eindgesprek helder? Is gegeven informatie helpend? De opleiding levert studenten af die op startbekwaam niveau kunnen handelen in de praktijk. De opleiding wil vaststellen of een student bekwaam is, dat wil zeggen: of de student in de toekomst in (een veelheid aan) gelijkende situaties een taak op eenzelfde (voldoende) manier zal uitvoeren. De beoordeling moet kortgezegd generaliseerbaar zijn, c.q. voorspellende waarde hebben voor de prestaties/handelen van de student in de toekomst.

2 2 Context In het deeltentamen Functioneren in de praktijk op niveau 3 staat het handelen dat de student gedurende de (laatste fase van) de stage heeft laten zien centraal. Het gaat om het totaalbeeld, waarbij alle competenties en kernkwaliteiten in samenhang, aan de orde zijn. De eindbeoordeling vindt plaats tijdens een beoordelingsgesprek met de student, in aanwezigheid van de praktijkbegeleider. Voor de beoordeling van het handelen is de praktijkdocent afhankelijk van de input van de praktijkbegeleider. De praktijkbegeleider begeleidt de student tijdens zijn stage op de werkplek. De praktijkdocent ziet de student 3 keer per jaar gedurende zijn stage, tijdens twee begeleidingsgesprekken en tijdens het eindgesprek. In het eindgesprek vindt de eindbeoordeling plaats. De praktijkdocent vormt zijn beeld tijdens de begeleidingsgesprekken met de student en de praktijkbegeleider, via de adviesbeoordeling die de praktijkbegeleider geeft en tijdens het eindgesprek. De student levert input voor het eindgesprek door zijn/haar handelen in 2 kritische beroepssituaties te beschrijven. De opleiding wil vaststellen in hoeverre in deze toetsing Functioneren in de praktijk op niveau 3 valide, betrouwbaar en transparant is. Met andere woorden, toetsen ze daadwerkelijk en op een eerlijke en betrouwbare manier het handelen van de student in de praktijk, op niveau 3 en gebeurt dit op een transparantie manier? Interventie(s) In studiejaar heeft de opleiding Pedagogiek een aantal veranderingen in de eindbeoordeling doorgevoerd om het (niveau van) handelen van de student meer centraal te stellen. De veranderingen (interventies) zijn: het afschaffen van het Persoonlijk Ontwikkelplan (POP) als beoordelingsproduct. Het POP dient voortaan alleen als leer- en begeleidingshulpmiddel; het door de student laten beschrijven van zijn handelen in 2 kritische beroepssituaties (één per segment) als input voor het eindgesprek; het gebruik van de STARR-methode om het handelen in het eindgesprek meer centraal te stellen. koppelen vaste praktijkdocent aan praktijkorganisatie (is niet meegenomen in het experiment) n.b. De adviesbeoordeling door de praktijkbegeleider maakte al onderdeel uit van de eindbeoordeling en diende ook in voorgaande jaren als input voor het eindgesprek. De werkwijze en het formulier voor de adviesbeoordeling is niet gewijzigd. Om bekend te raken met de nieuwe manier van beoordelen heeft de opleiding voor de praktijkdocenten een instructie geschreven en is er een oefensessie met studenten gepland. Studenten hebben een extra informatiecollege gekregen met vragenrondje. In het informatiecollege waren de studenten aanwezig die aan de oefensessie hebben meegedaan. Ook kregen studenten een schriftelijke instructie. Ook hier was steeds kern: het gaat om je handelen, dat wordt getoetst.

3 3 Mechanisme(n) De opleiding wil via de hierboven beschreven interventies het handelen van de student centraal stellen in de beoordeling en zo valide, betrouwbaar en transparant mogelijk beoordelen. Omdat het niet mogelijk was om een verandering in gedrag van de betrokkenen vast te stellen (of te vergelijken tussen dit jaar en vorige studiejaren), hebben we besloten de betrokkenen naar hun mening te vragen. We verwachten dat zowel de praktijkdocent, de student en de praktijkbegeleider positief reageert op de vragen mbt de validiteit, betrouwbaarheid en transparantie van de toetsing, zie onderstaande tabel. Validiteit Betrouwbaarheid transparantie Tabel 1 Verwachte respons per betrokkene De praktijkbegeleider: De praktijkdocent De student Vindt dat de adviesbeoordeling het geeft aan dat de adviesbeoordeling bijdraagt aan de niveau van handelen goed aangeeft. eindbeoordeling Vindt dat het eindgesprek geschikt is Geeft aan dat het eindgesprek geschikt is om het om het handelen in de praktijk te handelen in de praktijk te beoordelen. beoordelen. geeft aan dat het beschrijven van de kritische beroepssituaties bijdraagt aan de eindbeoordeling. weet wat beroepsbekwaam handelen inhoudt. heeft voldoende zicht gekregen op het handelen om de adviesbeoordeling te geven. kan het handelen van de student objectief beoordelen. heeft een representatief cijfer gegeven. vindt het adviesbeoordelingsformulier helder. geeft aan dat de informatie helpend is. weet wat beroepsbekwaam handelen inhoudt. geeft aan het handelen van de student objectief te kunnen beoordelen. Kan op basis van de adviesbeoordeling en het gesprek een cijfer toekennen. Geeft aan dat iedere student een gelijke kans op het behalen van de toets heeft, ongeacht de stagecontext. Vindt het beoordelingsformulier helder. Geeft aan dat de informatie helpend was. Heeft de PB een voldoende beeld van zijn/haar handelen in de praktijk kunnen geven. Heeft in het eindgesprek een reëel beeld kunnen geven van mijn niveau van handelen. geeft aan dat het beschrijven van de kritische beroepssituaties bijdraagt aan de eindbeoordeling. weet wat beroepsbekwaam handelen inhoudt. Vindt dat de praktijkbegeleider zijn/haar handelen objectief van beoordelen. Vindt dat hij/zij een representatief eindcijfer heeft gekregen. Weet welke overwegingen ten grondslag liggen aan de eindbeoordeling. Geeft aan dat iedere student een gelijke kans op het behalen van de toets heeft, ongeacht de stagecontext. Vindt het beoordelingsformulier helder. Weet wat er van hem/haar verwacht wordt in het gesprek. Geeft aan dat de informatie helpend was.

4 4 Outcome De opleiding levert studenten af die op startbekwaam niveau kunnen handelen in de praktijk. Daarom wil ze op een valide, betrouwbare en transparante manier het niveau van de startbekwame beroepsprofessional beoordelen. De opleiding wil vaststellen of een student bekwaam is, dat wil zeggen: of de student in de toekomst in (een veelheid aan) gelijkende situaties een taak op eenzelfde (voldoende) manier zal uitvoeren. De beoordeling moet kortgezegd generaliseerbaar zijn, c.q. voorspellende waarde hebben voor de prestaties/handelen van de student in de toekomst. Hoe zag het experiment eruit? Studenten, praktijkbegeleiders en praktijkdocenten zijn gevraagd om een enquête in te vullen met stellingen over de mate waarin zij de eindbeoordeling als betrouwbaar, valide en transparant beschouwen (zie tabel 1, p2). Voor elke doelgroep is een vragenlijst gemaakt. De vragenlijsten bestaan uit 9 tot 11 stellingen met een 5-punts likertschaal (helemaal oneens helemaal eens). In de vragenlijst konden respondenten tips geven om de beoordeling van het praktijkleren verder te verbeteren en was er ruimte voor het maken van opmerkingen. De vragenlijst zijn in juni 2016 afgenomen. Aantal Totaal aantal % respons respondenten betrokkenen Studenten % Praktijkbegeleider % Praktijkdocent % totaal 114 Figuur 1 Aantal respondenten vragenlijst Op 22 juni 2016 is een focusgroepinterview gehouden met 6 praktijkdocenten om van gedachten te wisselen over de uitvoering van de eindbeoordeling en de mate waarin de eindbeoordeling valide, betrouwbaar en transparant was. Helaas is het niet gelukt om focusgroepinterviews te organiseren met studenten en praktijkbegeleiders. Welke vragen stonden centraal? Zowel in het interview als in de vragenlijsten stonden vragen centraal die betrekking hebben op de validiteit, betrouwbaarheid en transparantie van de eindbeoordeling. In tabel 1 zijn de onderwerpen van de vragenlijst-items gepresenteerd. Deze onderwerpen zijn vertaald in stellingen. In het focusgroepinterview stonden de volgende vragen centraal: Algemeen Hoe is de eindbeoordeling van het Functioneren in de praktijk niveau 3 verlopen? Hoe ervaar je de nieuwe werkwijze ten opzichte van de werkwijze van vorig jaar? Validiteit In hoeverre krijg je via deze werkwijze een goed beeld van het handelen van de student in de praktijk? Wat is de bijdrage van de adviesbeoordeling, de kritische beroepssituaties? Welke factoren stimuleren of belemmeren het verkrijgen van het juiste beeld?

5 5 Betrouwbaarheid In hoeverre heb je (überhaupt) goed beeld van beroepsbekwaam handelen van een startbekwaam professional? (betrouwbaarheid) Hoe stelde je vast of de student een voldoende of onvoldoende had? Hoe kom je tot een eindcijfer? In hoeverre was er gelijkwaardigheid/ gezamenlijkheid van met de praktijkbegeleider? Juiste verhouding tussen advies praktijk en eigen zicht op functioneren van de student? In hoeverre eindbeoordeling wijkt de eindbeoordeling af van adviesbeoordeling en waarom? Transparantie Had je voldoende informatie over aanpak via handleiding/proefuitvoering etc? Wat niet of verder nodig? Informatie op beoordelingsformulier helder? Verbeterpunten? Welke antwoorden hebben we gevonden? Resultaat vragenlijsten Validiteit Bij de studenten, de praktijkbegeleiders en praktijkdocenten geeft 80% à 90% van de respondenten een positieve respons op de items over de validiteit van de toets. Uitzondering daarop is het item over de bijdrage van de kritische beroepssituatie aan de eindbeoordeling. 40% van de praktijkdocenten antwoordt neutraal of negatief. Betrouwbaarheid De meeste studenten (tussen 80% en 98%) reageren positief op de stellingen over de betrouwbaarheid. Dat beeld komt overeen met dat van de praktijkbegeleiders. Opvallend is dat ruim 13% van de praktijkbegeleiders negatief op de stelling dat de kernkwaliteiten en de beschrijving van de competenties bijdragen aan de kwaliteit van de beoordeling (ruim 11% is neutraal). 9% van de praktijkbegeleiders vindt het adviesbeoordelingsformulier niet helder. Bij de praktijkdocenten zijn bij een aantal items lagere scores waar te nemen. Zij zijn kritisch over de mate waarin ze het handelen van de student objectief kunnen beoordelen (18% van de praktijkdocenten is het oneens, 25% is neutraal). Ruim 20% van de praktijkdocenten reageert negatief of de stelling of iedere student een gelijke kans op het behalen van de toets heeft ongeacht de stagecontext (46% neutraal). Een ruime meerderheid van de praktijkdocenten reageert positief op de andere items. Transparantie 82% van de studenten geeft aan dat duidelijk was wat er van ze verwacht werd, 15% reageert neutraal. Bijna alle studenten vonden de informatie die ze kregen, helpend om zicht te geven op het niveau van handelen in de praktijk. 96% van de studenten reageert neutraal/positief op de stelling over de instructie helpend was. De praktijkbegeleiders en praktijkdocenten zijn overwegend positief over het helpend zijn van de informatie in de handleiding.

6 6 Resultaat interviews Validiteit De nieuwe opzet van de beoordeling en de beoordelingsinstrumenten dragen bij aan de kwaliteit van het eindgesprek en de eindbeoordeling. Het eindgesprek is noodzakelijk om inzicht te krijgen in de prestaties/het functioneren van de student. De kritische beroepssituaties helpen bij het bespreekbaar maken van het handelen van de student. De beoordelaars geven aan dat het belangrijk is om de praktijkbegeleider goed in het gesprek te betrekken. De adviesbeoordeling geeft het beeld van de praktijkbegeleider. Beoordelaars willen hun eigen beeld vormen, onder andere door middel van de kritische beroepssituaties. Het is lastig om niet in herhaling te vallen tijdens het gesprek, daarom geven ze aan ook andere beroepssituaties te bespreken/benutten om in te schatten of transfer van het handelen naar andere situaties zal plaatsvinden. Betrouwbaarheid Docenten geven aan dat het plaatsen een kruisje per beoordelingscriterium ontoereikend is om het eindcijfer te bepalen. Op het adviesbeoordelingsformulier zou nadrukkelijk om een toelichting van het gegeven oordeel moeten worden gevraagd. Dit biedt meer handvaten voor de bespreking en voor het bepalen van het eindcijfer. Een beoordelaar vraagt zich af wat hij in handen moet hebben om van de adviesbeoordeling af te wijken. Het zou helpen als meer duidelijk/afgestemd wordt wat het plaatsen van een kruisje op een bepaalde plaats betekent: welk gedrag/handelen zie je als dat oordeel wordt gegeven en wat maakt dat het gedrag startbekwaam is. De gesprekspartners geven aan dat het goed zijn met elkaar te spreken over de startbekwaamheid en het handelen/gedrag dat daarvoor exemplarisch is (calibreren). Transparantie In het focusinterview geven de praktijkdocenten aan dat de opleiding de praktijk te laat heeft geïnformeerd over de wijze van beoordelen. Communicatie rondom de functie van het POP behoeft nog aandacht. Dat geldt ook voor de rol die het POP ter voorbereiding op het beoordelingsgesprek heeft (zowel voor de student, praktijkbegeleider als praktijkdocent/beoordelaar) en de kwaliteitseisen die aan de POP, als ontwikkelen begeleidingsinstrument, worden gesteld. Overige punten die genoemd werden: Het POP is een begeleidingsinstrument en ondersteunt de ontwikkeling van de student en geeft input voor de begeleidingsgesprekken (bij de start en halverwege de stage). De vraag centraal staan: "Wat heeft de student nodig om op het gewenste eindniveau te behalen?" Beoordelaars geven aan te reflecteren op de eigen prestatie: ben ik wel goed bezig, wat is eerlijk, wat is rechtvaardig?

7 7 Aanbevelingen op basis van het experiment Pas de instructie op het adviesbeoordelingsformulier aan zodat de praktijkbegeleider toelichting geeft en duidelijk één kruisje zet bij het oordeel dat hij/zij wil geven. Verander het adviesbeoordelingsformulier voor de praktijkbegeleider NIET. De praktijkbegeleiders vinden de opzet met competenties zoals die nu is, prettig en behulpzaam. Organiseer kalibreersessies tussen alle betrokkenen bij de beoordeling (studenten, praktijkbegeleiders, praktijkdocenten. Organiseer meekijkmomenten/opnames voor beoordelaars om van elkaar te kunnen leren onder andere op het gebied van gespreksvoering. Organiseer een vorm van peerfeedback zodat studenten bij elkaar gaan kijken, elkaar feedback geven met behulp van het adviesbeoordelingsformulier zodat de bezoekers kennismaken met andere contexten, zichtbaar maken van het handelen en voor de ontvangers inzicht krijgen waar op beoordeeld wordt en wijzen waar je handelen zichtbaar kunt maken. Ter aanvulling op de begeleidingsgesprekken van de praktijkdocent. Zet het POP nadrukkelijk in als begeleidingsinstrument en verduidelijk de rol die het kan spelen in de begeleiding en hoe dat input kan opleveren voor het voorbereiden en uitvoeren van de toetsing/beoordeling. Zorg ervoor dat studenten gaan praktijkleren op passende en relevante stageplekken met de juiste complexiteit. Bepaal als opleiding (in samenspraak met je werkveld) al vooraf, bij het matchen van werkplek en student/leervraag of deze werkplek geschikt is als leerwerkplek (inclusief passende begeleiding op het juiste niveau). Eventuele diversiteit in stagecontexten moet geen onderwerp van discussie zijn en niet meegewogen worden in de beoordeling. Wat heeft de opleiding met de resultaten gedaan? t.a.v. de validiteit: - De informatie over de kritische beroepssituaties in de handleiding is aangescherpt en (vanaf het begin) onderwerp van gesprek in de WEP-lessen. In het informatiecollege worden ervaringen en tips van studenten gedeeld. - De opleiding is van plan om: o blijvend aandacht te besteden aan het positioneren en concretiseren van de betekenis/rol van de kritische beroepssituaties bij de beoordeling in dialoog met praktijkdocenten, studenten en begeleiders. o Een workshop/training voor praktijkbegeleiders te ontwikkelen waarin de aanpak en de betekenis/rol van de kritische beroepssituaties aandacht krijgt. t.a.v. betrouwbaarheid: - De lay-out van het adviesbeoordelingsformulier en de instructie voor het invullen van dit formulier aangepast. De praktijkbegeleiders geven voortaan een toelichting bij het geplaatste kruisje. - De keuze is gemaakt om het adviesbeoordelingsformulier niet aan te passen. Hier blijft de beoordeling van competenties (in plaats van segmenten) de insteek. - De opleiding is van plan om: in studiejaar 16-17:

8 8 o te onderzoeken op welke wijze peerfeedback een plaats kan krijgen in de begeleiding/beoordeling binnen het praktijkleren (zie aanbeveling). o 3 calibreersessies met praktijkdocenten te organiseren om een meer gemeenschappelijk beeld van de startbekwaamheid te krijgen, objectiever te kunnen beoordelen, een meer gemeenschappelijk beeld van een voldoende en onvoldoende prestatie te vormen. In studiejaar 17-18: o het gedragen beeld te kalibreren met praktijkbegeleider en studenten o een workshop/training te ontwikkelen voor praktijkbegeleiders o de praktijkcontactdagen (live contact moment met de praktijk) anders in te vullen met actieve werkvormen op basis van casuïstiek rondom begeleiden en beoordelen. o scholing/deskundigheidsbevordering op het terrein van begeleiden organiseren voor het praktijkteam. - De opleiding wil bij de werving van stageplekken expliciet aandacht besteden aan de kwaliteit van de stageplek en de stagebegeleiding om zowel de kwaliteit van het werkplekleren en de beoordeling beter te borgen. t.a.v. de transparantie: - De plek, betekenis en vorm van het POP wordt geconcretiseerd in de praktijkcontactdagen en in de training/workshop voor praktijkbegeleiders. Wat zou je andere opleidingen aanraden op basis van deze CIMO-ervaring? 1. Koppel een CIMO-experiment aan (kleine) interventies tbv onderwijsvernieuwing Het uitvoeren van de CIMO (als een soort gedachtenexperiment) op zich is al winst doordat je, zonder het resultaat al te hebben, nadenkt over welke stappen je moet zetten om je doelen te bereiken. Je stelt ook vast wat je wilt weten en meten om vast te stellen of je de doelen realiseert of de juiste koers te pakken hebt. De resultaten van het experiment ondersteunen bij het uitvoeren, invoeren en onderbouwen van de verbeteringen. 2. Voer de CIMO uit in teamverband (binnen de opleiding) Als team blijf je scherp of je aanname (bijvoorbeeld de wens om het formulier aan te passen) wel als verbetering wordt ervaren. Het voeren van deze inhoudelijke gesprekken draagt bij aan de teamontwikkeling. Het is dan ook aan te raden om met meer mensen van de opleiding bij deze CIMO-werkwijze betrokken te zijn. 3. Deel ervaringen binnen een HAN-brede projectgroep Uitwisseling met andere collega s die binnen de HAN een CIMO uitvoeren leidt tot constructieve input over inhoud, vorm en organisatie en draagt bij aan je eigen proces. 4. Ook korte enquêtes kunnen meerwaarde hebben De verzameling van data via een korte enquête die na het eindgesprek op de eindstage werd ingevuld, werkte goed: het koste niet veel tijd en gaf een mooie respons. De uitgifte van de enquêtes behoeft een goede stroomlijning en registratie.