Het meten van studentpercepties van formatief evalueren

Transcriptie

1 Het meten van studentpercepties van formatief evalueren Sandra Broers & Jos Castelijns, Hogeschool De Kempel, Helmond Desirée Joosten-ten Brinke, Fontys Lerarenopleiding Tilburg Samenvatting Formatief evalueren wordt algemeen gezien als een krachtige strategie om de motivatie, de zelfregulatie en de leerprestaties van lerenden te bevorderen. Voor een effectieve integratie van formatief evalueren in de opleiding is het van belang dat opleiders zich bewust zijn van hun competentie in dezen, zodat zij zich hierin verder kunnen ontwikkelen. Inzicht in studentpercepties van deze opleiderscompetentie kan in dat verband bijdragen aan deze bewustwording. Daarvoor is het nodig een theoretisch en empirisch gefundeerd instrument te ontwikkelen dat studentpercepties meet van de mate waarin hun opleiders formatief evalueren toepassen. Omdat een dergelijk instrument niet voorhanden is, is in 2014 bij Hogeschool De Kempel een onderzoek gestart met als doel de ontwikkeling van een vragenlijst. In voorliggend artikel worden de verschillende methodologische stappen beschreven die zijn gezet om deze vragenlijst te construeren en valideren. Data die met deze vragenlijst worden verzameld in de opleiding, kunnen worden ingezet ten behoeve van de professionalisering van opleiders, bijvoorbeeld in het kader van intervisie of collectief leren. Inleiding In de discussie over de verbetering van de kwaliteit van de lerarenopleidingen wordt een sterk accent gelegd op selectie, kwaliteitscontrole en externe verantwoording. Zo is er bij de lerarenopleidingen voor het basisonderwijs centrale toetsing ingevoerd met twee functies: studenten selecteren aan de poort en toetsing aan het eind van de opleiding. De instaptoetsen moeten garanderen dat studenten die tot de opleiding worden toegelaten over voldoende voorkennis beschikken. De eindtoetsen laten zien in welke mate de studenten de inhoud van de kennisbases beheersen (OCW, 2013; Vereniging Hogescholen, 2015). Deze vorm van toetsing wordt doorgaans aangeduid als summatieve toetsing. Summatieve toetsing is gericht op de beoordeling van leerprestaties met als doel het nemen van beslissingen waarbij voor de student veel op het spel staat, zoals voortgang in het studieprogramma en het al of niet verkrijgen van het diploma. In de Angelsaksische literatuur wordt in dit verband gesproken over Assessment of Learning. Naast de summatieve functie van toetsing is er de laatste jaren steeds meer aandacht voor de formatieve functie van toetsing (Bennett, 2011; Black & Wiliam, 2003). Formatieve toetsing vindt idealiter plaats gedurende het onderwijsleerproces en beoogt het leren en de ontwikkeling van studenten te ondersteunen. In dit verband wordt ook wel de term Assessment for Learning gebruikt. Black en Wiliam (2009) stellen: Practice in a classroom is formative to the extent that evidence about student achievement is elicited, interpreted, and used by teachers, learners, or their peers, to make decisions about the next steps in instruction that are likely to be better, or better founded, than the decisions they would have taken in the absence of the evidence that was elicited (p.9). De begrippen summatief en formatief verwijzen naar twee verschillende functies van toetsing, Tijdschrift voor Lerarenopleiders, 38(1)

2 namelijk kwalificatie dan wel ondersteuning van het leerproces. Essentiële componenten van formatieve toetsing zijn de feedback die studenten krijgen van hun opleider (opleiderfeedback) of medestudenten (peerfeedback) en de reflectie van studenten op hun eigen leerproces (selfassessment). Het begrip formatieve toetsing veronderstelt niet (zoals dat met summatieve toetsing wel het geval is) dat sprake is van een momentopname. Formatieve toetsing wordt idealiter geïntegreerd in de dagelijkse onderwijs- en begeleidingspraktijk in de opleiding, zodat just in time en continu feedback kan worden gegeven en reflectie kan plaatsvinden. De combinatie van de termen 'toetsing' en 'formatief' roept ten onrechte het beeld op van een formatieve toets die op een bepaald moment 'afgenomen' wordt. Om die reden gebruiken we in dit artikel liever de term 'formatief evalueren'. Opvallend is dat de formatieve functie van toetsing in de discussie over de verbetering van de lerarenopleidingen nauwelijks over het voetlicht komt. Dit is opmerkelijk, temeer omdat al geruime tijd wordt gepleit voor de integratie van formatief evalueren, niet alleen in de lerarenopleiding (Dochy, Segers & Sluijsmans, 1999; Dochy, Heylen, & Van de Mosselaer, 2002), maar ook in andere onderwijssettings zoals het basisonderwijs (Black & Wiliam, 1998; Birenbaum et al, 2006; Wiliam 2011). Wetenschappelijk onderzoek levert steeds meer evidentie op voor de claim dat formatief evalueren bijdraagt aan de motivatie, de zelfregulatie en de leerprestaties van lerenden (Meusen-Beekman, 2015; Sluijsmans, Joosten-ten Brinke, & van der Vleuten, 2013; Schildkamp et al, 2014). Meer aandacht voor formatief evalueren in de lerarenopleiding lijkt van belang en wel om verschillende redenen. In de eerste plaats kan formatief evalueren studenten ondersteunen bij het behalen van de gestelde opleidingsdoelen. Formatief evalueren kan ertoe bijdragen dat studenten zich (meer) bewust worden van de gestelde doelen, de beoordelingscriteria, relevante leerstrategieën, hun motivatie en hun verwachtingen ten aanzien van opdrachten die zij in de opleiding geacht worden te maken. Door middel van formatief evalueren worden zij in het onderwijsleerproces ondersteund bij het plannen, monitoren, bijsturen en het evalueren en beoordelen van hun eigen leerproces en de uitkomsten daarvan (Vrieling, 2012). In de tweede plaats leren studenten de kracht van formatief evalueren benutten in hun eigen stage en later in hun eigen beroepspraktijk. Dit is met name aan de orde wanneer opleiders formatief evalueren toepassen en expliciteren, en op deze wijze model staan voor het gedrag dat zij ook bij hun studenten willen bevorderen. Swennen, Korthagen en Lunenburg (2004) wijzen in dit verband op het principe van het congruent opleiden: in de opleiding fungeren opleiders als voorbeeld. Zij laten in hun eigen handelen en het expliciteren ervan studenten zien hoe zij onderwijzen, in casu formatief evalueren. Voor een effectieve integratie van formatief evalueren in de dagelijkse opleidingspraktijk is het van belang dat opleiders zich bewust worden van hun eigen sterke en zwakke punten op dit gebied en dat zij de benodigde bekwaamheden ontwikkelen. De studentpercepties van de competenties van de docent zijn hierbij zeer informatief, aangezien studentpercepties van invloed zijn op de mate waarop leren daadwerkelijk plaatsvindt (Cowie, 2009; Stiggins, 2007). Een theoretisch en empirisch gefundeerd instrument waarmee studenten hun opleiders feedback geven op de mate waarin zij in het dagelijkse onderwijs en de begeleiding formatief evalueren, zou in dit verband behulpzaam kunnen zijn. Omdat een dergelijk instrument niet voorhanden is, is in 2014 bij Hogeschool De Kempel, een monosectorale opleiding voor basis- 56 Het meten van studentpercepties van formatief evalueren

3 schoolleraar in Helmond, een onderzoek gestart met als doel de ontwikkeling van een vragenlijst waarmee studentpercepties van de mate waarin opleiders formatief evalueren toepassen, kunnen worden gemeten. Data die met deze vragenlijst worden verzameld in de opleiding, kunnen worden ingezet ten behoeve van de professionalisering van opleiders, bijvoorbeeld in het kader van intervisie of collectief leren. In het voorliggende artikel wordt ingegaan op de ontwikkeling van de vragenlijst. Theoretisch kader Formatief evalueren In de literatuur worden verschillende omschrijvingen van het begrip formatief evalueren gegeven. In grote lijnen komen die sterk met elkaar overeen. Exemplarisch is de hierboven genoemde omschrijving van Black en Wiliam (2009). Zij benadrukken dat bij formatief evalueren gebruik wordt gemaakt van data (werk en observaties van, gesprekken met Formatief lerenden) over het leren. In de interactie tussen leraar en lerenden en tussen lerenden onderling worden deze data geïnterpre- beslissingen over evalueren impliceert teerd en wordt vastgesteld in hoeverre de gestelde leerdoelen te nemen vervolgstappen. zijn bereikt. Op basis van deze gezamenlijke interpretatie worden beslissingen genomen over de stappen die lerenden nog dienen te zetten om de gestelde doelen te halen. Deze vorm van evalueren geeft lerenden inzicht in hun eigen leerproces en biedt hen aanknopingspunten om de volgende stap in het leerproces te zetten. In deze benadering van evalueren hebben zowel leraar als lerenden een actieve rol. Op basis van eigen werk en recente theorieën over samen leren, metacognitie en motivatie ontwikkelden Black en Wiliam een samenhangend conceptueel model voor formatief evalueren. Dit model (zie Figuur 1) is opgebouwd aan de hand van vijf aspecten van formatief evalueren, namelijk: 1 het verhelderen, bespreken en delen van zowel leerintenties als succescriteria met de lerenden; 2 het organiseren van leertaken en gesprekken met lerenden waaruit kan worden afgeleid of zij de opdracht dan wel de instructie begrijpen, bijvoorbeeld door het veelvuldig stellen van vragen over de inhoud, het verzamelen en bespreken van data verkregen uit (summatieve) toetsing, observatie en analyse van het werk van lerenden; 3 het geven van inhoudelijke feedback waarmee het leren wordt bevorderd; 4 het activeren van lerenden zodat ze een instructiebron voor mede-lerenden zijn: peerfeedback; 5 het activeren van lerenden als eigenaars van hun eigen leerproces: self-assessment. Voor het vormgeven van deze aspecten zijn drie kernprocessen van belang, namelijk het committeren van de lerende aan de leerintenties ('Waar werkt de leerling naar toe?'), het vaststellen waar de lerende staat in het leerproces ten opzichte van de leerintenties ('Waar staat de leerling nu?') en het bepalen welke stappen de lerende dient te zetten om de kloof tussen waar hij/zij nu staat enerzijds en de leerintenties anderzijds te overbruggen (Hoe komt de Tijdschrift voor Lerarenopleiders, 38(1)

4 leerling naar de gewenste situatie?). Figuur 1 ordent de vijf aspecten op basis van de kernprocessen van formatief evalueren en verheldert de rollen die de leraar, mede-lerenden en de lerende zelf hierin spelen. Leraar Medestudent Student Waar werkt de leerling naar toe? 1. Verhelderen van leerdoelen en delen van criteria voor succes. Begrijpen en delen van leerdoelen en criteria voor succes. Begrijpen van leerdoelen en criteria voor succes. Waar staat de leerling nu? 2. Het bewerkstelligen van effectieve groepsdiscussies en activiteiten die bewijs leveren voor leren Hoe komt de leerling naar de gewenste situatie? 3. Feedback geven gericht op verder leren. 4. Het activeren van leerlingen als belangrijke informatiebronnen voor elkaar. 5. Het activeren van leerlingen in het stimuleren van eigenaarschap over het eigen leren Figuur 1. Aspecten van formatief evalueren (vertaald uit Black & Wiliam, 2009, p.8). Effectieve feedback De kernprocessen uit het model van Black en Wiliam (2009) vertonen sterke verwantschap met de kenmerken van effectieve feedback welke door Hattie en Timperley (2007) in hun gezaghebbende meta-analyse worden onderscheiden, namelijk feed up, feed back en feed forward (zie Figuur 2). Door feed up worden de leerdoelen, succescriteria en het verwachtingsniveau verhelderd ('Wat is mijn doel'). Feed back houdt in dat bewijs van het leren wordt verzameld en in dialoog met de lerende geïnterpreteerd wordt ('Hoe sta ik er voor?'). Feed forward correspondeert met de (inhoudelijke) feed back waarmee het leren wordt bevorderd ('Wat moet ik nu'). Het model van Hattie en Timperley maakt verder nog een onderscheid tussen verschillende soorten feedback, namelijk: Feedback op taakniveau geeft lerenden aanwijzingen om tot een juist begrip van een taak of opdracht te komen. Feedback op taakniveau is aangewezen wanneer lerenden de taak verkeerd interpreteren of onvolledig begrijpen. Feedback op procesniveau geeft lerenden aanwijzingen in de vorm van (cognitieve) strategieën voor het maken van de opdracht. Feedback op procesniveau is aan de orde wanneer lerenden wel de opdracht begrijpen, maar geen effectieve strategieën beschikbaar hebben of gebruiken om deze opdracht te maken. Feedback op het niveau van de zelfregulatie informeert de lerenden over de wijze waarop zij de uitvoering van de taak of opdracht kunnen plannen, monitoren, het eigen gedrag kunnen bijsturen en de uitvoering en het product kunnen evalueren; deze feedback helpt lerenden bij het richten en vasthouden van de aandacht die nodig is voor het maken van de taak. Feedback op het niveau van de zelfregulatie is geïndiceerd wanneer lerenden de taak begrijpen en weten welke oplossingsstrategieën ze kunnen hanteren, maar problemen hebben met het reguleren van hun eigen leergedrag. 58 Het meten van studentpercepties van formatief evalueren

5 Feedback op het persoonlijk niveau is niet specifiek voor de taak, maar verwijst naar veronderstelde persoonskenmerken van de lerenden (Bijvoorbeeld: Jij bent écht goed in rekenen en wiskunde). Hattie en Timperley ontraden het geven van feedback op dit niveau omdat die lerenden geen specifieke informatie biedt die kan helpen de volgende stap in het leerproces te maken. Bovendien kan persoonlijke feedback leiden tot allerlei ongewenste neveneffecten zoals vermijdingsgedrag en faalangst. Doel Verminderen van het verschil tussen het waargenomen en gewenste begrip en of gedrag Het verschil kan verminderd worden door: Studenten Toegenomen inspanning en inzet van effectieve strategieën OF Verlaten van, onduidelijk maken van, of lager inzetten op doelen Leraren Leveren van voldoende aantrekkelijke en specifieke doelen Studenten helpen met effectieve leerstrategieën en feedback Effectieve feedback beantwoordt drie vragen: Wat is mijn doel (feed up), hoe sta ik er voor (feed back), wat moet ik nu (feed forward) Elke feedbackvraag raakt aan vier niveaus: Taakniveau Taak begrepen? Goed uitgevoerd? Procesniveau Proces benodigd voor taak of begrip aanwezig? Zelfregulatieniveau Monitoren, sturen en regelen eigen acties door student voldoende? Persoonsniveau Beoordelingen of gevoelens gericht op de persoon van de student Figuur 2. Het feedbackmodel van Hattie en Timperley (2007) om leren te bevorderen (vertaald door Tigchelaar, Westermann & Van der Zande, 2013). Effectieve feedback als kernstrategie van formatief evalueren Om de kracht van effectieve feedback als kernstrategie van formatief evalueren ten volle te benutten, worden de feedbackniveaus toegevoegd aan het model van Black en Wiliam. Dit levert een model op zoals dat in Figuur 3 (p. 60) is weergegeven. Dit gecombineerde model dient als theoretische basis voor de ontwikkeling van een vragenlijst waarmee inzicht kan worden verkregen in studentpercepties van de mate waarin de opleider formatief evalueren toepast. De aspecten van formatief evalueren en de feedbackniveaus worden geoperationaliseerd vanuit het perspectief van de opleider. Aan studenten wordt gevraagd wat hun percepties zijn van de mate waarin hun opleiders a) genoemde aspecten zelf toepassen (opleidersfeedback), b) stimuleren dat studenten die bij elkaar toepassen (peerfeedback) en c) stimuleren dat studenten ze zelf toepassen (self-assessment). Tijdschrift voor Lerarenopleiders, 38(1)

6 De volgende onderzoeksvraag staat centraal: In hoeverre kan een valide en betrouwbare vragenlijst geconstrueerd worden voor het meten van studentpercepties van de mate waarin formatief evalueren wordt toegepast door lerarenopleiders op een lerarenopleiding basisonderwijs? Kernprocessen Aspecten van feedback Feedbackniveaus Opleider 2. Bewijs van leren verzamelen door effectieve discussie, taken en activiteiten te ontwerpen Medestudenten Student Wat zijn de leerdoelen? Waar staat de lerende nu in zijn/haar leerproces ten opzichte van de leerdoelen? Welke stappen zijn nodig om het leerdoel te halen? Feed up Feed back Feed forward taakniveau procesniveau zelfregulatieniveau persoonlijk niveau 1. Leerdoelen en succescriteria verduidelijken en delen 1. Leerdoelen en succescriteria begrijpen en delen 1. Leerdoelen en succescriteria begrijpen taakniveau procesniveau zelfregulatieniveau taakniveau procesniveau zelfregulatieniveau 3. Feedback geven dat leren bevordert 4. Lerenden activeren om instructiebron voor een ander te zijn 5. Lerenden activeren om zichzelf te zien als eigenaar van hun eigen leerproces Figuur 3. Aspecten van formatief evalueren (Black & Wiliam, 2009) gecombineerd met niveaus van feedback (Hattie & Timperley, 2007) Methode Procedure/instrumentontwikkeling Ten behoeve van het construeren en valideren van de vragenlijst zijn in dit onderzoek de stappen gevolgd, die worden aanbevolen door Worthington en Whittaker (2006). De eerste stap bestond uit het construeren van items voor de verschillende componenten van het model (Figuur 3). Zoals 'De docent legt ons uit met welke stappen we ons werk kunnen verbeteren' als operationalisering van feed forward van de opleider op procesniveau. In stap 2 werden de items voorgelegd aan vier opleiders en een expert voor het bepalen van de inhoudsvaliditeit. Allen waren deskundig op het gebied van formatief evalueren door hun werkzaamheden voor het lectoraat 'Eigentijds beoordelen in het onderwijs' op Hogeschool de Kempel. Aan opleiders en expert werd gevraagd te beoordelen of de items een adequate operationalisering waren van de verschillende componenten van het model. Aan de opleiders werd ook feedback gevraagd op de taalkundige formulering van de items (Is het duidelijk en leesbaar voor studenten en sluiten de begrippen in de items aan bij de gehanteerde terminologie op de opleiding). De feedback van deze opleiders en expert leidde tot aanpassing en toevoeging van items. Zoals 'De docent legt ons uit met welke vervolgstappen we ons 60 Het meten van studentpercepties van formatief evalueren

7 werk kunnen verbeteren' als operationalisering van feed forward van de opleider op procesniveau. Vervolgens werden deze aangepaste versies voorgelegd aan drie leden van het lectoraat 'Eigentijds toetsen en beoordelen' van Fontys Lerarenopleiding Tilburg. Hen werd gevraagd elk item te classificeren naar aspect (feed up, feed back of feed forward), actor (opleider, medestudenten of student) en feedbackniveau (persoonlijk, taak, proces of zelfregulatie). Items waarover geen consensus bestond, werden op basis van de feedback van deze opleiders aangepast. Dit proces resulteerde uiteindelijk in een vragenlijst bestaande uit drie subvragenlijsten, namelijk Opleiderfeedback (27 items), Bevorderen peerfeedback (19 items) en Bevorderen self-assessment (19 items). In Tabel 1 staat de verdeling van het aantal items per aspect en niveau van feedback, uitgesplitst naar subvragenlijst. De deelvragenlijst Opleiderfeedback bevat de meeste items. Alleen de mate van feed back op persoonlijk niveau van de opleider wordt gemeten, bovendien is feed up door de opleider uitgebreider vanwege les en moduledoelen ('De docent legt uit wat de doelen zijn van de module'). Tabel 1 Verdeling van het items per subvragenlijst over de kenmerken feed up, feed back en feed forward en de niveaus persoonlijk (p), taak (t), proces (pr) en zelfregulatie (z) Deelvragenlijst Feed Up Feed Back Feed Forward Totaal t pr z p t pr z t pr z Opleiderfeedback Bevorderen peerfeedback Bevorderen self-assessment Elk item kreeg een vijfpunts Likertschaal (1=nooit, 2=beperkt, 3=regelmatig, 4=vaak, 5=altijd). De drie subvragenlijsten werden gedigitaliseerd en elk voorzien van een beknopte instructie. De bedoeling daarvan was de studenten bij het invullen te richten op één specifieke module met één opleider. In de instructie werd ook benadrukt dat het bij deze vragenlijst ging om de perceptie van de student en niet om zijn of haar opvattingen (concepties) over feedback in het algemeen. Stap 3 hield afname van de vragenlijst bij studenten in. Invullen inclusief instructie kostte de studenten gemiddeld ongeveer 20 minuten. Alle reguliere voltijdstudenten van Hogeschool de Kempel (N=666), verdeeld over 32 klassen werden benaderd met het verzoek de ontwikkelde vragenlijst in te vullen. Bij 26 klassen vond afname plaats na afloop van een les. Hiervoor werden zogeheten tutorbijeenkomsten gekozen, omdat die in de regel goed door studenten worden bezocht. In de zes overige klassen vulden de studenten de vragenlijst in op een eigen mobiel of laptop. In totaal vulden 555 studenten (83,33%) de vragenlijst volledig in. Van deze groep was 432 vrouw en 123 man. Tabel 2 geeft een overzicht van de verdeling man en vrouw, zowel totaal als uitgesplitst naar opleidingsjaar. Stap 4 bestond uit het analyseren van de data. Voor het bepalen van de constructvaliditeit werden achtereenvolgens exploratieve factoranalyses (EFA) en confirmatieve factoranalyses Tijdschrift voor Lerarenopleiders, 38(1)

8 (CFA) uitgevoerd. Een factoranalyse is een techniek om variabelen te reduceren tot een hanteerbaar aantal factoren die informatief zijn voor verdere analyse. De respondenten werden hiertoe at random ingedeeld in twee groepen. De scores van de eerste groep (N = 278) werden gebruikt voor de EFA's, de scores van de Tabel 2 Verdeling van het aantal mannen en vrouwen over de vier leerjaren Opleidingsjaar Vrouw Man Totaal tweede groep (N=277) voor de CFA's. Bij de EFA's werd via een iteratief proces van verwijderen van items gezocht naar eenduidige factorstructuren. De CFA's werden vervolgens uitgevoerd om de gevonden factorstructuren te valideren. Ten slotte werd op basis van de overgebleven items een betrouwbaarheidsanalyse uitgevoerd (Cronbach's alpha). Aan de hand hiervan werden de uiteindelijke schalen vastgesteld. In Figuur 4, 5 en 6 staan de overgebleven items weergegeven, die de uiteindelijke vragenlijst vormen. Resultaten Exploratieve Factoranalyse De scores op de afzonderlijke items bleken normaal verdeeld en de correlaties tussen de items waren voldoende met het oog op het uitvoeren van een EFA, met uitzondering van twee van de vier items op persoonlijk niveau ('De docent vertelt ons dat we een slimme klas zijn' en 'De docent geeft ons het gevoel dat we een domme klas zijn'). Deze items werden verwijderd. Na het proces van verwijderen van dubbel of niet ladende items en factoren met een eigenwaarde van 1.00 of lager werd voor de subvragenlijst 'Opleidersfeedback' een structuur met drie factoren verkregen die samen 58.36% van de variantie verklaarde. EFA op de subvragenlijsten 'Bevorderen peerfeedback' en 'Bevorderen self-assessment' leverden elk een structuur op met twee factoren met eigenwaarden hoger dan Deze verklaarden samen 62.91% respectievelijk 61.65% van de variantie. Items op taak- en procesniveau bleken niet onderscheidend genoeg, deze kwamen bij elkaar in 1 factor. En de items onderscheidden niet genoeg de theoretische begrippen feed up, feed back en feed forward. Feed up en feed back werden alleen in de factorstructuur van de subvragenlijst 'Opleidersfeedback' teruggevonden. Drie items vormden een factor 'Opleider feed up op taak- en procesniveau'. De ladingen varieerden van.85 tot.43. Zeven items van de vragenlijst 'Opleiderfeedback' laadden op een factor die 'Opleider feed back op taak- en procesniveau' werd genoemd. De ladingen varieerden van.86 tot.65. Zes items vormden samen de factor 'Opleider feedbackloop op zelfregulatieniveau' met ladingen die varieerden van.83 tot.69. Omdat in de data de theoretische begrippen feed up, feed back en feed forward bij elkaar kwamen, is deze factor de 'Feedbackloop' genoemd. EFA op de items van de subvragenlijst 'Bevorderen peerfeedback' leverde twee factoren op: 'Peerfeedbackloop op taak-en procesniveau' en 'Peerfeedbackloop op zelfregulatieniveau'. Deze factoren verklaarden samen 62.91% van de variantie. De ladingen varieerden van.91 tot.94 respectievelijk van.92 tot Het meten van studentpercepties van formatief evalueren

9 EFA op de items van de subvragenlijst 'Bevorderen self-assessment' leverde eveneens twee factoren op, namelijk 'Self-assessment feedbackloop op taaken procesniveau' en 'Self-assessment feedbackloop op zelfregulatieniveau'. Deze factoren verklaarden samen 61.65% van de variantie. De ladingen varieerden van.88 tot.66 respectievelijk van.87 tot.81. De factoren (verdeeld over drie subvragenlijsten) zijn weergegeven in Tabel 3 met het aantal items, de eigenwaarde en de cumulatieve percentages verklaarde variantie. Tabel 3 Overzicht aantal items, eigenwaarde en cumulatief percentage verklaarde variantie per factor (N= 278) Factoren per vragenlijst Items (n) Eigenwaarde Cumulatief % Opleiderfeedback Feed back op taak- en procesniveau Feed up op taak- en procesniveau Feedbackloop op zelfregulatieniveau ,44 Bevorderen peerfeedback Feedbackloop op taak- en procesniveau Feedbackloop op zelfregulatieniveau Bevorderen self-assessment Feedbackloop op taak- en procesniveau Feedbackloop op zelfregulatieniveau Confirmatieve Factoranalyse CFA op basis van de schalen van de subvragenlijst 'Opleiderfeedback' leidde tot samenvoeging van de factoren 'Opleider feed up op taak- en procesniveau' en 'Opleider feed back op taak- en procesniveau' tot de factor 'Opleider feedbackloop op taak- en procesniveau'. Voor de subvragenlijst 'Opleiderfeedback' bleek het model met de best passende fitmaten te bestaan uit 10 items verdeeld over twee factoren (zie Figuur 4). De gestandaardiseerde coëfficiënten varieren van.76 tot.52. Voor de subvragenlijst 'Bevorderen peerfeedback' bleek het meest optimale model te bestaan uit negen items, verdeeld over twee factoren (zie Figuur 5). De gestandaardiseerde coëfficienten variëren van.83 tot.60. Het model met de best passende fitmaten voor de subvragenlijst 'Bevorderen self-assessment' bleek te bestaan uit 10 items, verdeeld over 2 factoren (zie Figuur 6). De gestandaardiseerde coëfficienten variëren van.84 tot.66. Betrouwbaarheidsanalyse Op de items van de definitieve factoren werden ten slotte betrouwbaarheidsanalyses uitgevoerd. De resultaten staan in Tabel 4. De Cronbach's α s varieerden van.78 tot.88. Er hoefden geen items verwijderd te worden. Vervolgens werden de gemiddelden en standaarddeviaties van de schalen berekend. Deze beschrijvende statistieken worden eveneens in Tabel 4 vermeld. Uit deze gegevens blijkt dat de gemiddelden voor feedback op het niveau van de zelfregulatie (M = 2.48, 2.54 en 2.69) lager zijn dan die voor taak- en procesniveau (M = 3.11, 3.12 en 3.18). Tijdschrift voor Lerarenopleiders, 38(1)

10 Figuur 4. De factorstructuur gebaseerd op het best passende CFA model met de gestandaardiseerde coëfficiënten op de subvragenlijst 'Opleiderfeedback'. Figuur 5. De factorstructuur gebaseerd op het best passende CFA model met de gestandaardiseerde coëfficiënten op de subvragenlijst 'Bevorderen peerfeedback'.

11 Figuur 6. De factorstructuur gebaseerd op het best passende CFA model met de gestandaardiseerde coëfficiënten op de subvragenlijst 'Bevorderen self-assessment'. Tabel 4 Beschrijvende statistiek van de subschalen (5-puntsschalen) bij de gehele steekproef (N = 555) Subschalen per vragenlijst Items M SD α Feedback op taak- en procesniveau Feedbackloop op zelfregulatieniveau Bevorderen peerfeedback Feedbackloop op taak- en procesniveau Feedbackloop op zelfregulatieniveau Bevorderen self-assessment Feedbackloop op taak- en procesniveau Feedbackloop op zelfregulatieniveau

12 Conclusie en discussie Dit onderzoek heeft een theoretisch en empirisch gefundeerde vragenlijst, bestaande uit drie subvragenlijsten, opgeleverd waarmee studentpercepties gemeten kunnen worden over de mate waarin opleiders formatief evalueren toepassen. De vragenlijst is gebaseerd op de aspecten van formatief evalueren die door Black en Wiliam (2009) worden onderscheiden, namelijk feedback die door de opleider wordt gegeven (Opleidersfeedback), de wijze waarop de opleider peerfeedback dan wel self-assessment stimuleert (Bevorderen peerfeedback respectievelijk Bevorderen van self-assessment). Elke subvragenlijst bevat twee betrouwbare schalen, één voor feedback op taak- en procesniveau en één voor feedback op zelfregulatieniveau. Uit de resultaten van de CFA's blijkt dat de geformuleerde items geen onderscheid maken tussen de theoretische begrippen feed up, feed back en feed forward (Hattie & Timperley, 2007). Elke schaal bevat zowel feed up, feed back als feed forward items. Deze items horen blijkbaar bij elkaar; in combinatie met elkaar verwijzen ze naar feedbackloops. Met andere woorden, als opleiders in de ogen van de studenten vaak feedback geven, geven ze ook vaak feed up en feed forward. Naar dit gegeven wordt ook al door Hattie en Timperley (2007) verwezen. Zij stellen dat de grenzen tussen deze drie aspecten vaag zijn en niet lineair geïnterpreteerd Verschillen in mogen worden. Een mogelijke verklaring voor dit gegeven is het percepties kunnen worden achterhaald; optreden van het halo-effect, waarbij percepties van formatief zonodig kunnen er evalueren worden gegeneraliseerd naar andere evaluatieaspecten. acties aan worden Studenten beoordelen opleiders, waarover zij in het algemeen een verbonden. positieve mening hebben, positief op verschillende gedragsaspecten, ongeacht of zij deze gedragsaspecten feitelijk hebben waargenomen. Het kan ook zijn dat studenten daadwerkelijk het toepassen van feedbackloops door hun opleiders hebben waargenomen. Nader onderzoek zou hierover meer duidelijkheid kunnen verschaffen, bijvoorbeeld door studenten onmiddellijk na het afnemen van de vragenlijst te interviewen en hen te vragen concrete voorbeelden van waargenomen feedbackloops te beschrijven. Daarnaast zou door middel van observaties in kaart gebracht kunnen worden in welke mate opleiders daadwerkelijk feedbackloops toepassen. Een tweede bevinding is dat opleiders volgens studenten feedback op twee niveaus geven. In hun waarneming horen feedback op taak- en procesniveau bij elkaar. Studenten maken tussen deze twee niveaus geen onderscheid. Ze percipiëren feedback op zelfregulatieniveau daarentegen als van een andere orde. Een mogelijke verklaring voor deze bevinding is dat feedback op taak- en procesniveau in de perceptie van de student waarschijnlijk gerelateerd is aan de specifieke opdracht die zij bij het invullen van de vragenlijst in gedachten hadden. Feedback op taaken procesniveau helpt studenten specifieke opdrachten succesvol uit te voeren en hoort daarom in de perceptie van studenten bij elkaar. Feedback op zelfregulatieniveau daarentegen is algemener, hoeft niet gekoppeld te zijn aan een specifieke opdracht en wordt daarom wellicht als onderscheidend ervaren. Een andere verklaring kan zijn dat opleiders in de waarneming van studenten vooral feedback op taak- en procesniveau geven, en minder op zelfregulatieniveau. De gemiddelde scores op de afzonderlijke schalen (zie Tabel 4) lijken steun te geven aan deze verklaring. Deze bevinding sluit aan bij andere onderzoeken waar feedback op zelfregulatieniveau ook minder of niet zijn gevonden (Arts, Jaspers, & Joosten-ten Brinke, 2016, De Kleijn et al., 2013). Ook de veronderstelling dat opleiders meer feedback op taakniveau geven dan feedback 66 Het meten van studentpercepties van formatief evalueren

13 op zelfregulatieniveau zou verder onderzocht moeten worden. Dit onderzoek kent enkele beperkingen. Eén ervan is het retrospectieve karakter van de vragenlijst, waarbij beroep werd gedaan op het geheugen van studenten. Het is vooralsnog onduidelijk hoe betrouwbaar herinneringen van percepties zijn. Zoals hierboven is aangegeven kan sprake zijn geweest van een halo-effect. In vervolgonderzoek zou voor dit probleem het bevragen van studenten tijdens of onmiddellijk na het uitvoeren van een taak uitkomst kunnen bieden. Een andere beperking is dat bij de operationalisering van feedback op zelfregulatieniveau een sterke nadruk is gelegd op de planning van het werk. Andere aspecten van zelfregulatie zoals motivationele overtuigingen, monitoring en zelfevaluatie zijn hierdoor onderbelicht gebleven. Bij de verdere ontwikkeling van de vragenlijst zouden deze aspecten uitdrukkelijk meegenomen dienen te worden. Ten slotte kan ook een kritische kanttekening worden geplaatst bij de formulering van de selfassessment en de peer feedback items. Deze beginnen alle met de zinssnede: 'De docent zorgt ervoor dat.' De reden hiervoor was dat bij de formulering van de items voor het perspectief van de opleider is gekozen. In de praktijk echter kunnen studenten, zeker naarmate zij in de opleiding vorderen, dermate zelfregulerend leren, dat zij de aanwijzingen en suggesties van de docent niet (meer) nodig hebben. In hun perceptie zorgt de opleider er dan niet voor dat zij hun eigen werk of elkaars werk evalueren; ze doen het zelf. Dit zou betekenen dat een lage score op deze stellingen niet per definitie betekent dat de docent zijn manier van formatief evalueren zou moeten aanpassen. Deze mogelijkheid zou bij de verdere ontwikkeling van de vragenlijst meegenomen moeten worden. Ondanks de beperkingen van dit onderzoek geven de resultaten aanleiding te veronderstellen dat met het ontwikkelde instrument een bijdrage geleverd kan worden aan de professionele ontwikkeling van opleiders op het gebied van formatief evalueren. Opleiders kunnen aan de hand van de feedback die de studenten door middel van de vragenlijst geven zich beter bewust worden van de wijze waarop zij formatief evalueren toepassen. Verzamelde data kunnen, bijvoorbeeld in coachings- of intervisiebijeenkomsten door de opleider(s) zelf worden geïnterpreteerd. De eigen percepties van de opleider kunnen zo worden vergeleken met die van de studenten en aan eventuele verschillen daartussen kunnen acties worden verbonden. Referenties Arts, J., Jaspers, M., & Joosten-ten Brinke, D. (2016). A case study on written comments as a form of feedback in teacher education: so much to gain. European Journal of Teacher Education. doi.org/ / Bennett, R.E. (2011). Formative assessment: A critical review. Assessment in Education: Principles, Policy & Practice, 18, Birenbaum, M., Breuer, K., Cascallar, E., Dochy, F., Dori, Y., Ridgway, J., et al. (2006). A learning integrated assessment system. Educational Research Review, 1, doi: / j.edurev Tijdschrift voor Lerarenopleiders, 38(1) 2017 Black, P., & Wiliam, D. (2003). 'In praise of educational research': Formative assessment. British Educational Research Journal, 29, Black, P., & Wiliam, D. (1998a). Assessment and classroom learning. Assessment in Education: Princi-ples, Policy and Practice, 5, doi: / Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), Cowie, B. (2009). My teacher and my friends helped me learn. Student perceptions and 67

14 experiences of classroom assessment. In D.M. McInerney, G.T.L. Brown, & G.A.D. Liem (Eds.), Student perspectives on assessment: What students can tell us about assessment for learning (pp ). Scottsdale: Information Age Publishing, INC. De Kleijn, R.A.M., Mainhard, M.T., Meijer, P.C., Brekelmans, M., & Pilot, A. (2013). Master's thesis projects: Student perceptions of supervisor feedback. Assessment & Evaluation in Higher Education, 38(8), Dochy, F., Heylen, L., & Van de Mosselaer, H. (Red.) (2002). Assessment in krachtige leeromgevingen. Nieuwe toetsvormen en examinering in competentie ontwikkelend onderwijs en probleemgestuurd leren. Utrecht: Lemma. Dochy, F., Segers, M., & Sluijsmans, D.M.A. (1999). The use of self-, peer-, and coassessment in higher education: a review. Studies of Higher Education, 24(3), Hattie, J., & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), Meusen-Beekman, K.D. (2015). Bridging the gap between primary and secondary education. Fostering young adolescents' self-regulation by means of formative assessment. Dissertatie. Open Universiteit, Nederland. OCW (2013). Lerarenagenda De leraar maakt het verschil. Den Haag: Ministerie van Onderwijs, Cultuur en Wetenschappen. Schildkamp, K., Heitink, M., Van der Kleij, F., Hoogland, I., Dijkstra, A., Kippers, W., & Veldkamp, B. (2014). Voorwaarden voor effectieve formatieve toetsing. Een praktische review. Reviewstudie uitgevoerd in opdracht van en gesubsidieerd door NRO-PPO: Dossiernummer , eindrapport Enschede: Universiteit Twente. Sluijsmans, D. M. A., Joosten-ten Brinke, D., & Van der Vleuten, C. P. M. (2013). Toetsen met leerwaarde. Een reviewstudie naar de effectieve kenmerken van formatief toetsen. Den Haag: Nederlandse Organisatie voor Wetenschappelijk Onderzoek. Stiggins, R. (2007). Assessment Through the Student's Eyes. Educational Leadership, 64(8), Swennen, A., Korthagen, F., & Lunenburg, M. (2004). Congruent opleiden door lerarenopleiders. VELON Tijdschrift voor Lerarenopleiders 25(2), Vereniging Hogescholen (2015). Opleiden voor de toekomst. Lerarenopleiding Utrecht: Vereniging Hogescholen. Vrieling, E.M. (2012). Promoting self-regulated learning in primary teacher education. Dissertatie. Open Universiteit, Nederland. Wiliam, D. (2011). What is assessment for learning? Studies in Educational Evaluation, 37, doi: /j.stueduc Worthington, R.L., & Whittaker, T.A. (2006). Scale development research a content analysis and recommendations for best practices. The Counseling Psychologist, 34(6), Het meten van studentpercepties van formatief evalueren