Rapporten: een last op de schouders van leerlingen? Profielproduct 2 Roy Lagerburg 0418951 OPDRACHTGEVERS EN BEGELEIDERS Daphne van Manen en Hans Schoonheim, waarnemend rectoren Hyperion Lyceum Tolhuisweg 10, 1031 CL Amsterdam
INLEIDING Tussenrapporten geven leerlingen en docenten aan het einde van een periode inzicht in de voortgang van de leerlingen, maar brengen ook met zich mee dat er vlak voor het einde van de periode nog eens (summatief) getoetst wordt en er een piek in werkdruk ontstaat voor zowel docenten als leerlingen. Daarnaast wordt het continue leerproces verstoord en raken leerlingen in de tussenliggende periodes minder gemotiveerd. Leerlingen richten zich op deze toetsmomenten en daartussen valt de externe motivatie in de vorm van een prestatiedoel weg (Wolters et al, 1996; Woolfolk et al, 2013). Een meer formatieve manier van toetsen daagt leerlingen uit verder te kijken dan de stof en sluit beter aan bij het huidige niveau van de lerende omdat het meer gericht is op het verstrekken van feedback over het leerproces (Black & Wiliam, 1998A; Black & Wiliam, 1998B; Black & Wiliam, 2009; Sluijsmans et al, 2013). De doelstelling van dit profielproduct en het bijbehorende onderzoek is het stimuleren van een continu leerproces bij de leerlingen en het beter verdelen van de werkdruk voor docenten en leerlingen. Met de kennis van dit onderzoek kan een advies worden gegeven dat aansluit bij de visie 1 en het toetsbeleid 2 van het Hyperion Lyceum en ingaat op de kennisvraag: op welke manier kan het Hyperion Lyceum de (tussen)rapporten afschaffen, opdat een continu leerproces van de leerlingen wordt gestimuleerd en de werkdruk voor docenten en leerlingen beter wordt verdeeld? Het onderzoek heeft een product opgeleverd dat bestaat uit twee delen. Het eerste deel is een samenvatting van de belangrijkste uitkomsten van het onderzoek en de conclusies die daaruit getrokken kunnen worden. Deze conclusies kunnen worden opgedeeld in een deel over toetsing en een deel over rapporten, waarbij zowel naar docenten als leerlingen is gekeken. Het tweede deel van het product bestaat uit een aantal actiepunten die voortvloeien uit deze conclusies en een actieplan om deze actiepunten ook daadwerkelijk te implementeren op school. ONDERZOEKSMETHODE Onderzoeksinstrumenten De kennisvraag kan worden opgedeeld in een aantal deelvragen (Verhoeven, 2010): - Hoe kan formatief toetsen worden ingezet voor een continu leerproces? - Moet het aantal summatieve toetsen worden teruggedrongen? - Hoe ervaren docenten de werkdruk aan het einde van de periode? - Hoe ervaren leerlingen de werkdruk aan het einde van de periode? - Welke ervaringen zijn er met het afschaffen van (tussen)rapporten bij andere scholen? Om deze onderzoeksvragen te beantwoorden is gekozen voor de volgende onderzoeksinstrumenten (Verhoeven, 2010): - een klein literatuuronderzoek: hiermee wordt een theoretisch kader omtrent formatief toetsen geschetst; - uitgebreide (digitale) vragenlijsten over toetsing en rapporten voor zowel docenten als leerlingen (zie bijlage Vragenlijsten ): hiermee wordt een beeld van de meningen van docenten en leerlingen over werkdruk, toetsing en rapporten gevormd; - een inventarisatie van toetsing bij de sectie lichamelijke opvoeding: hiermee wordt een voorbeeld van een alternatieve manier van toetsen geschetst; - een inventarisatie van mogelijkheden op een vergelijkbare middelbare school, het Vathorst College in Amersfoort: hiermee wordt een voorbeeld van een alternatieve manier van toetsen geschetst. 1 http://hyperionlyceum.nl/schoolgids/2-even-voorstellen 2 Toetsbeleid Hyperion Lyceum
Onderzoeksgroep De vragenlijsten zijn bij zoveel mogelijk docenten en leerlingen afgenomen om een zo compleet mogelijk beeld te kunnen schetsen. Alle docenten zijn via mail en sommigen ook mondeling benaderd om de vragenlijst in te vullen. Alle mentoren zijn via mail en sommigen ook mondeling benaderd om de vragenlijst door hun mentorklas in te laten vullen. Dit heeft een respons van 28 (van de 43, 65%) docenten en 345 (van de 498, 69%) leerlingen opgeleverd. Deze respons is hoog genoeg voor een representatieve weergave van beide populaties. Voor de inventarisatie bij de sectie lichamelijke opvoeding heb ik één collega gesproken. Voor de inventarisatie bij een vergelijkbare middelbare school heb ik de rector van het Vathorst College gesproken. Data-analyse De vragenlijsten zijn aan alle docenten en leerlingen voorgelegd via Google Forms. Alle docenten en leerlingen hebben hun eigen schoolaccount op Google, waardoor zij gemakkelijk online de vragenlijst kunnen invullen en ook voorkomen kan worden dat mensen de vragenlijst twee keer invullen. Op de meeste vragen kon antwoord worden gegeven door middel van een Likertschaal van 1 ( helemaal mee oneens ) tot 5 ( helemaal mee eens ). De antwoorden komen in een online spreadsheet te staan en zijn vrijwel direct klaar om geanalyseerd te worden. De data is samen met Marjolein Zee van de UvA met behulp van SPSS geanalyseerd. Er is daarbij gekeken naar correlaties met de Pearson correlatiecoëfficiënt en er is een variantieanalyse gedaan, maar uiteindelijk is vooral beschrijvende statistiek gebruikt om de data te analyseren. Van de inventarisatiegesprekken met een collega van de sectie lichamelijke opvoeding en de rector van het Vathorst College zijn gespreksverslagen gemaakt. Daarna is gekeken naar raakvlakken met de uitkomsten van de vragenlijsten en mogelijke oplossingen voor problemen die daarin naar voren kwamen. Conclusies In het kort kan geconcludeerd worden dat de tussenrapporten niet afgeschaft hoeven te worden, omdat leerlingen er behoefte aan hebben voor hun voortgang. Wel kunnen de tussenrapporten en ouderavonden een meer formatief karakter krijgen, waarbij feedback op resultaten en werkhouding een belangrijke rol speelt. Voor de leerlingbesprekingen hebben docenten voldoende aan Magister en kunnen losgekoppeld worden van de periodes voor het verdelen van de werkdruk. Het continue leerproces wordt wel gestimuleerd door leerlingen een klein(er) aantal grote toetsen te geven en meer formatief te toetsen door (groeps)opdrachten en werkhouding te beoordelen. Afstemming en communicatie tussen secties over het afnemen van toetsen is een aandachtspunt. Consistentie Ik ben enigszins afgeweken van mijn plan van aanpak, zowel in de vraagstelling als in de beantwoording hiervan. De deelvragen waren voor een groot deel zo gesteld dat ze het probleem constateerden, maar niet hielpen om ook tot een oplossing te komen. De voorgenomen onderzoeksinstrumenten waren te groot in aantal en zouden teveel werk opleveren voor het beoogde resultaat. Interviews met leerlingen en docenten zouden alleen extra resultaat opleveren indien er dieper op de materie ingegaan moest worden, terwijl het streven was om een algemeen beeld te vormen van de mening van leerlingen en docenten. In overleg met mijn begeleider op de UvA en mijn opdrachtgevers/begeleiders op school is gekozen voor uitgebreide vragenlijsten voor leerlingen en docenten om het gewenste resultaat te verkrijgen. Deze vragenlijsten zijn ook meer oplossingsgericht ingestoken dan alleen het inventariseren van de werkdruk; er zijn vragen opgenomen over de behoeften wat betreft toetsing en rapporten. Deze afwijking heeft ervoor gezorgd dat er een veel completer beeld van de wensen is ontstaan. Bij het invullen van de vragenlijst bleken docenten van de sectie lichamelijke opvoeding moeite te hebben met de vraagstelling van een aantal vragen. Daarom is gekozen een inventarisatie te doen van de toetsing bij de sectie lichamelijke opvoeding en zo een voorbeeld van een alternatieve manier van toetsen te schetsen.
Ten slotte is er in de tijdsplanning ook afgeweken van het plan van aanpak. Dat kan enerzijds verklaard worden door mijn drukke programma (het traineeship Eerst de Klas: drie dagen lesgeven, één dag ILO en één dag leiderschapsprogramma) en anderzijds door het gebruik van een ander onderzoeksinstrument. Dit brengt sowieso een andere tijdsplanning met zich mee, maar daarnaast vergde het tijd om in een drukke periode op school zoveel mogelijk respondenten te krijgen. IMPLEMENTATIE Het product bestaat uit twee delen. Het eerste deel is een samenvatting van de belangrijkste uitkomsten van het onderzoek en de conclusies die daaruit getrokken kunnen worden. Deze conclusies kunnen worden opgedeeld in een deel over toetsing en een deel over rapporten, waarbij zowel naar docenten als leerlingen is gekeken. Het tweede deel van het product bestaat uit een aantal actiepunten die voortvloeien uit deze discussies en een actieplan om deze actiepunten ook daadwerkelijk te implementeren op school. Bij de presentatie van dit product worden de actiepunten met de schoolleiding besproken. Er wordt gekeken of zij zich hierin kunnen vinden en of er nog feedback is om het product te verbeteren. Met betrekking tot het plannen van toetsen, ouderavonden en leerlingbesprekingen zal gebrainstormd worden over een goede oplossing. De eventueel verbeterde versie van dit product wordt voorafgaand aan het nieuwe schooljaar tijdens een studiedag aan het docententeam gepresenteerd. Er zal een voorstel gedaan worden met betrekking tot bovenstaande actiepunten en er zal gekeken worden of alle secties zich hierin kunnen vinden. Er zou draagvlak moeten zijn vanuit de ingevulde vragenlijst, maar knelpunten kunnen besproken worden. Tijdens deze bijeenkomst zullen de docenten op een actieve manier met het advies aan de slag gaan om de implementatiekansen te maximaliseren. Er zal ruimte zijn voor de secties om zelf over formatieve toetsing na te denken. De hulp van de sectie lichamelijke opvoeding zal worden ingeschakeld om te vertellen hoe zij de werkhouding van leerlingen beoordelen en welk resultaat dit voor hen oplevert. De hulp van de schoolleiding zal worden ingeschakeld om te vertellen hoe zij dit plan komend jaar praktisch zullen inpassen. Bij de presentatie kwam ook nog naar voren dat het meer formatief toetsen en feedback geven verdere uitwerking verdient. Dit wordt als opdracht aan de onderwijswerkgroep meegegeven. REFLECTIE Ik ben tevreden over mijn onderzoek en het geleverde product. Het geeft inzicht in het standpunt van zowel docenten als leerlingen met betrekking tot de toetsing en rapporten, belangrijke aspecten op school. Daarnaast kan het een bijdrage leveren aan het verder verbeteren van deze punten. Ook de schoolleiding is blij met de resultaten en ziet aanknopingspunten om het product ook daadwerkelijk te gaan implementeren. Daarbij moet wel opgemerkt worden dat een aantal actiepunten zodanig complex is, dat zij verdere uitwerking vereisen. De onderwijswerkgroep krijgt volgend schooljaar de opdracht om deze punten verder uit te werken tot een goed plan dat geïmplementeerd kan worden. Over het proces ben ik gematigd tevreden. Door het eerder genoemde drukke programma dat ik volg en het gebruiken van een ander onderzoeksinstrument heb ik mijn tijdsplan terzijde moeten schuiven. Hoewel ik op de hoogte was van een aantal onrustige weken op school met vrije dagen en schoolkampen, heeft dit er toch voor gezorgd dat het afnemen van de vragenlijsten vertraging heeft opgelopen. Ook het verwerken van de resultaten en het opstellen van het product werden daarmee uitgesteld, waardoor de reguliere deadline niet gehaald kon worden en het product pas voor de herkansingsdeadline gereed was. Daar kan ik tegenover stellen dat ik continu goed contact heb gehouden met mijn opdrachtgevers en ze realistische oplossingen heb voorgelegd. Ook het actief benaderen van collega s voor het (laten) invullen van vragenlijsten heeft zijn vruchten afgeworpen.
BIJLAGEN Literatuur Black, P., & Wiliam, D. (1998A). Assessment and classroom learning. Assessment in education, 5(1), 7-74. Black, P., & Wiliam, D. (1998B). Inside the black box: Raising standards through classroom assessment. Granada Learning. Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment.educational Assessment, Evaluation and Accountability (formerly: Journal of Personnel Evaluation in Education), 21(1), 5-31. Sluijsmans, J. T., Brinke, D., & van der Vleuten, C. (2013). Toetsen met leerwaarde. Samenvatting van de reviewstudie naar de effectieve kenmerken van formatief toetsen. NWO-PROO. Verhoeven, N. (2010). Wat is onderzoek?: praktijkboek methoden en technieken voor het hoger onderwijs. Boom onderwijs. Wolters, C. A., Shirley, L. Y., & Pintrich, P. R. (1996). The relation between goal orientation and students' motivational beliefs and self-regulated learning. Learning and individual differences, 8(3), 211-238. Woolfolk, A., Hughes, M., Walkup, V. (2013). Psychology in Education. Second Edition. Harlow: Pearson. Onderzoeksinstrumenten Vragenlijsten
Leerlingvragenlijst toetsing en rapporten Door toetsen leer ik veel. In de laatste week van de periode krijg ik meer toetsen dan normaal. In een normale week krijg ik veel toetsen. In een normale week moet ik teveel aan school doen voor mijn gevoel. In een normale week krijg ik toetsen. In de laatste week van de periode krijg ik veel toetsen. In de laatste week van de periode moet ik teveel aan school doen voor mijn gevoel. In de laatste week van de periode krijg ik toetsen. In een normale week houden docenten rekening met andere toetsen. In de laatste week van de periode houden docenten rekening met andere toetsen. Ik wil graag één toetsweek aan het einde van iedere periode. Ik wil graag al mijn toetsen verspreid over het jaar. Ik wil graag een klein aantal grote toetsen. Ik wil graag een groot aantal kleine toetsen. Ik wil graag meer opdrachten die beoordeeld worden in Ik wil graag meer huiswerk dat beoordeeld wordt in Ik wil graag meer groepstoetsen. Ik wil graag dat mijn werkhouding ook beoordeeld wordt. Zonder toetsen zou ik net zoveel leren. Ik ben tevreden met de toetsing zoals hij nu is. Mijn rapportcijfer geeft goed aan wat ik weet of kan voor een vak. Ik vind de tussenrapporten belangrijk om mijn voortgang in de gaten te houden. Ik vind Magister voldoende om mijn voortgang in de gaten te houden. Ik wil graag minder tussenrapporten. Ik wil graag een maandelijkse uitdraai van Magister als tussenrapport. Ik vind de tussenrapporten belangrijk om thuis te kunnen laten zien. Ik ben tevreden met de rapporten zoals ze nu zijn. 1 2 3 4 5 Leerlingen Docenten
Docentvragenlijst toetsing en rapporten In een periode geef ik gemiddeld toetsen Door toetsen leert een leerling veel. In de laatste week van de periode geef ik een toets. Ik plan mijn toetsen op basis van de periodes. Ik plan mijn toetsen op basis van de hoofdstukindeling van het boek. Ik plan mijn toetsen op basis van de vakanties. Ik plan mijn toetsen op basis van de planning binnen de sectie. In een normale week hou ik rekening met toetsen van andere vakken. In de laatste week van de periode hou ik rekening met toetsen van andere vakken. Ik wil graag één toetsweek aan het einde van iedere periode. Ik wil graag al mijn toetsen verspreid over het jaar. Ik wil graag een klein aantal grote toetsen. Ik wil graag een groot aantal kleine toetsen. Ik wil graag opdrachten geven die beoordeeld worden in Ik wil graag huiswerk geven dat beoordeeld wordt in Ik wil graag groepstoetsen geven. Ik wil graag dat de werkhouding ook beoordeeld wordt. Zonder toetsen zou een leerling net zoveel leren. Het rapportcijfer geeft goed aan wat een leerling weet of kan voor een vak. Ik vind de tussenrapporten belangrijk voor leerlingen om hun voortgang in de gaten te houden. Ik vind Magister voldoende voor leerlingen om hun voortgang in de gaten te houden. Ik wil graag minder tussenrapporten. Ik wil graag een maandelijkse uitdraai van Magister als tussenrapport. Ik vind de tussenrapporten belangrijk voor de leerlingbesprekingen. Ik vind Magister voldoende voor de leerlingbesprekingen. Ik vind de tussenrapporten belangrijk voor de ouderavonden. Ik vind Magister voldoende voor de ouderavonden. Ik ben tevreden met de rapporten zoals ze nu zijn. 1 2 3 4 5