Toetsresultaten gebruiken als leermoment: werkt dat?

Transcriptie

1 1 Toetsresultaten gebruiken als leermoment: werkt dat? A. Ensink Maastricht University Teachers Academy Faculty of Humanities and Sciences Master Evidence Based Innovation in Teaching ID: Augustus 2011

2 2 Samenvatting: In deze studie wordt een experiment beschreven waarin de effecten werden onderzocht van een interventie met als doel niet-vakgebonden studievaardigheden van leerlingen in de onderbouw van het middelbaar onderwijs te versterken. De interventie richt zich op het leren reflecteren op eigen werk, op basis van systematische feedback op de voortgang van het leerproces en daaruit voortvloeiende resultaten. Het is de bedoeling dat de metacognitieve ontwikkeling van leerlingen wordt gestimuleerd en dat zij op deze manier meer zicht krijgen op hun capaciteiten waardoor zij hun leerproces beter kunnen sturen. De studie werd verricht op het Lorentz Lyceum Arnhem gedurende het schooljaar De onderzoekspopulatie bestond uit 4 groepen leerlingen in leerjaar 2 (N = 107) en de interventie werd gepleegd bij 5 vakken. De onderzoeksvraag was: Wat is het effect van voortgangsfeedback op toetsen voor leeruitkomsten? Voor één vak in één groep werd een significant resultaat gevonden. Dat betekent dat de interventie nog niet heeft geleid tot het gewenste effect. Naar aanleiding van de resultaten van het onderzoek luidt de aanbeveling voor docenten om leerlingen meer effectieve feedback te geven en om het stimuleren van metacognitieve vaardigheden in te bedden in hun dagelijkse lespraktijk en daarmee het leerproces van leerlingen te bevorderen.

3 3 Inhoudsopgave Pagina 1. Inleiding 4 2. Schoolontwikkeling Voortgangsfeedback, metacognitie en leeruitkomsten Interventie en onderzoeksvraag Interventie Onderzoeksvraag Onderzoeksmethode Design Variabelen Uitgangspositie Resultaten Toetsscores Verschilscores Feedbackscores Voorkeurvakken Conclusie Discussie Aanbevelingen.. 26 Referenties. 28 Bijlage 1 Tabellen uitgangspositie Bijlage 2 Tabellen voormeting Bijlage 3 Tabellen nameting Bijlage 4 Feedbackscores Bijlage 5 Vragenlijsten Bijlage 6 Instructies voor docenten

4 4 1. Inleiding Het Lorentz Lyceum in Arnhem wil in de komende jaren de leeropbrengsten van haar leerlingen verbeteren. Om deze doelstelling te bereiken wordt veel aandacht geschonken aan de ontwikkeling van het onderwijs. In deze studie wordt een experiment beschreven waarin de effecten werden onderzocht van een interventie met als doel nietvakgebonden studievaardigheden van leerlingen in de onderbouw te versterken. De onderzochte interventie is specifiek gericht op het leren reflecteren op eigen werk, aangestuurd door systematische feedback op voortgang van het leerproces en daaruit voortvloeiende resultaten. Voortgangsfeedback is een ruim begrip. In deze studie wordt het opgevat als alle activiteiten van docenten en van leerlingen die informatie opleveren op grond waarvan zij het leerproces aanpassen zodat de nieuwe onderwijsleersituatie beter aansluit bij de leervragen van de leerlingen (Black & William, 1998, p.2). In deze opvatting hebben dus zowel docenten als leerlingen een sturende rol in het leerproces. Hattie en Timperley (2007) bespreken verschillende informatiebronnen in dit verband: docenten die corrigerende informatie geven, medeleerlingen die andere strategieën aandragen en de leerlingen zelf die door het raadplegen van studiemateriaal hun eigen vorderingen kunnen toetsen. Deze studie werd verricht gedurende het schooljaar In paragraaf 2 wordt de schoolontwikkeling beschreven die de aanleiding is geweest voor de interventie. In de derde paragraaf wordt de theoretische inbedding van de interventie nader beschreven en wordt aandacht geschonken aan het verband tussen metacognitie, voortgangsfeedback en het door de school ontwikkelde hulpmiddel voor het genereren van feedback. In paragraaf 4 wordt dit hulpmiddel de feedbackbalk in de context van het gebruik tijdens het leerproces toegelicht. Aansluitend hierop worden de onderzoeksvragen gepresenteerd waarmee de effecten werden onderzocht. De methode van onderzoek wordt beschreven in paragraaf 5 en de resultaten in paragraaf 6. In paragraaf 7 volgen de conclusies. Paragraaf 8, de discussie, bevat een terugblik en

5 5 kritische weging van de gepresenteerde resultaten, als inleiding op aanbevelingen, paragraaf Schoolontwikkeling In 2008 voerde de onderwijsinspectie een kwaliteitsonderzoek uit op het Lorentz Lyceum. Daarbij werd vastgesteld dat leerlingen actiever bij de lessen moeten worden betrokken, en dat docenten een verband moeten leggen tussen de leerprestaties van leerlingen en hun didactisch handelen. Ook moeten docenten hun leeromgeving beter afstemmen op verschillen in ontwikkelingsniveau tussen leerlingen in een klas. In haar rapport concludeerde de onderwijsinspectie verder dat het rendement van de school moet verbeteren (Inspectie van het Onderwijs, 2010). Ter illustratie zijn in tabel 1 (p.6) de schoolopbrengsten van het Lorentz Lyceum vergeleken met de landelijke resultaten voor 2008, 2009 en Het rendement van de onderbouw is gemeten als het percentage van leerlingen in leerjaar 3 zonder zittenblijven, het rendement bovenbouw als percentage van leerlingen van 3 e leerjaar naar diploma zonder zittenblijven. In 2008 bleven de opbrengsten in de bovenbouw met 38% voor de HAVO en 57% voor het VWO achter bij de landelijke situatie. In 2009 bleef het rendement van de gehele school achter en in 2010 bleven HAVO (91 % onderbouw, 53% bovenbouw) en VMBO(g)t (82% onderbouw, 81% bovenbouw) nog steeds achter bij de landelijke resultaten. Om het rendement te verbeteren en aan de bezwaren van de inspectie tegemoet te komen ging de school op zoek naar hulpmiddelen die het didactisch handelen van docenten kunnen ondersteunen en de leeruitkomsten van de leerlingen bevorderen. Een werkgroep van docenten richtte zich daarbij op het al eerder door de school zelf geconstateerde aansluitingsprobleem tussen onderbouw en bovenbouw. Deze werkgroep constateerde dat leerlingen in de onderbouw beter zouden kunnen worden voorbereid op studievaardigheden die ze voor het zelfstandig werken in de bovenbouw nodig hebben.

6 6 Jaar TABEL 1: Opbrengsten per afdeling van het Lorentz Lyceum Arnhem (Lo) versus Landelijke resultaten (NL) % leerlingen in leerjaar 3 zonder zittenblijven % leerlingen van 3 e leerjaar naar diploma zonder zittenblijven VMBO (g)t HAVO VWO VMBO (g)t HAVO VWO Lo NL Lo NL Lo NL Lo NL Lo NL Lo NL Lo: Resultaten Lorentz Lyceum Arnhem NL: Landelijke resultaten Dat was voor de school aanleiding voor een interventie gericht op het stimuleren van niet-vakgebonden studievaardigheden van leerlingen in de onderbouw. Het leren reflecteren en het gericht werken met voortgangsfeedback op gemaakte toetsen zijn twee vaardigheden die daarbij centraal staan. Daartoe is een feedbackbalk geïntroduceerd. De balk wordt gebruikt bij schriftelijke toetsen en staat bovenaan het proefwerkpapier. Het is de bedoeling om met dit hulpmiddel feedback te genereren die leerlingen in staat stelt te reflecteren op hun werk en waarmee een individuele leerling zicht krijgt op wat hij kan doen om zijn leeruitkomsten te verbeteren. De school beoogt met deze interventie leerlingen meer bewust te maken van het eigen leerproces zodat zij daar gaandeweg meer controle over krijgen. Met dit streven levert de school een bijdrage aan de metacognitieve ontwikkeling van de leerlingen. 1 Verkregen op 5 juli 2011 van Verkregen op 5 juli 2011 van Verkregen op 5 juli 2011 van 010

7 7 3. Metacognitie, voortgangsfeedback en leeruitkomsten. Wanneer iemand inzicht wil krijgen in eigen leerprocessen zijn er volgens Flavell (1979) drie aandachtspunten waar hij op moet letten. Dit zijn (a) leerdoelen, (b) leerstrategieën en (c) leeruitkomsten. Dezelfde auteur maakt onderscheid tussen metacognitieve kennis en metacognitieve ervaringen. Bij metacognitieve kennis gaat het erom of iemand weet of bepaalde leerdoelen zijn bereikt, welke informatie en middelen hij daarvoor nodig heeft en wat de beste aanpak is. Metacognitieve ervaringen hebben betrekking op het proces. Iemand weet welke vooruitgang is er geboekt en wat de vervolgstappen kunnen zijn op weg naar het beoogde doel. Kennisverwerving over de eigen leerprocessen betekent dus ook in dat iemand zicht krijgt op zijn eigen capaciteiten. Welke kennis iemand al heeft, wat hij nog wil en kan leren, hoe hij dat kan aanpakken, waar hij problemen verwacht in het leerproces en wat de beste manier is om deze op te lossen. In studies naar feedback werd een positief effect op leeruitkomsten gemeten. Hattie en Timperley (2007) verwijzen naar 12 meta-analyses, gebaseerd op 196 studies waarin het effect werd gemeten van feedback in klassensituaties. De gemiddelde effectgrootte was.79. Echter, niet alle vormen van feedback bleken even succesvol. Leerlingen blijken in hoge mate gebaat bij feedback direct gerelateerd aan een opdracht (effectgrootte 1.10). Effectieve feedback geeft volgens deze auteurs antwoord op 3 vragen: (a) wat is het doel dat ik moet bereiken?, (b) hoe ver ben ik al op weg naar dit doel?, en (c) wat is mijn volgende stap? Het antwoord op deze vragen helpt de leerling in zijn metacognitieve ontwikkeling en geeft zicht op de eigen capaciteiten. Prijzen (.14), belonen (.31), of straffen (.20) bleken veel minder effectief omdat zulke feedback weinig informatie oplevert om de 3 genoemde vragen te beantwoorden. Davies et al. (2004) voerden een experiment uit op drie middelbare scholen (N = 128). De interventie was gericht op het bevorderen van inzicht bij leerlingen in wat er van hen verwacht wordt bij een toets en in hoeverre hun werk aan de gestelde eisen voldoet. De leerlingen in de interventiegroep kregen de beoordelingscriteria op basis waarvan zij

8 8 de kwaliteit van hun werk konden schatten. Na een periode van vier maanden haalden deze leerlingen gemiddeld hogere cijfers voor de eindtoetsen dan de leerlingen in de controlegroep die hun eigen werk niet hadden kunnen beoordelen met de vastgestelde criteria. Andrade, Du en Wang (2008) beschrijven een experiment met 116 lagere school leerlingen. Aan de hand van een voorbeeldopstel stelden de leerlingen in de interventiegroep een lijst van criteria op waaraan een goed opstel moet voldoen. Hun eisen correspondeerden met de criteria zoals de docent die ook had opgesteld en ze vormden de basis voor een beoordelingsrubriek. Rubrieken bevatten concrete informatie over beoordelingscriteria, veel voorkomende fouten en hoe die te voorkomen. De leerlingen in de interventiegroep kregen de gelegenheid om het concept van hun opstel te beoordelen met gebruik van de rubriek. Leerlingen in de controlegroep hadden geen rubriek. De uitkomsten van het onderzoek gaven aan dat leerlingen in de interventiegroep hogere cijfers haalden voor hun opstel. Empirische studies door Van der Stel en Veenman (2009) en Vandergrift en Tafaghodtari (2010) tonen aan dat aandacht voor de ontwikkeling van metacognitieve vaardigheden ook op zich een positieve bijdrage kan leveren aan de leeruitkomsten. In een 2-jarige longitudinale studie naar het proces van metacognitieve ontwikkeling volgden Van der Stel en Veenman (2009) leerlingen in de eerste en tweede klas van de middelbare school (N = 32). De leerlingen in de interventiegroep werden uitgenodigd om hardop te denken bij het beantwoorden van vragen bij geschiedenis en wiskunde. De analyse van de transcripties wijst op een toename van de cognitieve vaardigheden. De verwachting dat metacognitieve vaardigheden samenhangen met leeftijd kwam uit. Deze toename was groter bij de 14 jarigen dan bij de 13 jarigen maar werd niet alleen verklaard door de intellectuele groei van de leerlingen. De uitkomsten van deze studie laten ook zien dat ontwikkeling van metacognitieve vaardigheden een positief effect had op de leeruitkomsten. De auteurs maken wel aantekening dat het een kleine steekproef betreft wat de generaliseerbaarheid van de uitkomsten beperkt.

9 9 Vandergrift en Tafaghodtari (2010) voerden een experiment uit onder 106 studenten om het effect te onderzoeken van specifieke aandacht voor leerstrategieën tijdens de voorbereiding op luistertoetsen in een vreemde taal. De interventie duurde dertien weken. Uitkomst van het experiment was dat studenten die bewust hadden gewerkt met specifieke strategieën ter bevordering van de woordenschat en het tekstbegrip significant beter scoorden op de luistertoets. Ook de verwachting dat de minder sterke studenten meer vooruitgang zouden boeken in hun luistervaardigheden kwam uit. Het aantal beschrijvingen van experimenteel onderzoek naar het effect van feedback voor de metacognitieve ontwikkeling van leerlingen in het middelbaar onderwijs is beperkt. Tabel 2 (p. 10) geeft een overzicht van de raakvlakken tussen de besproken literatuur en deze studie. Uit de studies naar het effect van voortgangsfeedback komen een aantal kenmerken naar voren die bijdragen aan het verbeteren van leeruitkomsten. Tabel 3 geeft een overzicht van deze kenmerken van feedback. TABEL 3: Kenmerken van effectieve voortgangsfeedback 1. Doelstellingen zijn helder geformuleerd met betrekking tot wat leerlingen moeten kennen en kunnen. 2. Leerlingen zijn bekend met en begrijpen de toetsingscriteria: ze weten waarop zij worden beoordeeld. 3. Feedback informeert leerlingen over wat al goed gaat en wat moet verbeteren en waarom. 4. Feedback informeert leerlingen hoe zich te verbeteren en stelt de leerling en de docent in staat het leerproces ter verbetering aan te passen. Feedback met deze kenmerken wordt in dit paper gedefinieerd als effectieve voortgangsfeedback. Het levert leerlingen informatie waarmee zij kunnen nagaan in

10 10 TABEL 2: Raakvlakken tussen bestudeerde literatuur en deze studie Onafhankelijke variabele Afhankelijke variabele Literatuur Deze studie Voortgangsfeedback Leeruitkomsten Metacognitieve ontwikkeling Hattie en Timperley (2007) Review van empirische studies naar het effect van feedback op leeruitkomsten Andrade, Du en Wang (2008) Empirische studie naar het effect van het gebruik van voortgangsfeedback in de vorm van een rubriek met beoordelingscriteria, veel voorkomende fouten en strategieën hoe die te voorkomen Davies et al. (2004) Empirische studie van interventie ter bevordering van inzicht van leerlingen in beoordelingscriteria en eigen capaciteiten Kenmerken van effectieve feedback Inzicht van leerlingen in eigen capaciteiten Flavell (1979) Explorerend onderzoek naar aandachtspunten voor inzicht in eigen leerprocessen Van der Stel en Veenman (2009) Empirische studie naar het proces van metacognitieve ontwikkeling leerlingen, hoe deze samenhangt met leeftijd en intellectuele groei en bijdraagt aan leeruitkomsten. Vandergrift en Tafaghodtari (2010) Empirische studie naar het effect van contextgebonden aandacht voor leerstrategieën op leeruitkomsten. Bijdrage van cognitieve ontwikkeling aan leeruitkomsten

11 11 hoeverre ze gestelde doelen hebben bereikt en of ze een juiste aanpak hebben gekozen. Hiermee kan een leerling leren reflecteren op zijn eigen werk en bepalen wat hij kan doen om zijn leeruitkomsten te verbeteren. Met het ontwikkelen van deze vaardigheid worden leerlingen naar verwacht beter voorbereid op het zelfstandig werken in de bovenbouw en wordt de aansluiting onderbouw bovenbouw beter gewaarborgd. Ook is de verwachting dat leerlingen zich met de ontwikkeling van deze vaardigheid beter op toetsen kunnen voorbereiden wat zal leiden tot hogere toetsscores. Figuur 1 geeft een schematisch overzicht van de samenhang tussen metacognitie, voortgangsfeedback en leeruitkomsten. Figuur 1: Metacognitie en voortgangsfeedback Metacognitie Leerdoel Leerstrategie Toetsingscriteria Wat gaat goed en wat moet beter? Hoe kan het beter? Voortgangsfeedback Leeruitkomst

12 12 4. Interventie en de onderzoeksvraag 4.1 Interventie De feedbackbalk is het instrument dat de school heeft ontwikkeld om voortgangsfeedback te genereren waarmee leerlingen hun voordeel kunnen doen. De balk staat bovenaan het proefwerkpapier dat wordt gebruikt bij alle schriftelijke overhoringen en proefwerken. Bij het invullen van de balk volgen leerlingen en vakdocenten een aantal stappen. Deze worden hieronder toegelicht aan de hand van figuur 2. Figuur 2: De feedbackbalk Het geschat cijfer wordt ingevuld voorafgaand aan het maken van een toets, het cijfer nadat de toets is beoordeeld (Vak 1). Docenten geven dan ook feedback (Vak 2). De vakdocent is verplicht feedback te geven als een leerling een onvoldoende heeft gescoord. In andere gevallen is het gewenst. De vakdocent beoordeelt bij het nakijken van de toets ook de vaardigheden formuleren en leesvaardigheid en bij de klassikale bespreking krijgen de leerlingen de opdracht om te reflecteren op de studievaardigheden die ze hebben gebruikt in de voorbereiding op de toets. Het oordeel wordt uitgedrukt met

13 13 + of (Vak 3). Bij de bespreking vullen de leerlingen ook het aantal fouten per categorie in. De vakdocent kan hierbij aanwijzingen geven en tekent voor gezien (Vak4). Na het bespreken van de toets kan de vakdocent de leerling helpen bij het opstellen van het stappenplan ter verbetering (Vak 5). 4.2 Onderzoeksvraag Deze interventie leidt tot de volgende onderzoeksvraag: Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten? De vraag is opgesplitst in de volgende deelvragen: 1. Leidt gestructureerde en systematische voortgangsfeedback op de resultaten van toetsen tot betere toekomstige leerresultaten? 2. Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau? 3. Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten? 4. Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces? 5. Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen? 5. De onderzoeksmethode 5.1 Design Het Lorentz Lyceum wil de feedbackbalk gefaseerd invoeren. In het schooljaar is de balk geïntroduceerd in alle eerste klassen. Bij de start van elk nieuw schooljaar zal het gebruik steeds verder worden uitgebreid naar de volgende jaarlaag. Om een quasi-experimentele opzet van het onderzoek te realiseren is dit gedurende het eerste jaar waarin de balk op school werd gebruikt uitgevoerd onder leerlingen van leerjaar 2, tweetalig HAVO-VWO (N = 107). De interventie vond plaats bij vier vakken met

14 14 docenten die lessen verzorgden in zowel de interventiegroep als in de controlegroep. Alle 107 leerlingen in leerjaar 2 van de tweetalige afdeling in de school waren bij het onderzoek betrokken. Het onderzoek is uitgevoerd voor 3 condities. Er zaten 53 leerlingen in conditie 1 en 2. Voor conditie 1 (vakken B en E) duurde het experiment bijna het hele schooljaar. Voor conditie 2 (vakken A en D) liep het experiment van oktober tot december 2010 en voor conditie 3 (N = 54; vakken A, B en C) van februari tot juni Tabel 3 geeft de OXO notatie voor het experiment. TABEL 3: OXO notatie onderzoek effect feedbackbalk Conditie 1 Conditie 2 Conditie 3 Vakken B en E Voormeting Interventie Nameting Interventie O A X O B Controle O A O B Vakken A en D Tijdpad Oktober 2010 Juni 2011 Interventie O A X O C Vakken A, B en C Controle O A O C Tijdpad Oktober 2010 December 2010 Interventie O D X O E Controle O D O E Tijdpad Februari 2011 Juni 2011 O A : gemiddelde cijfer voor de eerste toets fase 1 vakken A, B, D, E X : werken met de feedbackbalk O B : gemiddelde cijfer voor de laatste toets fase 1 vakken B en E O C : gemiddelde cijfer voor de laatste toets fase 1 A en D O D : gemiddelde cijfer voor de eerste toets fase 2 vakken A, B en C O E : gemiddelde cijfer voor de laatste toets fase 2 vakken A, B en C

15 Variabelen Tabel 4 geeft een overzicht van de variabelen. Met de toetsscore wordt gemeten of de interventie de beoogde verbetering in leeruitkomsten oplevert. De verschilscore tussen het geschatte en behaalde cijfer meet of de leerlingen beter zicht krijgen op hun eigen niveau. Er is gemeten of leerlingen die langer met de feedbackbalk werken beter zicht krijgen op hun eigen capaciteiten. De feedbackvragenlijst (bijlage 5) meet of leerlingen zien dat ze met voortgangsfeedback op hun toetsen het eigen leerproces beter kunnen sturen. Deze lijst is opgesteld met behulp van de kenmerken van effectieve feedback uit tabel 3 (p. 9). Aan de hand van Clement en Laga (2005) zijn deze kenmerken vertaald naar concrete vragen voor leerlingen. Leerlingen gaven hun waardering voor de feedbackopmerkingen op een 5-puntschaal (1 = laagste tot 5 = hoogste). De vragenlijst werd getest in een klas in leerjaar 3 (N = 23) van het Lorentz Lyceum (Cronbach =.844). Leerlingen konden in de vragenlijst ook aangeven wat hun voorkeurvakken zijn, dat wil zeggen in welke vakken ze vinden dat de feedback van de docent hen het beste helpt met leren. Met deze vraag is gemeten of er een sterkere voorkeur is voor vakken waarin werd gewerkt met de feedbackbalk. TABEL 4: Variabelen Onafhankelijk Afhankelijk Voortgangsfeedback Toetsscore Verschilscore Tijd Feedbackscore Voorkeurvakken

16 Uitgangspositie De leerlingen in conditie 1 en 2 hadden in groep 8 van de basisschool een significant lagere score op de Cito-toets dan de leerlingen in conditie 3 (bijlage 1 tabel 8). De groep met de lagere Cito-scores zou meer baat kunnen hebben bij de interventie en daarom duurde de interventie voor hen langer. In elke van de drie condities hebben de leerlingen in de interventiegroep gewerkt met de feedbackbalk. De controlegroep heeft op de gebruikelijke manier gewerkt waarbij de docent het werk van de leerlingen nakijkt en tijdens de klassikale bespreking van de toetsuitkomsten krijgen de leerlingen een mondelinge toelichting bij de antwoorden op de toetsvragen. Samen met de toetsscore is dit de feedback in de controlegroep. De vergelijkbaarheid van de interventiegroep met de controlegroep werd getoetst op basis van rapportcijfers op het meest recente rapport voor de start van het onderzoek. Er bleek sprake van een significant verschil voor vak D (bijlage 1 tabel 9 en 10). Ook in de voormeting werd voor vak D een significant verschil in de gemiddelde toetsscores gemeten. Daarom is besloten dit vak buiten de analyse van het onderzoek te houden. Voor de overige vakken waren de toetsscores en verschilscores voor de interventie- en de controlegroepen in de voormeting vergelijkbaar (bijlage 2 tabel 11, 12, 13 en 14). Alle betrokken docenten kregen een schriftelijke instructie over hun rol in het proces van dataverzameling en het belang van betrouwbaarheid. Punten van aandacht waren (a) het voorkomen van uitwisseling tussen leerlingen in de interventiegroep en de controlegroep, (b) gebruik van proefwerkpapier met feedbackbalk in de interventiegroep, en traditioneel proefwerkpapier in de controlegroep, (c) de noodzaak om leerlingen in de controlegroep wel een geschat cijfer te laten opschrijven in de voor- en nameting, (d) het belang van uniformiteit in de beoordeling van toetsen, en (e) de noodzaak van een vergelijkbare moeilijkheidsgraad van toetsen in voor- en nameting.

17 17 6. Resultaten Niet alle data voldoen aan de assumpties voor parametrische toetsing. Verschillen tussen de groepen zijn, waar mogelijk getoetst met t-toetsen. Indien de data niet voldeden aan de parametrische assumpties is de Mann-Whitney toets gebruikt. 6.1 Toetsscores Leidt gestructureerde en systematische voortgangsfeedback op de resultaten van toetsen tot betere toekomstige leerresultaten? De toetsscores van de interventiegroep verschillen significant voor vak E in conditie 1 (t = -4.94, p =.000, M interventie = 6.56, SD = 1.28, M controle = 4.64, SD = 1.21) (tabel 5) en voor vak B in conditie 3 (U = , p =.361, Mdn interventie = 5.50, Mdn controle = 7.00) (tabel 6 p. 18). TABEL 5: t-toets Nameting toetsscores Controlegroep Interventiegroep M SD SE M SD SE t p Conditie 1 Vak E ***.000 Conditie 2 Vak A Conditie 3 Vak A Vak C M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid *** p < 0.001

18 18 TABEL 6: Mann-Whitney toets Nameting toetsscores Conditie 1 Conditie 3 Controlegroep Interventiegroep Mdn Mdn U z p Vak B Vak B * Mnd = Mediaan U = toetseenheid z = z-score *p < Verschilscores Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau? Om deze vraag te beantwoorden werden de verschilscores tussen geschatte en behaalde cijfers vergeleken. Deze waren niet verschillend voor de interventiegroepen en de controlegroepen met uitzondering van Vak B in conditie 3 (U = , p =.022, Mdn interventie = 2.00, Mdn controle = 1.00) (tabel 7). TABEL 7: Mann-Whitney toets Nameting verschilscores Conditie 2 Controlegroep Interventiegroep Mdn Mdn U z p Vak A Conditie 3 Vak A Vak B * Mnd = Mediaan U = toetseenheid z = z-score *p <.05

19 19 Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten? Het significante resultaat in de verschilscores voor vak B in conditie 3 betekent dat de langere duur van de interventie geen effect op heeft geleverd (tabel 7 p. 18). 6.3 Feedbackscores Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces? De gemiddelde score voor de interventiegroep en de controlegroep bleek gelijk (2,86) (bijlage 4 tabel 16). De significant positieve relatie tussen de feedbackscores van de leerlingen in beide groepen (r = 0.946, p =.000) betekent dat de interventie geen rol speelt bij de perceptie van leerlingen over de sturing van hun leerproces. Alleen voor vraag 5 werd een significant verschil gevonden. Dit is de vraag waarin leerlingen aangeven te weten waar ze de juiste antwoorden kunnen vinden op vragen die ze hebben gemist op een toets. Hier blijken echter de leerlingen in de controlegroep hoger te scoren (U =964,000, p =.432, interventie Mdn = 2.00, controle Mdn = 3.00 ) (bijlage 4 tabel 17). 6.4 Voorkeurvakken Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen? Leerlingen in de interventiegroep noemen vakken waarin werd gewerkt met de feedbackbalk iets vaker als vakken waarin ze denken beter te kunnen leren dan leerlingen in de controlegroep (interventiegroep 40.0%; controlegroep 33.6%) (bijlage 4 tabel 19). Figuur 3 (p. 20) geeft het overzicht van de deelvragen, de variabelen en uitkomsten.

20 20 Figuur 3: Overzicht onderzoeksvragen en resultaten 1. Leidt gestructureerde en systematische voortgangsfeedback op 6. de Resultaten resultaten van toetsen tot betere toekomstige leerresultaten? Vergelijking toetsscores interventie- en controlegroep Significant verschil vak E conditie 1 en vak B conditie 3 Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten? 2. Krijgen leerlingen door voortgangsfeedback beter zicht op hun eigen niveau? 3. Is er bij langdurige systematische voortgangsfeedback sprake van verbetering van inzicht in eigen capaciteiten? Vergelijking verschilscores interventie- en controlegroep Vergelijking verschilscores conditie 1 en conditie 2-3 Significant verschil vak B conditie 3 Geen significant verschil 4. Zien leerlingen dat voortgangsfeedback op toetsen een bijdrage levert aan de sturing van het eigen leerproces? Vergelijking feedbackscore interventie- en controlegroep Geen significant verschil 5. Vinden leerlingen dat ze beter leren in vakken waarvoor ze vaker voortgangsfeedback krijgen? Vergelijking voorkeurvakken interventie- en controlegroep Geen significant verschil

21 21 Omdat de gemiddelde feedbackscore voor beide groepen gelijk bleek, rees de vraag of het gegeven dat dezelfde docenten in beide groepen feedback gaven hier van invloed zou zijn geweest ondanks de instructie aan docenten om de condities in interventie- en controlegroep gelijk te houden met uitzondering van de feedbackbalk. Om dit te toetsen is de vragenlijst ook uitgezet onder alle leerlingen van leerjaar 1 en 2. Leerlingen van leerjaar 1, die sinds september 2010 werken met de feedbackbalk werden beschouwd als interventiegroep (N = 204, respons = 180), leerlingen uit leerjaar 2 vormden de controlegroep (N = 150, respons = 126). De leerlingen uit klas 2 in de tweetalige afdeling die al bij het experiment waren betrokken waren uitgezonderd van deze meting. De uitkomst voor leerjaar 1 en leerjaar 2 bevestigt de trend van het experiment (bijlage 4 tabel 18). Ook hier blijkt dat de interventie in leerjaar 1 geen rol speelt bij de perceptie van leerlingen over de sturing van hun leerproces(m interventie = 3.01, M controle = 2.41, r = 0.913, p =.000). De uitkomsten van de feedbackscores zijn, afgezien van een paar uitzonderingen niet significant. Onderzocht werd in hoeverre er sprake was van effectieve voortgangsfeedback en in hoeverre er samenhang is tussen de perceptie van docenten en leerlingen over de opbrengst ervan. Er zijn in totaal 551 feedbackopmerkingen door docenten op de feedbackbalk geschreven. Deze zijn beoordeeld op de kenmerken van effectieve feedback uit tabel 3 (p. 9). Elke opmerking die aan minstens één van de vier kenmerken voldeed werd effectief beschouwd. De beoordeling is verricht door de onderzoeker en een niet bij het onderzoek betrokken collega onderzoeker van een ander school. Zij hebben onafhankelijk van elkaar gewerkt. De scores van de beide onderzoekers vertoonden grote overeenstemming (Kappa =.81, p <.000). Zij beoordeelden 28.1% van alle opmerkingen als effectief en 71,9% als niet effectief (bijlage 4 tabel 21). De samenhang tussen de manier waarop docenten en leerlingen oordelen over de opbrengst van voortgangsfeedback werd onderzocht door docenten zichzelf een score te laten geven voor door hen gegeven feedback. Daartoe zijn de uitspraken op de vragenlijst geherformuleerd naar het perspectief van de docenten (bijlage 5). Er blijkt geen sprake

22 22 van een significante samenhang (bijlage 4 tabel 20). Dat betekent dat leerlingen en docenten de opbrengst van de voortgangsfeedback verschillend beoordelen (Pearson r =.396, p =.203). De gemiddelde feedbackscore die docenten zichzelf geven ligt 0.22 punt hoger dan de score die leerlingen aan de feedback toekennen. Docenten scoren zichzelf gemiddeld 0.73 punt hoger op acht van de twaalf vragen, Op de vragen waar leerlingen de feedback hoger waarderen is het verschil gemiddeld 0.54 punt. 7. Conclusies De centrale vraag in dit onderzoek was: Welk effect heeft feedback op toetsen voor het leerproces en de daaruit voortvloeiende resultaten? Voor de vakken E en B werden na de interventie hogere toetsscores gemeten. Voor vak E bestond er in de voormeting een significant verschil. Dat zorgt ervoor dat de uitkomst de aanwezige situatie in deze groepen bevestigt en er geen uitspraak over de rol van de voortgangsfeedback kan worden gedaan. Voor vak B werden na de interventie hogere toetsscores gemeten die wel wijzen op een effect (effect grootte r =.33). De verwachte stimulans die van de interventie zou uitgaan voor het verbeteren van het inzicht van de leerlingen in hun eigen capaciteiten kwam ook uit voor vak B in conditie 3 (effect grootte r =.29). De verwachting dat er een sterker effect zou worden gevonden naarmate leerlingen langer met de feedbackbalk werkten is niet bevestigd. Ook werd geen verschil gevonden tussen de interventie- en de controlegroep voor de bijdrage van het werken met de feedbackbalk aan de sturing van het eigen leerproces. Het aantal gevonden significante resultaten is beperkt. Dat betekent dat de verbetering in de manier waarop voortgangsfeedback wordt gegeven nog weinig effectief is gebleken.

23 23 8. Discussie Het experiment vond plaats met leerlingen in leerjaar 2. Dit is een groep leerlingen die qua leeftijd en ontwikkeling van studievaardigheden het meest overeenkomt met leerlingen in de eerste klas. Zo werd enigszins rekening gehouden met de externe validiteit van de uitkomsten voor de onderbouw in de school. Voor conditie 2 duurde het experiment 10 lesweken, voor conditie 3 waren dat er 14. Daardoor bleef voor deze groepen het aantal toetsuitkomsten en mogelijkheden voor gebruik van de feedbackbalk klein. Voor vak A in conditie 2 en voor vak C in conditie 3 berusten de uitkomsten op twee meetmomenten. Voor de overige vakken konden meer meetgegevens worden geanalyseerd. Het beperkte aantal metingen in sommige vakken kan eraan hebben bijgedragen dat er geen effect van de interventie naar voren is gekomen. In conditie 3 waar het experiment het hele schooljaar duurde, zijn voor vak B de meeste meetmomenten geweest. Uit deze negen metingen is echter geen significante verbetering in leeruitkomsten gekomen, noch een significante verbetering van inzicht van leerlingen in de eigen capaciteiten. De hoeveelheid feedback werd ook beïnvloed door de vrijblijvendheid die aan docenten werd gelaten voor het geven van voortgangsfeedback. In het belang van de externe validiteit van het onderzoek voor het Lorentz Lyceum werd in het experiment de werkwijze gevolgd zoals die voor leerjaar 1 was vastgesteld. Docenten waren alleen verplicht om opmerkingen te schrijven op de feedbackbalk voor leerlingen die een onvoldoende scoorden op een test. Dit heeft het aantal feedbackopmerkingen dat zou kunnen bijdragen aan een effect van de interventie beperkt. De meting werd gedaan op basis van schriftelijke voortgangsfeedback. Bondige opmerkingen op de feedbackbalk werden in het onderzoek als niet effectief gekwalificeerd. Tijdens de klassikale bespreking krijgen leerlingen echter ook feedback op een toets. Het is mogelijk dat leerlingen met deze mondelinge informatie zulke bondige opmerkingen op de feedbackbalk wel in een juiste context kunnen plaatsen zodat ze voor hen relevant zijn en kunnen bijdragen aan verbetering van hun leerproces. Dat

24 24 betekent dat leerlingen vaker effectieve feedback zouden kunnen hebben gekregen dan tot uitdrukking komt in de toegekende feedbackscores voor docenten. De onderzoekspopulatie bestond uit alle leerlingen van leerjaar 2 in de tweetalige afdeling van de school (N = 107). Zij waren verdeeld over vier klassen, twee verschillende interventiegroepen en twee verschillende controlegroepen. Dat brengt een beperking voor het onderzoek met zich mee. De geringe populatie per groep vergroot de invloed van uitbijters op de gemiddelde scores. Ook hebben niet alle leerlingen bij alle toetsen een geschat cijfer ingevuld. De motivatie van leerlingen om voorafgaand aan een toets een geschat cijfer in te vullen kan een rol spelen voor de betrouwbaarheid van de schatting. De meting van de verschilscores kan ook zijn beïnvloed doordat uitwisseling heeft plaatsgevonden tussen de interventie- en controlegroep. Leerlingen in de controlegroep moesten in de voormeting een geschat cijfer invullen. Ook is het mogelijk dat leerlingen in de controlegroep bij andere vakken de feedbackbalk al hebben gezien. Proefwerkpapier met en zonder de balk is op school in omloop. Dit kunnen redenen zijn geweest tot uitwisseling met anderen dan de eigen klasgenoten. Het zou ertoe kunnen leiden dat ook leerlingen in de controlegroep bewuster zijn gaan reflecteren op het eigen leerproces en tot een verandering in hun voorbereiding op volgende toetsen. De rol van docenten in het onderzoek verdient eveneens de aandacht. Bij aanvang van het onderzoek waren er voor elk van de geselecteerde de groepen drie of vier vakdocenten met lessen in zowel de interventiegroep als in de controlegroep. Deze geselecteerde klassen leverden de beste mogelijkheid om de condities in beide groepen zoveel mogelijk vergelijkbaar te houden met uitzondering van het gebruik van de reflectiebalk. Dit was van belang voor de interne validiteit. Betrokken docenten hebben zelf alle toetsen beoordeeld waarbij namen van leerlingen niet geblindeerd waren. Tijdens de beoordeling wisten zij of het leerlingen betrof uit de interventiegroep of uit de controlegroep. Deze wetenschap kan hen hebben beïnvloed bij het nakijken van de toetsen, ondanks het aanbevolen gebruik van een correctiemodel om de betrouwbaarheid van het toekennen van scores te bevorderen. Ook

25 25 kan de meting beïnvloed zijn doordat docenten meer effectieve feedback zijn gaan geven aan leerlingen in de controlegroep dan zij gewoon waren voor aanvang van het experiment. Er werd geen verschil gevonden tussen de interventie- en de controlegroep in de bijdrage van de feedbackbalk aan de sturing van het eigen leerproces. Verschillende factoren kunnen hier een rol hebben gespeeld. Allereerst blijkt dat de gemiddelde waardering die leerlingen aan de feedbackopmerkingen toekenden met 2.86 niet veel boven de helft van het maximum van 5 punten ligt. Daarnaast werd bij toetsing van de opmerkingen op kenmerken van effectieve feedback (Hattie & Timperley 2007; Davies et al., 2004; Andrade, Du & Wang, 2008), 71.9% als niet effectief gekwalificeerd. Het was opvallend dat deze niet effectieve feedback voor de helft bestond uit aanmoedigingen als Goed zo, Ga zo door, Prima gedaan. Echter, zonder concrete informatie over wat er goed is en waarom, hebben leerlingen hier niet veel aan voor het bepalen van vervolgstappen in hun leerproces. Docenten en leerlingen hadden ook verschillende ideeën over de opbrengst van de voortgangsfeedback. Volgens de leerlingen levert feedback over wat al goed gaat en wat kan verbeteren meer op dan docenten verwachten. Verder vinden leerlingen dat zij de opmerking van docenten zorgvuldig lezen en deze gebruiken bij de voorbereiding op een volgende toets. Docenten schatten leerlingen hierop lager in. Het is de vraag of leerlingen effectieve feedback altijd als zodanig herkennen. Volgens Black en William (2004) wordt er met het toekennen van cijfers een competitie element geïntroduceerd. Dit biedt de gelegenheid aan docenten en leerlingen om een hiërarchie aan te brengen binnen een groep. Voortgangsfeedback vergezeld met cijfers zorgt er zo voor dat leerlingen meer product georiënteerd handelen. Het resultaat telt en het leerproces wordt daaraan ondergeschikt gemaakt. Leerlingen in de interventiegroep gaven niet aan beter te kunnen leren in vakken waarin de feedbackbalk werd gebruikt. Higgins, Hartley en Skelton (2002) wijzen op het belang van timing. Volgens hen bestaat de kans dat feedback aan het einde van een module fragmentarisch is en weinig oplevert voor de voortgang van het leerproces. Veel

26 26 van de toetsen op het Lorentz Lyceum worden gehouden als afsluiting van een onderwerp. Daarmee komt de feedback achteraf en kan het zijn dat leerlingen het niet ervaren als informatie die hen kan helpen in het vervolg van hun leerproces. Volgens de eerder genoemde auteurs gaan studenten feedback die achteraf komt minder snel gebruiken om nog eens terug te kijken. Ook schat men de waarde ervan voor het leerproces lager. Tot slot kwam in de studie van deze auteurs naar voren dat docenten vaak weinig tijd besteden aan het formuleren van gedetailleerde feedback voor studenten die al voldoende presteren. Ook als docenten er weinig vertrouwen in hebben dat de feedback als worden geraadpleegd om in praktijk te brengen, is de bereidheid tot geven ervan minder. Dit patroon lijkt aan te sluiten bij de verschillen in verwachtingen van voortgangsfeedback tussen leerlingen en docenten die zijn waargenomen tijdens het experiment met de feedbackbalk. 9. Aanbevelingen Het geven van feedback op toetsen, zoals in de interventie is gepraktiseerd, blijkt geen afdoende strategie om leeruitkomsten en metacognitieve ontwikkeling te bevorderen. Er is meer voor nodig om het beoogde doel te bereiken. De metacognitieve ontwikkeling op academisch georiënteerde taken is bij middelbare scholieren nog in een vroeg stadium van ontwikkeling (Clement & Laga, 2005; Van der Stel & Veenman, 2009). In de literatuur wordt er verder op gewezen dat het stimuleren van de metacognitieve ontwikkeling ingebed moet worden in de dagelijkse lespraktijk (Hattie, 2009; Van der Stel & Veenman, 2009). Het belang daarvan spreekt uit studies die wijzen op een bijdrage van metacognitieve vaardigheden aan leeruitkomsten (Van der Stel & Veenman, 2009; Vandergrift & Tafaghodtari, 2010). Op basis van de bestudeerde literatuur en de uitkomsten van het experiment wordt aanbevolen om docenten ertoe aan te zetten de feedbackbalk meer te benutten. Dat kan door feedback te geven aan alle leerlingen in plaats van alleen aan leerlingen die een

27 27 onvoldoende scoren op een test en aanmoedigende opmerkingen te ondersteunen met effectieve feedback. Ook is het belangrijk docenten te stimuleren om vakinhoud en leerstrategieën in hun lessen te integreren. Dat zou bijvoorbeeld kunnen door voor leerlingen duidelijk herkenbare momenten voor voortgangsfeedback op te nemen in een periode waarin een bepaald onderwerp wordt bestudeerd voordat er sprake is van een afsluitende toets. Op die manier zou de feedback worden losgekoppeld van het cijfer waardoor de aandacht van de leerlingen meer zou kunnen worden gevestigd op het leerproces (Black & William, 2004). Daarnaast kan de school de thema s voortgangsfeedback en metacognitieve ontwikkeling van leerlingen terugkerende agendapunten te maken op teamvergaderingen of tijdens studiedagen om zo de gezamenlijke verantwoordelijkheid voor de metacognitieve ontwikkeling van leerlingen te onderstrepen. De school kan ruimte bieden voor professionele ontwikkeling op dit vlak. Het is de bedoeling om het werken van de feedbackbalk op het Lorentz Lyceum uit te breiden naar de hele school. Onderzoek naar het effect van de genoemde aanbevelingen kan meer inzicht opleveren op factoren die het succes van deze interventie verder kunnen ondersteunen.

28 28 Referenties: Andrade, H.L., Wang, X. & Du, Y. (2008). Putting rubrics to the test: the effect of a model, criteria generation and rubric-referenced self assessment on elementary school students Writing. Educational Measurement: Issues and Practice, 27(2), Black, P. & William, D. (1998). Assessment and classroom learning. Assessment in Education, 5(1), Black, P. & William, D. (2004). Working inside the black box: assessment for learning in the classroom. Phi Delta Kappan, 86(1), Clement, M. & Laga, E. (2005). Steekkaarten doceerpraktijk. Apeldoorn: Garant. Davies, P., Durbin, C., Clarke, J. & Dale, J. (2004). Developing students conceptions of quality in geography. The Curriculum Journal, 15(1), Flavell, J. H. (1979). Metacognition and Cognitive Monitoring: A New Area of Cognitive-Developmental Inquiry. American Psychologist, 34(10), Hattie, J. & Timperley, H. (2007). The power of feedback. Review of Educational Research, 77(1), Hattie, J. (2009). Visible learning. London: Routledge. Higgins, R., Hartley, P. & Skelton, A. (2002). The conscientious consumer: reconsidering the role of assessment feedback in student learning. Studies in Higher education, 27(1), Inspectie van het Onderwijs Ministerie van Onderwijs, Cultuur en Wetenschap (2010). Rapport van bevindingen onderzoek bij het Lorentz Lyceum afdelingen Havo en VWO. Documentnummer H Stel van der, M., & Veenman, M. V. J. (2010). Development of Metacognitive Skillfulness: A Longitudinal Study. Learning and Individual Differences, 20(3), Vandergrift, L., & Tafaghodtari, M. H. (2010). Teaching L2 Learners How to Listen Does Make a Difference: An Empirical Study. Language Learning, 60(2),

29 29 BIJLAGE 1: Uitgangssituatie TABEL 8: Mann-Whitney toets Cito-scores conditie 1 en 2 en conditie 3 Citoscore U z p Conditie 1 en Conditie *** Mnd = Mediaan U = toetseenheid z = z-score ***p <.001 TABEL 9: t-toets Uitgangssituatie rapportcijfers conditie 1 en 2 en conditie 3 Conditie 1 Controlegroep Interventiegroep M SD SE M SD SE t p Vak B Vak E Conditie 2 Vak A Vak D *.007 Conditie 3 Vak A Vak B Vak C M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05

30 30 BIJLAGE 1: Uitgangssituatie (vervolg) TABEL 10: Mann-Whitney toets Uitgangssituatie rapportcijfers conditie 3 Conditie 3 Controlegroep Interventiegroep Mdn Mdn U z p Vak B Mnd = Mediaan U = toetseenheid z = z-score p <.05

31 31 BIJLAGE 2: Voormeting TABEL 11: t-toets Voormeting toetsscores Conditie 1 Controlegroep Interventiegroep M SD SE M SD SE t p Vak A 5, Vak B Conditie 2 Vak D *.048 Conditie 3 Vak C Vak A M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05 TABEL 12: Mann-Whitney toets Voormeting toetsscores Conditie 1 Controlegroep Interventiegroep Mdn Mdn U z p Vak E * Conditie 3 Vak A Mnd = Mediaan U = toetseenheid z = z-score *p <.05

32 32 BIJLAGE 2: Voormeting (vervolg) TABEL 13: t-toets Voormeting verschilscores Conditie 2 Controlegroep Interventiegroep M SD SE M SD SE t p Vak A Conditie 3 Vak A M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid p < 0.05 TABEL 14: Mann-Whitney toets Voormeting verschilscores Conditie Controlegroep Interventiegroep Mdn Mdn U z p Vak B Vak E Conditie 3 Vak B Vak C Mnd = Mediaan U = toetseenheid z = z-score *p <.05

33 33 BIJLAGE 3: Nameting TABEL 15: t-toets Nameting verschilscores Conditie 1 Controlegroep Interventiegroep M SD SE M SD SE t p Vak B Vak E Conditie 3 Vak C M = gemiddelde SD = standaard deviatie SE = standaard fout t = toetseenheid * p < 0.05

34 34 BIJLAGE 4: Feedbackscores TABEL 16: Uitkomsten feedbackvragenlijst leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag Interventiegroep Controlegroep Gemiddelde score per vraag 1 2,17 2,11 2,13 2 3,46 3,66 3,56 3 3,03 3,17 3,10 4 2,85 3,04 2,95 5 2,53 2,16 2,35 6 3,35 3,27 3,31 7 2,76 2,57 2,67 8 2,49 2,69 2,59 9 2,62 2,68 2, ,24 2,00 2, ,88 3,90 3, ,92 3,13 3,03 Gemiddelde score per groep 2,86 2,86 2,86

35 35 BIJLAGE 4: Feedbackscores (vervolg) TABEL 17: Mann-Whitney toets Feedbackscores leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag Interventie Controle Mdn Mdn U z p ,000-1,332, ,500 -,636, ,000 -,443, ,000 -,477, ,000* -1,724, ,500 -,183, ,500 -,358, ,000 -,529, ,000 -,149, ,000-1,637, ,000 -,060, ,500 -,588,280 Mnd = Mediaan U = toetseenheid z = z-score *p <.05

36 36 BIJLAGE 4: Feedbackscores (vervolg) TABEL 18: Feedbackscore leerlingen leerjaar 1 en 2 Lorentz Lyceum ( ) Vraag Interventiegroep Controlegroep Gemiddelde score per groep TABEL 19: Voorkeurvakken leerlingen leerjaar 2 tweetalig HAVO-VWO % Vakken met interventie % Vakken zonder interventie Interventiegroep Controlegroep

37 37 BIJLAGE 4: Feedbackscores (vervolg) TABEL 20: Feedbackscore docenten en leerlingen leerjaar 2 tweetalig HAVO-VWO Vraag leerlingen docenten Gemiddelde score TABEL 21: Effectieve feedbackopmerkingen Aantal % Effectief Niet effectief Totaal

38 38 BIJLAGE 5: Vragenlijsten Vragenlijst leerlingen De school wil graag weten wat er in de klas gebeurt met proefwerken of schriftelijke overhoringen als de docent ze heeft nagekeken en aan de leerlingen teruggeeft. Op blad 2 en 3 staat een lijst met 12 beweringen. Door een cijfer te omcirkelen geef je voor elke bewering aan wat je vindt. Deze schaal laat zien wat je cijfer betekent: Dit is (bijna) nooit op mij van toepassing 1 Dit is soms op mij van toepassing 2 Dit is regelmatig op mij van toepassing 3 Dit is vaak op mij van toepassing 4 Dit is (bijna) altijd op mij van toepassing 5 Dus: Als je vindt dat de bewering bijna of nooit op jou van toepassing is, dan omcirkel je het cijfer 1. Als je vindt dat de bewering soms op jou van toepassing is, dan omcirkel je het cijfer 2. Als je vindt dat de bewering regelmatig op jou van toepassing is, dan omcirkel je het cijfer 3, etc. 1. Als docenten een proefwerk of SO opgeven, vertellen ze vooraf wat voor vragen ze zullen stellen. 2. Na het bespreken van een proefwerk of SO weet ik welke vragen ik goed heb beantwoord en welke vragen ik niet goed heb beantwoord. 3. Na het bespreken van een proefwerk of SO weet ik de juiste antwoorden op de vragen die ik niet goed heb beantwoord. 4. Na het bespreken van een proefwerk of SO weet ik waarom ik vragen niet goed heb beantwoord. 5. Na het bespreken van een proefwerk of SO weet ik waar ik de juiste antwoorden kan vinden voor de vragen die ik niet goed heb beantwoord.