Leren en analyseren Zelfstandig RTTI toetsen analyseren Een onderzoek op het Scala College Schooljaar 2011-2012 Stephanie Mugie, Anita Buitelaar, Shera Gerber, Jacob de Ruiter
Inleiding: Het Scala College is een grote scholengemeenschap met 2700 leerlingen verdeeld over drie locaties: Nieuwe Sloot (klas 1,2, 3 Havo/Vwo), Diamantstraat (bovenbouw HAVO/ Vmbo-t, basis-kader onderbouw) en Sacharovlaan (bovenbouw Vwo) in Alphen aan den Rijn. De werkgroep onderzoek werkt op de locatie Nieuwe Sloot en bestaat uit 4 docenten en 3 studenten. Het Scala College is een school die zichzelf blijft ontwikkelen. Het accent ligt op dit moment op kwaliteitsverbetering en borging. Er zijn pijnpunten aangegeven binnen de school, welke in een verbeterplan beschreven staan. Hierin staat beschreven hoe we in de komende jaren hier aan gaan werken. Een onderdeel van het verbeterplan is de doorlopende leerlijn zelfstandigheid. De werkgroep heeft als onderwerp RTTI gekozen, dat sinds dit schooljaar schoolbreed ingevoerd is. RTTI is een methode die ingezet wordt op het Scala College om de kwaliteit te borgen en te verbeteren. RTTI is een middel om scherp en transparant de vier cognitieve niveaus van leren in kaart te brengen. R = Reproductie, het stampwerk T1 = Toepassingsgericht niveau 1, basistoepassingen in oefensituaties T2 = Toepassingsgericht niveau 2, transfer naar andere contexten I = Inzicht, kritische reflectie, verbanden aanbrengen en creatief leren Wij willen erachter komen hoe leerlingen met de uitslag van hun toetsen omgaan en waar daarin voor hen winst te behalen is. Binnen het onderzoek zijn wij vooral geïnteresseerd in de opbrengsten voor de leerling. We hebben ervoor gekozen om het onderzoek plaats te laten vinden in leerjaar drie Havo/ Vwo. Er zijn meerdere redenen om het onderzoek uit te voeren in de derde klas. Ten eerste is het derde leerjaar in de leerlijn zelfstandigheid een jaar waarbij een grote stap gemaakt wordt in de zelfstandigheid van leerlingen. Zo gaan leerlingen in jaar drie met planners werken en is er minder docentsturing. Het is daarnaast de bedoeling dat leerlingen zelfstandiger gaan reflecteren op hun eigen leerproces. Een andere reden om jaar drie te kiezen is dat de ondersteuning van de mentor in jaar drie ten opzichte van eerdere leerjaren erg gering is. In klas een en twee is de mentor nog middels een mentorles betrokken bij studievaardigheden en de sociale ontwikkeling. In klas drie beperkt de mentor zich in de mentorlessen tot de profielkeuze voor de bovenbouw. Verder wordt door de school het derde leerjaar aangemerkt als probleemjaar, aangezien de determinatie van klas drie naar klas vier niet goed verloopt. Uiteindelijk is het doel dat leerlingen meer inzicht krijgen in het eigen leerproces. Hierdoor kunnen zij presteren naar hun kunnen en is betere determinatie door het docententeam mogelijk. Aan het onderzoek hebben tien docenten van verschillende vakken meegewerkt. Dit onderzoek vond plaats bij 8 klassen (allen 3- Havo/ 3-Vwo) en zij werden geobserveerd door studenten tijdens het onderzoek.
Theorieën: Ons uitgangspunt is het handboek RTTI van Docentplus (Drost & Verra, 2009), uitgever van de RTTImethode. Hierin wordt het belang uiteengezet van het analyseren van toetsen middels de RTTInorm. De leerlijn zelfstandigheid wordt ondersteund door het boek Lessen in orde (Teitler, 2009). Beide boeken worden op het Scala College ingezet ter bevordering van onze onderwijspraktijk. Naast de aangeboden theorieën tijdens de AOS-bijeenkomsten hebben wij veelvuldig gebruik gemaakt van het boek Leren om te evalueren. (Castelijns & Segers, 2011) Bij het vormgeven van het onderzoek hebben we gebruik gemaakt van de volgende drie boekjes: Een onderzoek voorbereiden (Oost & Marenhof, 2010), Onderzoek uitvoeren (Oost, Een onderzoek uitvoeren, 2008) en Een onderzoek presenteren (Markenhof & Bastings, 2011). Vraagstelling: De toetsanalyse RTTI heeft als doel dat leerlingen zelfstandig verantwoordelijkheid nemen voor hun eigen leerproces en dit proces waar nodig kunnen sturen onder begeleiding van de docent Met het bovenstaande in ons achterhoofd zijn we tot de volgende onderzoeksvraag gekomen: Helpt de toetsanalyse RTTI de leerlingen uit het derde leerjaar zelfstandig inzicht te krijgen in hun eigen leerproces? De toetsanalyse wordt bij de RTTI-methode aangeleverd als hulpmiddel voor leerlingen om inzicht te krijgen in hun verschillende cognitieve niveaus. Deze analyse is aangepast voor ons onderzoek. (zie bijlage 1) Methode: We hebben gekeken naar de effecten van een interventie: de toets. Deze toets vond plaats in de toetsweek in januari 2012, waarbij alle gegeven toetsen volgens het RTTI-model gemaakt waren. Wij hebben vier instrumenten ingezet om hier inzicht in te krijgen: De ingevulde toetsanalyse door leerlingen klas 3. Als basis voor de toetsanalyse hebben we de toetsanalyse van Docentplus gebruikt en deze aangepast aan onze leerlingen. (zie bijlage 1) Een vragenlijst voor leerlingen klas 3 havo/vwo met behulp van de vragenlijst willen we te weten komen of leerlingen helder krijgen waar hun leerpunten zitten en willen we te weten komen of ze iets met die kennis gaan doen bij het leren voor een volgende toets. Deze vragenlijst is in een les afgenomen (Zie bijlage 2). De vragenlijst voor leerlingen is opgezet volgens een vierpuntsschaal waarbij helemaal mee eens 4 punten waard was en helemaal niet mee eens 1 punt. De vragenlijst is door 169 leerlingen ingevuld. De vragenlijst docenten klas 3 havo/vwo, deze vragenlijst gaat over het gedrag van leerlingen tijdens het bespreken van de toets. (zie bijlage 3)
De vragenlijst docenten bestaat uit 8 open vragen en 11 vragen met een vierpuntsschaal. De keuze van docenten (en leerlingen) is tot stand gekomen door alle docenten klas 3 havo/vwo aan te schrijven voor deelname. Tien docenten hebben positief gereageerd. Zij namen deel aan het onderzoek met een derde klas naar keuze. Observaties tijdens het bespreken van de toets en het maken van de toetsanalyse. Deze observatie is gedaan door de studenten die bij het onderzoek betrokken zijn.(zie bijlage 4) Het observatieformulier bestaat uit twee delen. Een gedeelte waarbij het algemene beeld van het gedrag van de leerlingen tijdens het nabespreken van de toets en de toetsanalyse RTTI wordt geobserveerd. Het tweede gedeelte van het observatieformulier bestaat uit een observatie van één leerling tijdens het invullen van de toetsanalyse RTTI. De vragenlijsten zijn ontworpen door de docent-onderzoekers, de observatieformulieren zijn ontworpen door de student-onderzoekers. De gegevens van deze onderzoeksinstrumenten zijn in Excel verwerkt en geanalyseerd. Voor deze opzet is gekozen, zodat de informatie over de toetsanalyse RTTI van zowel de leerling, docent als observant afkomstig is. Dit om een triangulatie-situatie te borgen. Om de uitkomsten van het onderzoek goed weer te kunnen geven, hebben we gekozen voor een beschrijvend onderzoek waarbij we de kwantitatieve methodes voor data verzameling en analyses goed kunnen weergeven. De uitkomsten geven een evaluatie weer van de interventie en de evaluatie hierop. Analyse van de data: We zijn begonnen met het invoeren van de resultaten van de vragenlijst voor de leerlingen in Excel. Waar de leerlingen geen of een onduidelijke keuze hebben gemaakt zijn deze resultaten niet meegenomen in de analyse. We hebben de resultaten per vraag verwerkt en geanalyseerd. De resultaten zijn door een persoon ingevoerd in samenwerking met een collega. Daarna heeft een derde persoon steekproefsgewijs gecontroleerd of de data goed ingevoerd zijn. Om de kwaliteit van de resultaten van de leerlingen enquête te borgen hebben we deze vervolgens naast de vragenlijst docenten en het observatieformulier gelegd om eventuele discrepanties te kunnen verklaren. De vragenlijst docenten en observatielijst zijn gebruikt om te kijken hoe zelfstandig de leerlingen de toetsanalyse hebben ingevuld tijdens de les,waarbij de toets is nabesproken. De ingevulde toets analyses zijn steekproefsgewijs gebruikt ter controle.
Resultaten: Onderstaande leerlingen vragenlijst hebben we gebruikt in ons onderzoek. Nu hebben we dezelfde vragenlijst gebruikt om de resultaten te verduidelijken. Achter elke vraag hebben we gezet hoe vaak een bepaalde keuze is gemaakt. 169 leerlingen hebben de vragenlijst ingevuld. Afwijkingen van dit aantal kunnen worden verklaard door het foutief of niet invullen van vragen door leerlingen. (++) Helemaal mee eens (+) Mee eens (-) Niet mee eens (--) Helemaal niet mee eens 1. Het was mij vooraf duidelijk welke stof ik moest leren voor de 84 71 8 6 toets. 2. Ik heb de stof voor de toets begrepen. 65 80 18 5 3. Ik heb de stof voor de toets geleerd. 47 73 34 13 4. Ik heb een diagnostische/ oefentoets gemaakt ter voorbereiding. 27 37 55 48 5. Ik heb tijdens de nabespreking van de toets opgelet. 78 68 10 7 6. Het is mij duidelijk dat de toetsanalyse dient om mij te helpen bij 50 66 39 14 het voorbereiden van een volgende toets. 7. De vragen in de toetsanalyse zijn duidelijk gesteld. 32 94 36 6 8. Ik weet door het nabespreken van de toets hoe mijn cijfer tot 40 93 28 5 stand is gekomen. 9. De toetsanalyse geeft mij extra inzicht in hoe ik de toets heb 20 74 54 21 voorbereid. 10. De toetsanalyse geeft mij extra inzicht in hoe ik de toets heb 27 103 27 12 gemaakt. 11. De toetsanalyse helpt mij een volgende toets voor te bereiden. 20 78 50 21 12. Ik weet door het invullen van de toetsanalyse aan welke denkniveaus (RTTI) ik nog moet werken. 62 72 25 10 Tabel 1: Resultaten leerlingen enquête 2012 1 2 3 4 5 6 7 8 9 10 11 12 3.4 3.2 2.9 2.3 3.3 2.9 2.9 3.0 2.6 2.9 2.6 3.1 Tabel 2: Gemiddelde waarde per vraag leerlingen enquête 2012
Conclusies: De resultaten van het onderzoek tonen aan dat leerlingen door het maken van de toetsanalyse RTTI inzicht krijgen in hun eigen leerproces: Uit de zeer grote hoeveelheid positieve reacties op vraag 10, aangevuld met de positieve reacties op vraag 9/11/12, concluderen wij dat. We kunnen tevens concluderen dat de docenten alle voorwaarden voor de leerlingen scheppen voor het succesvol maken van een toets; de uitleg van de stof, duidelijkheid in de te leren stof worden door de leerlingen positief beantwoord. Opvallend is dat de resultaten laten zien dat de leerlingen de stof wel snappen, maar hier niet (voldoende) voor leren. De resultaten van het onderzoek tonen aan dat leerlingen zelfstandig dit inzicht verwerven; de observaties door studenten en de docentenvragenlijst geven aan dat de leerlingen zelfstandig de toetsanalyse en vragenlijst ingevuld hebben. Daarnaast geven de ingevulde toets analyses van de leerlingen aan dat niemand er met de pet naar heeft gegooid. Er zijn geen opvallende toets analyses uitgesloten van het onderzoek. Implementatie: De uitkomsten van dit onderzoek zullen komend schooljaar worden gebruikt door de RTTI-werkgroep binnen het Scala College ter ondersteuning voor het gekozen beleid. Daarnaast zullen de uitkomsten aan de docenten en overige medewerkers in de verschillende teams worden gepresenteerd. Tot slot zullen we dit schooljaar onze bevindingen bespreken met Hennie Weeber, vestigingsdirecteur van het Scala College. Suggesties voor vervolgonderzoek en praktijk: De uitkomsten van ons onderzoek laten zien dat leerlingen zich bewust zijn van hun eigen leerproces. Belangrijk voor de onderwijspraktijk is of leerlingen ook verantwoording nemen voor hun eigen leerproces door hun leerstrategie naar een volgende toets aan te passen. Dit vervolg op ons huidige onderzoek sluit aan bij de leerlijn zelfstandigheid en de ontwikkeling van de leerlingen op weg naar de bovenbouw, beiden belangrijke ontwikkelpunten van het Scala College. Met het onderzoeken van deze aansluitende vraag, krijgen niet alleen de docenten maar ook de leerlingen beter inzicht in hun haalbare capaciteiten. Voor de praktijk betekenen de uitkomsten van dit onderzoek ook dat de stappen van de docent helder moeten zijn; het scheppen van de voorwaarden voor het succesvol maken van een toets en tevens ook het helder nabespreken van de toets, waarbij sterk aangeraden wordt om de gemaakte toets erbij uit te delen. We kunnen dit alleen sterk aanraden, aangezien we niet kunnen concluderen dat de leerlingen de enquête anders zouden invullen bij het bespreken van de toets, waarbij de toets niet is uitgedeeld.
Literatuurlijst: Castelijns, J., & Segers, M. (2011). Evalueren om te leren; toetsen en beoordelen op school. Bussum: Coutinho. Drost, M., & Verra, P. (2009). Toetsen; handboek voor docenten. Docentplus. Markenhof, A., & Bastings, M. (2011). Een onderzoek presenteren. Thieme Meulenhoff. Oost, H. (2008). Een onderzoek uitvoeren. Thieme Meulenhoff. Oost, H., & Marenhof, A. (2010). Een onderzoek voorbereiden. Thieme Meulenhoff. Teitler, P. (2009). Lessen in orde. Bussum: Coutinho.
Toetsanalyse voor de leerling Klas: Bijlage 1 Vak: Stap 1: (terugblik op de) voorbereiding Heb je.. ja deels nee nvt 1 alle opdrachten gemaakt? 2 je huiswerk altijd goed gemaakt? 3 alle lessen goed en actief gevolgd? 4 een samenvatting of schema gemaakt van de leerstof? 5 formules, definities, stappenplannen, etc. uit je hoofd geleerd? 6 de leerstof die je in je hoofd hebt gestampt ook begrepen? 7 gezocht naar verbanden? 8 gezocht naar overeenkomsten en verschillen? 9 gezocht naar voorbeelden en toepassingen? 10 een planning voor het leerwerk gemaakt? 11 je aan je eigen planning gehouden? 12 oefenvragen bij de methode gemaakt? 13 zelf oefenvragen bedacht en gemaakt? 14 oefenvragen nabesproken met de docent of medeleerlingen? 15 ontdekt wat je nog extra goed moest leren? 16 iets extra s gedaan om juist de moeilijke delen van de leerstof beter te begrijpen?
Stap 2: Analyse van jouw toetsantwoorden Bekijk de foute antwoorden. In hoeveel gevallen 1 heb je de vraag niet goed genoeg gelezen? aantal 2 heb je de vraag niet goed begrepen? 3 wist je de formule of regel niet die je moest gebruiken? 4 heb je je niet aan de instructie van de vraag gehouden, zoals max aantal woorden, taalgebruik of uitwerking? 5 heb je maar een deel van het antwoord opgeschreven? 6 heb je het antwoord te snel opgeschreven? Stap 3: Analyse van de hele toets Bekijk de toets in zijn geheel. Heb je.. 1 veel dezelfde soort fouten gemaakt? ja beetje nee nvt 2 veel fouten gemaakt in reproductievragen/stampwerk? 3 veel fouten gemaakt in toepassingsvragen T1? 4 veel fouten gemaakt in toepassingsvragen T2? 5 veel fouten gemaakt in inzichtvragen? 6 veel fouten gemaakt in bepaalde onderdelen van de leerstof? 7 een aantal vragen niet kunnen maken? 8 te weinig tijd gehad?
Stap 4: Leerpunten en voorbereiding op de volgende toets. Kijk terug naar jouw toetsanalyse. Welke leerpunten kun je hier voor jezelf uithalen? Leerpunt Voorbeeld Ik wil een volgende toets beter scoren op Reproductievragen. 1. Hoe ga ik dit aanpakken? Ik ga beter mijn begrippen leren door van alle begrippen deze keer een kaartje te maken. Na het leren laat ik mij thuis door iemand overhoren. Wie/wat heb ik hiervoor nodig? Mijn lesboek Papier Schaar Pen Iemand die mij kan overhoren. Wanneer ben ik tevreden? Als ik op de volgende toets voldoende score op Reproductievragen. 2. 3.
Bijlage 2 Vragenlijst leerlingen Vak: Datum: Klas: Deze vragenlijst gaat over een gemaakt en besproken RTTI proefwerk. (++) Helemaal mee eens (+) Mee eens (-) Niet mee eens (--) Helemaal niet mee 1. Het was mij vooraf duidelijk welke stof ik moest leren voor de toets. 2. Ik heb de stof voor de toets begrepen. 3. Ik heb de stof voor de toets geleerd. 4. Ik heb een diagnostische/ oefentoets gemaakt ter voorbereiding. 5. Ik heb tijdens de nabespreking van de toets opgelet. 6. Het is mij duidelijk dat de toetsanalyse dient om mij te helpen bij het voorbereiden van een volgende toets. 7. De vragen in de toetsanalyse zijn duidelijk gesteld. 8. Ik weet door het nabespreken van de toets hoe mijn cijfer tot stand is gekomen. 9. De toetsanalyse geeft mij extra inzicht in hoe ik de toets heb voorbereid. 10. De toetsanalyse geeft mij extra inzicht in hoe ik de toets heb gemaakt. 11. De toetsanalyse helpt mij een volgende toets voor te bereiden. 12. Ik weet door het invullen van de toetsanalyse aan welke denkniveaus (RTTI) ik nog moet werken.
Bijlage 3 Vragenlijst docenten Vak: Datum: Deze vragenlijst gaat over een gemaakt en besproken RTTI proefwerk. Voorbereiding 1. Hoe heb je de leerlingen voorbereid op het proefwerk naast het doceren/oefenen van de stof? (schrijf kort de wijze op, op welke manier je dit aangepakt hebt) Toets 2. Heb je een diagnostische/ oefentoets gegeven? Bij nee, zie vraag 4. 3. Heb je de diagnostische/ oefentoets met RTTI besproken met de klas? Ja/ nee waarom? 4. Hoe was de verhouding RTTI? R.. % T1 % T2.. % I.. % 5. Heb je het proefwerk met een collega besproken? 6. Voldoet de toets aan de RTTI verhouding zoals die is afgesproken in de sectie?
Nabespreking 7. Heb je de toets nabesproken met de klas? 8. Omschrijf hoe je de toets hebt nabesproken. Was de reactie van leerlingen anders bij het bespreken van het proefwerk? Geef aan in welke mate je het eens/oneens bent met de volgende beweringen. (++) Helemaal mee eens (+) Mee eens (-) Niet mee eens (--) Helemaal niet mee eens 9. Leerlingen hebben door de toegepaste manier van voorbereiding inzicht in hoe ze een volgende toets moeten voorbereiden. 10. Leerlingen weten door het invullen van de toetsanalyse hoe hun cijfer tot stand is gekomen. 11. Leerlingen gaan de kennis opgedaan uit de toetsanalyse gebruiken in de voorbereiding op een volgend proefwerk. 12. De toetsanalyse werkt sturend voor leerlingen. 13. De toetsanalyse werkt belemmerend voor leerlingen. (onduidelijk) 14. De toetsanalyse helpt leerlingen inzicht te krijgen in hun eigen leerproces. 15. De toetsanalyse geeft een beeld van wat een leerling in de voorbereiding op een toets heeft gedaan. 16. De toetsanalyse is duidelijk. 17. Werken met de toetsanalyse is prettig voor mij als docent. 18. De kennis die je vergaard met het invullen van de toetsanalyse is de tijd die het invullen kost waard. 19. Het werken met de toetsanalyse geeft mij als docent een duidelijk handvat om leerlingen bewust het proefwerk na te laten kijken.
Bijlage 4 Observatieformulier Bij deze observatie hebben we een onderdeel dat gaat over de klas in het algemeen, ook is er een onderdeel waarbij een leerling intensief geobserveerd moet worden. Bij voorkeur een leerling die dicht in de buurt zit zodat er meer gezien kan worden. De klas 1. De leerlingen kijken tijdens het bespreken van de toets naar hun antwoordenblad. Ja/nee 2. Hoe reageert de klas gezamenlijk op het analyseformulier? Negatief 0 0 0 0 0 Positief Neutraal *positief: leerlingen bekijken het analyseformulier, praten met hun buurman over het formulier *negatief: leerlingen zitten omgedraaid, roepen door de klas heen, giechelen. 3. Leraar heeft voor het uitdelen van het analyseformulier herhaald wat RTTI is Ja/nee 4. Hoeveel vragen worden er gesteld over het analyseformulier na de uitleg van de docent? Welke hiervan gaan over RTTI (aantallen turven)? Analyseformulier: RTTI: Individuele leerling 5. Welke reactie geeft de leerling bij het maken van het analyseformulier? 0 De leerling gaat na bij welke RTTI punten er veel fouten zijn gemaakt 0 De leerling maakt notities 0 De leerling zit omgedraaid 0 De leerling bladert terug in zijn toets 0 De leerling zucht regelmatig 0 De leerling praat met zijn klasgenoten over het analyseformulier 0 De leerling roept de docent bij zich om een vraag te stellen die betrekking heeft op het analyseformulier. 0 De leerling zit onderuit gezakt 0 De leerling zit rechtop