Geschiedenis: nadenken over vragen Ontwerpplan 3 Naam auteur(s) Drs Krijn Hoogendorp, M.Sc. Vakgebied Geschiedenis Titel Nadenken over vragen Onderwerp Het juist beantwoorden van toetsvragen Opleiding Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Doelgroep Leerlingen van 4 VWO Sleuteltermen geschiedenis, denkvaardigheden, historisch denken, vragen Links Optioneel: je kunt links aangeven die in verband staan met de rapportage, of waarop ander materiaal staat dat van belang kan zijn(zoals andere documenten, filmpjes etc.) Bibliografische referentie Hoogendorp, K. (2015). Nadenken over vragen. Amsterdam: Instituut voor de Lerarenopleiding UvA. Studentnummer 8724970 Begeleider(s) Drs. Marcel van Riessen, vakdidacticus Universiteit van Amsterdam Beoordelaar(s) indien bekend Dr. J. van Drie, Drs. M. van Riessen Datum Datum van afronding werkstuk
Inhoud 1. Samenvatting paper 1... 2 2. Beschrijving van de onderzoeksmethode... 3 Onderzoeksontwerp... 3 Onderzoeksinstrumenten en verantwoording... 3 Onderzoeksgroep... 4 Procedure... 5 Data-analyse... 6 Literatuurlijst... 7 Bijlage 1: vraag1 voormeting... 7 Bijlage 2: vraag2 voormeting... 7 Bijlage 3: vraag en antwoord nameting... 8 Bijlage 3: Self-efficacy test... 9 1. Samenvatting paper 1 Ontwerphypothese Leerlingen uit 4vwo scoren matig tot slecht op vragen waarin zij verschillende leerstofelementen moeten combineren. Door dit aan te pakken met lessen waarin (na een demonstratie door de docent) leerlingen oefenen met het hardopdenkend analyseren van de vraag en met het oefenen in het herkennen van goede en minder goede antwoorden, zullen zij op deze vragen in een volgende toets betere scores boeken en zullen zij na de interventie een groter taakvertrouwen (self-efficacy) rapporteren. Ontwerpregels Y1) De docent maakt met behulp van hardopdenken zichtbaar welke strategie nodig is voor het goed analyseren van een vraag en voorbereiden van een antwoord. Y2) leerlingen oefenen samen met hardop denken over complexe toetsvragen en in een dialoog komen ze tot een aantal denkstappen. Y3) Leerlingen bespreken wat een goed antwoord is op een toetsvraag en oefenen met het beoordelen van antwoorden aan de hand van een antwoordmodel. Y4) Leerlingen benoemen de elementen van een goed antwoord en oefenen met het gebruik van deze elementen om goede antwoorden op complexe vragen te construeren
De interventie bestaat uit een lessenserie van vier lessen. Via een voor- en nameting wordt beoordeeld of deze effect heeft gehad. De metingen zullen bestaan uit de resultaten op enkele geselecteerde vragen en een self-efficacy test. 2. Beschrijving van de onderzoeksmethode Onderzoeksontwerp De hypothese is dat leerlingen beter toetsvragen beter zullen maken na geoefend te hebben met a) de techniek hardop denken om vragen beter te begrijpen, en b) het analyseren van de inhoud van goede antwoorden Onderzoeksinstrumenten en verantwoording Er zijn twee afhankelijke variabelen: a) Het leerresultaat verbetert na oefenen met hardop denken b) Leerlingen hebben meer vertrouwen in hun vaardigheden om complexe vragen op te lossen. Ad a) Het verbeteren van het leerresultaat zal worden getest door het vergelijken van de resultaten van een vooraf geselecteerde vraag voor- en na de lessenserie Ad b) Vooraf en na afloop van de interventie zal er een vragenlijst afgenomen worden Het resultaat van de interventie wordt op twee manieren gemeten 1) De kwaliteit van de antwoorden op complexe toetsvragen vóór en na de interventie (afhankelijke variabele op resultaatniveau), en 2) Het taakvertrouwen van leerlingen met betrekking tot toetsvragen (afhankelijke variabele op reactieniveau). Resultaatniveau De vóórmeting (nulmeting) van het resultaatniveau vindt plaats op twee momenten: het antwoord op één complexe vraag uit een schriftelijke toets in februari en één vraag die beantwoord zal worden voorafgaand aan de eerste les. De na-meting bestaat uit drie toetsvragen als onderdeel van een schriftelijke overhoring één week na de laatste les uit de lessenserie.
De antwoorden op de vragen worden aan de hand van het standaard antwoordmodel beoordeeld waarbij het aantal verkregen punten zal worden vergeleken op twee niveaus: a) de verandering van het gemiddelde aantal punten behaald als percentage van het totaal aan mogelijk behaalde punten voor de groep als geheel en b) de verandering van het aantal punten behaald als percentage van het totaal aan mogelijk behaalde punten per leerling. Door de berekening ook per leerling te doen (b.) is het mogelijk om te onderzoeken of de interventie effect heeft voor specifieke subgroepen (zoals bijvoorbeeld leerlingen met lagere cijfers) Afhankelijk van de resultaten kan er ook kwalitatief onderzoek van de antwoorden plaats vinden (waarom worden in bepaalde gevallen niet alle punten behaald?) Taakvertrouwen De nulmeting van het taakvertrouwen vindt plaats met behulp van een selfefficacy vragenlijst (zie bijlage 1) voorafgaand aan de eerste les en na afloop van de vierde les. De test bestaat uit 11 vragen waarvan 5 betrekking hebben op het vertrouwen in het maken van toetsen, 2 meten de mening over het lees/schrijfwerk in de toets en 4 zijn vragen over de perceptie van geschiedenis als een vak. De na-meting bevat een extra vraag over het effect van de lessenserie met betrekking tot het maken van vragen. Onderzoeksgroep De populatie van de onderzoeksgroep is één van de 4 vwo geschiedenis klassen van het Keizer Karel College (KKC). Het KKC is een havo/atheneum/gymnasium/technasium in Amstelveen met overwegend autochtone leerlingen. De technasium afdeling heeft in 2015 voor de tweede maal het predicaat excellente school gekregen. 1 De 4 vwo klas bestaat uit 29 leerlingen. Eén leerling heeft een profiel waarin geschiedenis een keuzevak is. Voor de overigen is geschiedenis verplicht als onderdeel van het gekozen profiel (Economie & Maatschappij en Cultuur & Maatschappij). 1 http://www.rijksoverheid.nl/onderwerpen/excellente-scholen/documenten-enpublicaties/publicaties/2015/01/26/lijst-excellente-scholen-2014.html
De lessenserie zal plaats vinden tijdens de gewone lesuren. Dit wordt naar alle waarschijnlijkheid 4 weken lang om vrijdag het 3 e uur. Van iedere aanwezige leerlinge wordt verlangd dat hij/zij mee doet. De eerste 2 lessen zullen een volledig lesuur van 45 minuten in beslag nemen. De twee overige lessen zullen naar verwachting ongeveer 30 minuten duren. De overige 15 minuten zullen gebruikt worden voor het behandelen van de stof die volgens de studiewijzer op het programma staat. Procedure De meting van de effectiviteit van het programma zal bestaan aan uit een voor- en nameting. De voormeting zal bestaan uit: - 2 complexe vragen. Eén vraag (zie voor de vragen bijlage 1) - Self-efficacy test (zie bijlage 2) De nameting zal bestaan uit: - 3 complexe vragen (als onderdeel van een schriftelijke overhoring) - Self-efficacy test Vraag 1 van de voormeting is al beantwoord door de leerlingen tijdens een toets in februari. De tweede vraag wordt afgenomen aan het begin van les 1 van de lessencyclus De vragen van de nameting zullen onderdeel zijn van een schriftelijke overhoring die 1 week na de laatste les van de lessencyclus zal plaatsvinden. De self-efficacy test wordt aan het begin van les 1 en het eind van les 4 afgenomen. Deze test is een aangepaste test van Van Brug (2014) Om het niveau van de vijf complexe vragen vergelijkbaar te houden komen ze allen uit een pilot havo examen. Eén van de vragen is met bron. De overige drie vragen zijn zonder bron. De reden is dat de aandacht ligt op vragen waarbij er een verband moet worden gelegd tussen verschillende historische begrippen. De overgrote meerderheid van de vragen over het momenteel behandelde tijdvakken (pruiken en revoluties en burgers & stoommachines) waarbij dit soort verbanden moeten worden gelegd is zonder bron. Het doel van de voor- en nameting is om een indicatie te krijgen van de effectiviteit van de interventie. De resultaten van de metingen zullen met elkaar worden vergeleken.
Data-analyse De resultaten van de voor en na-meting van de vragen en de self-efficacy test zullen allereerst overzichtelijk gepresenteerd worden in een Excel tabellen. Voor de toetsvragen zal dit gebeuren voor zowel de groepsgemiddelden als voor de individuele resultaten. De resultaten van de self-efficacy test zullen per vraag worden getoond in een tabel. In alle gevallen zal er ook een kwalitatieve analyse plaatsvinden waarbij gekeken wordt naar mogelijke verklaringen voor de data. Hierbij moet met name worden gedacht aan het analyseren wat leerlingen met name beter (of slechter) hebben gedaan bij het beantwoorden van vragen na de interventie. Naast presentatie in tabellen zullen er ook de volgende visualisaties in het rapport komen: a) Grafiek met de effecten van individuele leerlingen op resultaatniveau. Op de X-as komt het rapportcijfer van de tweede periode en op de Y-as het verschil in resultaat tussen vóór- en nameting. b) Grafiek met op X-as het antwoord op vraag 12 van de efficacy test en op de Y- as het verschil in resultaat tussen vóór- en nameting (resultaat niveau). Grafieken a en b kunnen eventueel laten zien of verandering in resultaat door interventie gerelateerd is aan (a) hoogte cijfers vooraf en/of (b) vertrouwen in positieve invloed van de interventie. Bij het maken van de visualisatie zullen aanbevelingen van Carpendale (2003) worden gevolgd om te zorgen voor duidelijk overbrengen van informatie. (zie literatuurlijst van Ontwerpproduct 1).
Literatuurlijst Zie voor literatuurlijst product 1 Bijlage 1: vraag1 voormeting In de Renaissance vond een heroriëntatie plaats op de klassieke oudheid. Licht dit toe door: a) twee terreinen te noemen waarop die heroriëntatie plaatsvond en b) bij één van deze terreinen uit te leggen dat deze heroriëntatie hand in hand ging met een nieuwe wetenschappelijke belangstelling. (bron havo geschiedenis 2013-1, pilot) Antwoordmodel Voorbeeld van een juist antwoord is: twee juiste voorbeelden van terreinen waarop de heroriëntatie op het klassieke erfgoed plaatsvond (bijvoorbeeld literatuur en bouwkunde) (2 punten) een juiste uitleg waaruit blijkt dat op dit terrein een nieuwe wetenschappelijke belangstelling ontstond (bijvoorbeeld door het onderzoek naar klassieke teksten werd ook onderzoek gedaan naar literatuurwetenschap uit de oudheid waarop men voortborduurt in de Renaissance/ voor de bouw van koepels van renaissance kerken werd onderzoek gedaan naar de klassieke bouwmethoden) (2 punten) Bijlage 2: vraag2 voormeting (vraag 6 uit pilot examen havo 2014-1) Een interpretatie: Op grond van deze bron kun je stellen, dat de kritiek van Vasalius op de artsen uit zijn tijd beter past bij de Renaissance dan bij de middeleeuwen. Ondersteun deze interpretatie door aan te geven: - welke kritiek op de artsen Vasalius heeft en - waardoor deze kritiek beter past bij de Renaissance en - minder past bij de middeleeuwen. bron In 1543 publiceert de arts Vasalius het boek De humani corporis fabrica (Over de bouw van het menselijk lichaam). Hierin beschrijft hij zijn kijk op de handelwijze van artsen:
Zolang de artsen meenden dat enkel het genezen van inwendige ziekten tot hun domein behoorde, beschouwden ze de kennis van de ingewanden als voldoende. Zij verwaarloosden de structuur van de beenderen, de spieren, de zenuwen, de aders en slagaders die zich tussen de beenderen en spieren bevinden, alsof deze dingen hen niet aangingen. Aangezien deze zaken werden toevertrouwd aan chirurgijns1), verdween daardoor niet alleen de ware kennis van de ingewanden, maar ook hun eigen bekwaamheid in het uitvoeren van dissecties (operaties). Dit ging zover dat de artsen dit niet meer probeerden, terwijl de chirurgijns, aan wie deze kunst nu toekwam, te ongeletterd waren om de geschriften van de hoogleraren te begrijpen. ( ) Deze laatsten schreeuwden als kauwen van hun hoge katheder over dingen die zij nog nooit hadden onderzocht, maar die zij overnamen uit boeken van anderen. noot 1) Een chirurgijn houdt zich bezig met behandelingen waarbij bloed tevoorschijn komt, in tegenstelling tot universitair opgeleide artsen. Antwoord vraag 1 (maximum score 3 punten) Kern van een juist antwoord is: Uit de bron blijkt dat Vasalius afkeurt dat artsen zich aan dogma's houden / al hun kennis overnemen uit boeken / zelf geen onderzoek doen (1 punt) In de Renaissance werd het zelf onderzoeken / een empirische/wetenschappelijke methode als de beste werkwijze gezien (1 punt) terwijl in de middeleeuwen artsen zich (zonder meer) op de Bijbel/de klassieken/de traditie baseerden (1 punt) Bijlage 3: vraag en antwoord nameting Vraag 1 (bron havo geschiedenis 2014-1, pilot en eigen toevoeging vraag b) Historici die het absolutisme onderzoeken, zien een verschuiving: In de zeventiende eeuw vonden absolute vorsten dat zij regeerden vanuit een goddelijk recht, terwijl in de achttiende eeuw vorsten beweerden dat zij mochten regeren omdat zij de grootste bijdrage leverden aan het geluk van het volk. a) Geef aan onder invloed van welke ontwikkeling de ideeën over het vorstelijk gezag veranderden. (2 punten) b) Leg uit waarom deze ontwikkeling hand in hand ging met de wetenschappelijke revolutie. (2 punten) Antwoordmodel a) Uit het antwoord moet blijken dat het hier gaat om de Verlichting b) De wetenschappelijke revolutie leidde tot een groot optimisme om met behulp van het verstand alles te begrijpen. De wetenschappers waren niet alleen aan het experimenteren met nieuwe uitvindingen maar onwikkelde ook nieuwe
maatschappelijke ideeën over de samenleving die de basis legden voor de idealen van de verrlichting. Vraag 2(4 punten) havo 2010-II pilot (vraag 15) 4 punten De Industriële Revolutie had grote gevolgen op maatschappelijk terrein. Leg met een voorbeeld uit, wat het verband was tussen industrialisatie en: de opkomst van emancipatiebewegingen en de opkomst van nieuwe politieke stromingen. Antwoord (maximaal 4 punten) Een juist antwoord bevat de volgende elementen: Een juist voorbeeld van een negentiende-eeuwse emancipatiebeweging (bijvoorbeeld: de vrouwenemancipatie) met een juist verband tussen dit voorbeeld van een emancipatiebeweging en de industrialisatie (bijvoorbeeld: Doordat meer vrouwen buitenshuis gingen werken, leerden zij samenwerken en zich in vakverenigingen organiseren.) (2 punten) Een juist voorbeeld van de opkomst van nieuwe politieke stromingen (bijvoorbeeld: het liberalisme) met een juist verband tussen dit voorbeeld van een politieke stroming en de industrialisatie (bijvoorbeeld: Door de industrialisatie kregen fabrikanten grote economische macht die zij wilden vertalen naar politieke invloed, wat leidde tot een nieuwe politieke stroming.) (2 punten) Vraag 3 Vraag 9 havo pilot examen 2014-1 ( 1 punt) Historici die het absolutisme onderzoeken, zien een verschuiving: In de zeventiende eeuw vonden absolute vorsten dat zij regeerden vanuit een goddelijk recht, terwijl in de achttiende eeuw vorsten beweerden dat zij mochten regeren omdat zij de grootste bijdrage leverden aan het geluk van het volk. Geef aan onder invloed van welke ontwikkeling de ideeën over het vorstelijk gezag veranderden. Antwoord Uit het antwoord moet blijken dat het hier gaat om de Verlichting. Bijlage 3: Self-efficacy test
Over toetsvragen bij geschiedenis Helemaal niet mee eens 1-Ik weet hoe ik toetsvragen moet beantwoorden 2-De vragen die op proefwerken worden gesteld zijn moeilijk 3-Ik ben er zeker van dat ik de kennis en vaardigheden heb om toetsvragen te kunnen beantwoorden 4-Bij sommige vragen op een toets word ik zenuwachtig 5-Ik heb er vertrouwen in dat ik toetsvragen goed kan beantwoorden 6-Ik vind dat ik teveel moet lezen op een toets 7 Ik vind dat ik teveel moet schrijven op een toets Niet mee eens Mee eens Helemaal mee eens Algemeen over het vak geschiedenis 8-Bij geschiedenis ben ik banger om fouten te maken dan bij andere vakken 9-Ik verwacht bij een volgend proefwerk meer kennis en vaardigheden te hebben om vragen te kunnen beantwoorden 10- Voor proefwerken geschiedenis ben ik zenuwachtiger dan voor proefwerken van andere vakken 11- Ik vind dat ik teveel moet lezen bij geschiedenis. Helemaal niet mee eens Niet mee eens Mee eens Helemaal mee eens Vraag 12: Ik vind dat ik door de lessenserie beter in staat ben om de toetsvragen te beantwoorden.