Toetsen van denkvaardigheden en conceptuele kennis bij Maatschappijwetenschappen

Transcriptie

1 Toetsen van denkvaardigheden en conceptuele kennis bij Maatschappijwetenschappen Onderzoeksverslag Carla van Boxtel, Anne Hemker, Gerard Ruijs, Thomas Klijnstra 2017 Universiteit van Amsterdam Docenten Maatschappijwetenschappen die deelnamen aan het onderzoek: Erik Braaksma, CSG Reggesteyn Nijverdal Lars van der Bruggen, Ichthus Lyceum Driehuis Niels Hoendervanger, Stedelijk Gymnasium Nijmegen Joanny Knol, Eemsdelta College Appingedam Gertruud Kruse, Martinus College Grootebroek Lennart Schra, Johannes Fontanus College Barneveld Yolande Vonhoff, Stanislas College Oost Delft Esther Wisse, Stedelijk Dalton Lyceum Dordrecht Dit verslag bevat de resultaten van het kortlopend praktijkonderzoek 'Toetsen van denkvaardigheden en conceptuele kennis bij maatschappijwetenschappen', gefinancieerd door het Nationaal Regieorgaan Onderwijsonderzoek (NRO, ). * In december 2017 verschijnt een bewerkte versie van dit verslag als handreiking voor docenten, uitgegeven door het Landelijk Expertisecentrum Mens- en Maatschappijvakken. 1

2 Inhoudsopgave 1 Samenvatting 3 2 Achtergronden en opzet van de studie 8 3 Cognitief model: verbanden leggen bij maatschappijwetenschappen 16 4 Ontwerpregels voor authentieke toetstaken 32 5 Evaluatie van de toetstaken 40 6 Evaluatie door de docenten 69 6 Conclusie en discussie 71 Referenties 77 Bijlagen 82 2

3 1 Samenvatting 1.1 Achtergronden en doel van het onderzoek In 2017 is een nieuw examenprogramma voor maatschappijwetenschappen (havo/ vwo) ingevoerd, gebaseerd op de concept-contextbenadering. Men wilde met het nieuwe programma meer diepgang bereiken door bij verschillende thema's gericht te werken aan het opbouwen van kennis over vraagstukken die zich in elke samenleving voordoen en van de daaraan gerelateerde concepten (vorming, verhouding, binding en verandering) waarmee de leerlingen maatschappelijke vraagstukken en verschijnselen in de samenleving leren analyseren en verklaren. Tijdens de pilotfase van het nieuwe examenprogramma zijn voorbeelden uitgewerkt van Programma's van Toetsing en Afsluiting (PTA's) en lessenreeksen die als voorbeeldmateriaal inmiddels hun weg vinden naar docenten die met het nieuwe examenprogramma zijn gaan werken. Er is in de pilotfase minder aandacht geweest voor de wijze waarop docenten zelf de conceptuele kennis en denkvaardigheden kunnen toetsen. Goede handreikingen hiervoor ontbreken. In de examensyllabi worden de concepten vrij uitgebreid omschreven. Een goede, vakspecifieke, uitwerking van de denkvaardigheden van het vak staat echter nog in de kinderschoenen. Er is behoefte aan een nadere beschrijving van wat het precies van leerlingen vraagt om verbanden te kunnen leggen met behulp van de hoofd- en kernconcepten van het vak en welke stappen qua denkvaardigheden - leerlingen daarbij moeten zetten en welke kennis daarvoor nodig is. Naast een nadere specificering van de vakspecifieke vaardigheden is behoefte aan toetstaken en beoordelingsinstrumenten waarmee docenten de vaardigheden bij leerlingen kunnen toetsen. Docenten gebruiken naast schriftelijke toetsen die voorbereiden op het centraal examen vaak ook meer complexe, integratieve en authentieke toetstaken, bijvoorbeeld een praktische opdracht, zoals een advies schrijven of een onderzoek uitvoeren. Authentieke taken zijn gericht op hogere denkvaardigheden en toepassing van begripskennis, sluiten aan bij de leefwereld van de leerlingen of een herkenbare beroepspraktijk en maken de leerstof daardoor betekenisvoller voor de leerlingen. Het onderzoek waarvan hier verslag wordt gedaan had als doel om de vaardigheid 'verbanden leggen met behulp van maatschappijwetenschappelijke concepten' verder uit te werken in een cognitief model en om vanuit ontwerpregels taken te ontwikkelen en uit te testen waarmee getoetst kan worden in hoeverre leerlingen deze vaardigheid beheersen. De volgende vragen zijn onderzocht: 1) Hoe kan de in het examenprogramma maatschappijwetenschappen genoemde vaardigheid 'verbanden leggen tussen en binnen de in de domeinen beschreven contexten en andere contexten met behulp van hoofd- en kernconcepten' geoperationaliseerd worden in termen van concreet leerlinggedrag? 2) Welke ontwerpregels kunnen docenten gebruiken om voor de bovenbouw havo en vwo authentieke toetstaken en beoordelingsinstrumenten te ontwikkelen waarmee deze vaardigheid getoetst kan worden? 3) In hoeverre zijn de op basis van de ontwerpregels ontworpen toetstaken en beoordelingsinstrumenten geschikt om deze vaardigheid te toetsen? 3

4 1.2 Opzet van het onderzoek In het onderzoek is voortgebouwd op de praktijkkennis van de acht docenten maatschappijwetenschappen die deelnamen aan het onderzoek. Deze docenten (4 vrouwen en 4 mannen) namen eerder deel aan de pilot met het nieuwe eindexamenprogramma en waren dus goed op de hoogte van de daarin gehanteerde concept-contextbenadering. Daarnaast is gebruik gemaakt van de kennis en ervaring van twee vakdidactici maatschappijwetenschappen en wetenschappelijke kennis over causaal redeneren in de politicologie en sociologie, de concept-contextbenadering, ontwikkeling van denkvaardigheden en authentieke toetsen. Volgens de stappen voor toetsconstructie is eerst een cognitief model van de vaardigheid ontwikkeld en zijn vervolgens taken (die prestaties ontlokken die informatie geven over de te meten vaardigheid) en beoordelingsinstrumenten ontwikkeld. Om de validiteit van het cognitief model te versterken is aan het begin en aan het einde van het onderzoek een expertmeeting georganiseeerd waarin vakdidactici en vakdidactisch onderzoekers feedback hebben gegeven. Op basis van het cognitief model van de vaardigheid en literatuur over authentieke toetsen zijn ontwerpregels geformuleerd voor de ontwikkeling van toetstaken en beoordelingsinstrumenten voor havo en vwo. De ontwerpregels zijn besproken met de docenten en op grond daarvan aangepast. Deze ontwerpregels zijn vervolgens samen met het cognitief model gebruikt bij het ontwerp van acht toetstaken. Er zijn onderzoeks-, advies- en discussietaken ontwikkeld. Na de evaluatie van de toetstaken zijn ook de ontwerpregels bijgesteld en voorgelegd aan de experts in de tweede expertmeeting. Elke toetstaak is door twee deelnemende docenten (van verschillende scholen) uitgetest in de eigen klas(sen). Vervolgens is onderzocht of de toetstaken en beoordelingsinstrumenten voldoende valide en bruikbaar zijn. Bij elke toetstaak is op de volgende manier informatie verzameld om informatie te krijgen ten aanzien van de validiteit: a) een vragenlijst voor leerlingen om na te gaan hoe de leerlingen de toetstaken ervaren (moeilijkheidsgraad, aansluiting bij de lessen, duidelijkheid en ervaren authenticiteit) b) per klas interviews met drie leerlingen direct na het inleveren van de toetstaak c) een inhoudsanalyse van alle leerlingproducten (totaal 388 producten: 172 van havo-leerlingen en 216 van vwo-leerlingen) om na te gaan in hoeverre de taken de vaardigheid zoals geoperationaliseerd in het cognitief model 'zichtbaar' en dus beoordeelbaar maken. d) Ervaringen van de docenten die de taak hebben ontwikkeld en uitgevoerd. De leerervaringen van de docenten zijn onderzocht met behulp van een learner report. 1.3 Uitkomsten van het onderzoek Operationalisering van de vaardigheid 'verbanden leggen' in een cognitief model De vaardigheid 'verbanden leggen' is geoperationaliseerd in drie subvaardigheden: a) beschrijven van (mogelijke) oorzaken, gevolgen en oplossingen van een maatschappelijk verschijnsel /probleem; b) onderbouwen (of evalueren) van uitspraken over oorzaken, gevolgen en/of oplossingen en c) een beargumenteerde conclusie of standpunt formuleren. De drie subvaardigheden zijn verder geoperationaliseerd in componenten en onderliggende kennis en inzichten die nodig zijn om de vaardigheid toe te kunnen passen. Er is daarbij een onderscheid gemaakt tussen kennis van politicologische en sociolgische begrippen (bijvoorbeeld sociale cohesie) en methodologische begrippen 4

5 die horen bij de sociale wetenschappen (bijvoorbeeld onafhankelijke variabele, correlatie). Ontwerpregels voor authentieke toetstaken Op basis van het cognitief model en literatuur over authentieke toetstaken en niveaus van toetstaken zijn ontwerpregels geformuleerd. Deze zijn tijdens en na de ontwikkeling en evaluatie van de toetstaken verder aangescherpt. De ontwerpregels zijn: 1) de taak moet betrekking hebben op een maatschappelijk of politiek verschijnsel of probleem als context voor het leggen van verbanden met behulp van hoofd- of kernconcepten 2) de taak moet voldoende authentiek zijn 3) het moet voor leerlingen duidelijk zijn wat ze ten aanzien van het verschijnsel of probleem moeten doen 4) de taak en het beoordelingsinstrument moeten gedragingen ontlokken die in het cognitief model verbanden leggen bij maatschappijwetenschappen opgenomen zijn en 5) de taak en het beoordelingsinstrument moeten aansluiten bij het niveau dat van de leerling verwacht kan worden. De ontwerpregel dat de taak voldoende authentiek moet zijn is verder uitgewerkt in de volgende eisen: de toetstaak heeft een open vraag- of probleemstelling; betreft een taak die overeenkomt met een taak die past bij het als burger participeren in de samenleving of een beroepspraktijk waarin de analyse van maatschappelijke problemen/verschijnselen aan de orde is; vraagt meer tijd dan een vraag in een 'gewone' toets; er zijn complexe vaardigheden nodig, zoals analyseren en evalueren en de beoordelingscriteria zijn vooraf bekend. Het typeren van taken als onderzoeks-, advies- en discussietaak hielp bij het uitwerken van de authentieke aspecten. Om de taken te laten aansluiten bij het niveau van de leerlingen (havo of vwo) is gelet op het gebruik van inhoudelijke en methodologische begrippen (meer of minder, wel of niet gegeven, complexiteit), de hoeveelheid en complexiteit van de (al dan niet aangereikte) informatiebronnen, de mate van structuur (meer of minder opsplitsen in deeltaken) en het geven van concrete aanwijzingen en uitleg bij onderdelen van de taak. Niet alle componenten van het cognitief model hoeven in de taak gevraagd te worden. Wanneer een beperkt aantal componenten werd gevraagd in de taak, bleek het beter mogelijk om daarbij voldoende aanwijzingen te geven ter ondersteuning en ook gemakkelijker om een beoordelingsinstrument te maken dat voldoende aansluit bij de taak. Het maken van goede beoordelingsinstrumenten en rubrics bleek een complexe opgave. Omdat de docenten zelf nog niet direct helder voor ogen hadden welke redeneringen ze van leerlingen verwachtten en konden verwachten, was het moeilijk om dat goed in een beoordelingsinstrument te vatten. Bij veel instrumenten was er wel voldoende aansluiting tussen wat in de taak gevraagd werd en de aspecten waarop beoordeeld werd. Geschiktheid van de ontwikkelde toetstaken om de vaardigheid te toetsen De taken voldeden aan de meeste kenmerken van authentieke toetstaken. Uit de vragenlijst kwam echter naar voren dat de leerlingen dat authentieke karakter niet altijd zo hebben ervaren. De score op de schaal die bedoeld was om de betekenisvolheid voor leerlingen te meten was bij de meeste taken gemiddeld neutraal. Uit de interviews kwam echter een positief beeld naar voren. De leerlingen waardeerden de taken en vonden ze relevant. Goede toetstaken zijn voldoende duidelijk voor leerlingen. Bij een deel van de toetstaken bleek de duidelijkheid van de taak echter een verbeterpunt. Het bleek een lastige opgave om een taak die om toepassing van complexe vaardigheden in een authentieke context vraagt, op een duidelijke manier te formuleren. Te veel deelstapjes uitwerken voor de leerling doet al gauw afbreuk aan het authentieke 5

6 karakter van de taak, maar leerlingen moeten ook voldoende ondersteuning krijgen. Uit de interviews kwam naar voren dat de leerlingen aan het begin van de taak vaak niet duidelijk vonden wat de bedoeling was, maar dat het gaandeweg wel voldoende duidelijk werd. Een belangrijk vraag was of de taken ook expliciet vragen om het gedrag dat bij de vaardigheid 'verbanden leggen' hoort, zodat leerlingen dat gedrag laten zien en het beoordeeld kan worden. Het werken vanuit de ontwerpregels en het cognitief model heeft taken opgeleverd waarin de ontwerpregels en de componenten van het cognitief model over het algemeen voldoende herkenbaar waren. De volgende componenten werden nauwelijks opgenomen in de toetstaken: toepassen van kennis van theorieën en paradigma's; een onderzoeksvraag of hypothese formuleren; de betrouwbaarheid, validiteit, representativiteit of generaliseerbaarheid beschrijven; genuanceerde uitspraken doen over verbanden en reflecteren op vooronderstellingen. Tot slot is gekeken naar de mate waarin de taken ook daadwerkelijk het beoogde leerlinggedrag ontlokten. Het kunnen verkennen van een maatschappelijk probleem of verschijnsel, door dat probleem of verschijnsel en mogelijke oorzaken, gevolgen en oplossingen te beschrijven, bleek goed te beoordelen. Bijna alle leerlingen gaven in hun product een beschrijving van het probleem/verschijnsel en benoemden oorzaken, gevolgen en oplossingen. Ook de toepassing van hoofd- en kernconcepten was goed zichtbaar in de leerlingproducten. Het beschrijven van verbanden vanuit theorieën en paradigma's of politieke ideologieën bleek echter moeilijker te ontlokken bij de leerlingen (ook als er in de taak expliciet om gevraagd werd). Het kan zijn dat voor de leerlingen onvoldoende duidelijk was wat hier van hen verwacht werd, maar ook dat leerlingen onvoldoende geleerd hebben om verbanden te verkennen en beschrijven vanuit theorieën, paradigma's en politieke ideologieën. Weinig leerlingen onderbouwden hun uitspraken over oorzaken, gevolgen en oplossingen met kwantitatieve gegevens. Alleen vragen om het gebruiken van een kwantitatieve bron bleek in veel gevallen onvoldoende om leerlingen tot het gebruik van deze gegevens aan te zetten. De meeste leerlingen namen een conclusie of standpunt op in hun product en gaven daarbij argumenten voor- en tegen, maar het nuanceren van de uitspraken over oorzaken, gevolgen en oplossingen kwam nauwelijks voor. Ook reflecteerden leerlingen niet op hun eigen vooronderstellingen. Deze laatste twee aspecten werden ook niet of nauwelijks in de taken gevraagd aan leerlingen. Bij de analyse van de beoordelingsinstrumenten kwamen diverse verbeterpunten naar voren. De beoordelingsinstrumenten sloten bijvoorbeeld niet altijd goed aan bij wat in de taak gevraagd werd aan componenten van het cognitief model. Het bleek verder moeilijk om niveaus van het beoogde gedrag uit te werken in rubrics. 1.4 Conclusie en discussie Dit onderzoek heeft concrete hulpmiddelen opgeleverd voor docenten, docenten in opleiding, lerarenopleiders en educatieve auteurs: een cognitief model waarin de vaardigheid 'verbanden leggen' wordt geoperationaliseerd in termen van subvaardigheden en onderliggende kennis, ontwerpregels voor het ontwerp van authentieke (toets)taken waarmee je als docent zicht kunt krijgen op de kwaliteit van het redeneren van leerlingen en concrete voorbeelden van authentieke toetstaken. Deze producten kunnen gebruikt worden bij het opleiden en professionaliseren van docenten en het ontwikkelen van educatief materiaal. De docenten waren positief over wat zij zelf geleerd hebben van deelname aan dit project. De aanpak die in dit onderzoeksproject is gehanteerd, kan ook bruikbaar zijn voor 6

7 docentontwikkelteams en professionele leergemeenschappen. Dit onderzoek roept diverse vragen op voor vervolgonderzoek. Op de eerste plaats vragen rondom het cognitief model. In hoeverre zijn de deelvaardigheden en de daarbij horende componenten specifiek voor maatschappijwetenschappen of komen ze overeen met causaal redeneren in vakken als economie, aardrijkskunde en geschiedenis of de vaardigheid die in de literatuur wordt omschreven als 'wetenschappelijk redeneren'. De deelvaardigheden en componenten in het model zijn elk complexe vaardigheden op zich die verder uitgewerkt kunnen worden. Wat houdt bijvoorbeeld het kunnen beschrijven van een mechanisme vanuit een theorie of concept precies in? In het model is bij de verschillende deelvaardigheden nog geen onderscheid gemaakt in beheersingsniveaus. Er is meer onderzoek nodig om deze te kunnen omschrijven. In dit project is niet gekeken naar de vraag op welk niveau leerlingen redeneren over maatschappelijke problemen en verschijnselen. Bij de analyse van de leerlingproducten viel op dat de kwaliteit heel wisselend was. Het is voor ontwikkeling van didactiek gericht op het leren leggen van verbanden bij de analyse van maatschappelijke verschijnselen en problemen van belang om na te gaan welke moeilijkheden leerlingen precies ervaren bij het redeneren over oorzaken, gevolgen en oplossingen. Welke redeneerfouten maken zij? Op welke onderdelen schiet de kennis van leerlingen tekort of is de kennis wel aanwezig, maar kunnen ze deze niet toepassen in een nieuwe context? Nu de vaardigheid 'verbanden leggen' geoperationaliseerd is en er ontwerpregels zijn gemaakt voor authentieke toetstaken, is een volgende stap de ontwikkeling van een didactiek om deze vaardigheid effectief te onderwijzen. Hoe kunnen leerlingen bijvoorbeeld leren om de relaties die ze leggen goed te specificeren, hun uitspraken over verbanden te onderbouwen vanuit kwantitatieve gegevens of genuanceerde uitspraken te doen bij het trekken van conclusies? Het geven van expliciete uitleg van deelvaardigheden en methodologische concepten en het gebruik van redeneerschema's zijn aanpakken die al in een aantal taken werden gehanteerd. Deze aanpakken sluiten ook aan bij theorie over effectieve didactische aanpakken voor het onderwijzen van domeinspecifieke en complexe redeneervaardigheden. Gericht werken aan het vermogen van leerlingen om maatschappelijke verschijnselen en problemen te analyseren is niet alleen van belang binnen het vak maatschappijwetenschappen, maar ook in het kader van de ontwikkeling van kritisch burgerschap. Dit onderzoek laat zien dat authentieke toetstaken leerlingen een betekenisvolle context bieden om deze vaardigheden toe te passen. Dergelijke taken zouden afgewisseld kunnen worden met expliciete instructie en oefening van deelvaardigheden in minder complexe taken. Dit onderzoek laat zien dat deze instructie en oefening ook ingebed kunnen worden in de toetstaken zelf. 7