Aligning science curriculum renewal efforts and assessment practices Symposium Onderwijskunde en science educatie: Perspectieven en verbindingen TUE/ESoE, 26 oktober 2011 Wilmad Kuiper, SLO en UU
Curriculumvernieuwing "Change in education is easy to propose, hard to implement, and extraordinary difficult to sustain" (Hargreaves & Fink, 2006) "There is far more continuity in what teachers actually do in their classroom than is suggested by changes in the intended curriculum" (Cuban, 1992)
Curriculumuitlijning The curriculum refers to the content and purpose of an educational program together with their organization (Walker, 1990) (Van den Akker, 2003)
Assessment The most neglected dimension in science education" (Millar, 2009) Backwash effect (Watkins, Dahlin & Ekholm, 2005; Kuiper, 2009): assessment als blokkade assessment als hefboom
Minder spanning, meer verwevenheid en synergie Assessment als change agent voor curriculumvernieuwing (Strobart, 2005)...maar, pas op voor 'tail wagging the dog', met toets- en examenontwikkeling als 'curriculumontwikkeling aan achterdeur toets- en examenontwikkeling pas beginnen als álle keuzes rond doelen en inhouden zijn gemaakt
Assessmentperspectieven Assessment of learning "designed to demonstrate whether or not students have met curriculum goals, with the purpose to help schools make accountable or to enable schools to provide certificates" (Black, 1998; Black et al., 2003) Assessment for learning "with the purpose of promoting students' learning" (Black, 1998; Black et al., 2003) Assessment as learning "emphasizing a process of metacognition for students" (Earl, 2003)
Bètavakvernieuwing Door OC&W geïnstalleerde commissies en stuurgroepen: nieuwe (en tevens meer globale) examenprogramma s voor scheikunde, natuurkunde en biologie (2010) en wiskunde A-D (2012) examenprogramma (SE) NT/NG-profielkeuzevak NLT (2010) Meer relevantie, meer samenhang, minder overladenheid, betere aansluiting met onderbouw en HO, inhoudelijke vernieuwing, didactische vernieuwing (meer practica en eigen onderzoek) Context-concept (meer of minder) als basis, aansluitend op STS, Salters, '...im Kontekst'
Curriculumevaluatie bètavakvernieuwing Onafhankelijke, meerjarige curriculumevaluatie op initiatief vernieuwingscommissies, in opdracht van OCW, onder meer gericht op (Kuiper, Folmer, Ottevanger & Bruning, 2011): monopilots natuurkunde, scheikunde en biologie (2007-2010) uitvoerbaarheid en toetsbaarheid van programma's centrale examens: inhoud/vorm, proces, leerresultaten vakvernieuwingscommissies, syllabuscommissies, vaksecties CvE, examenconstructeurs Cito, pilotdocenten
Focus Imaginair Basisvisie (visiedocument) Geschreven Intenties uitgewerkt in examenprogramma, syllabus, handreiking, modules Geïmplementeerd Geïnterpreteerd Interpretaties door gebruikers (pilotdocenten) Uitgevoerd Programma-in-actie BereiktBeoogd Ervaren Leerervaringen van pilotleerlingen Getoetst Geleerd Programma zoals getoetst (CE); weerspiegeling vernieuwing in toetsing? Leerlingprestaties (CE), i.s.m. CvE en Cito
4havo/vwo 5havo/vwo 6vwo 07/08 Na Sk Bi NLT (1e cyclus) 08/09 Na Sk Bi NLT (1e cyclus) examens Na Sk Bi (1e cyclus) 09/10 Na Sk Bi (3e cyclus) NLT (2e cyclus) Na Sk Bi NLT (1e cyclus) examens Na Sk Bi (2e cyclus) examens Na Sk Bi (1e cyclus)
Bevindingen biologie Sterk: relevantie voor leerlingen redeneervaardigheden consistentie binnen vragenclusters Zwak: reproductie contexten (redundantie) consistentie tussen examenprogramma's, syllabi en modules verschil van mening over rol/belang wetenschappelijke contexten voor havo specificering van vernieuwing
Bevindingen scheikunde Sterk: contextgebruik en gebruikte contexten micro-macro redeneervaardigheden consistentie binnen vragenclusters enigszins meer open scoringsvoorschriften Zwak: veelheid aan tekst (als gevolg van contextgebruik) consistentie tussen bevraagde concepten en modulegebruik consistentie tussen concept-examenprogramma's en syllabi (mede als gevolg van onvoldoende specificering van vernieuwing)
Bevindingen natuurkunde Sterk: meer productie en minder reproductie minder formules en meer kwalitatief contextgebruik en gebruikte contexten, voortbordurend op bestaande trend ('evolutie i.p.v. revolutie') Zwak: 'wat is (nieuw aan) nieuwe natuurkunde', met name op niveau syllabus wendbaar gebruik van concepten in contexten onderzoeken, ontwerpen en modelleren gebruik van technische contexten in CE 2009
Examenresultaten biologie (CE) HAVO 2009 HAVO 2010 VWO 2010 Pilot Regulier Pilot Regulier Pilot Regulier n leerlingen 307 20.081 372 13.735 165 12.798 Gemiddelde p-waarde 56,4 58,3 50,9 55,3 52,2 55,1 Gemiddelde p-waarde overlap 60,8 59,3 45,7 47,4 55,0 61,2 N-term 1,3 1,1 1,8 1,5 1,6 1,5 Gemiddeld cijfer (1-10) 6,4 6,3 6,4 6,5 6,3 6,5
Conclusies Draagvlak voor vernieuwing onder pilotdocenten (voorhoedegroep) Invoering waardevol, kansrijk en gewenst, maar niet eenvoudig inhoudelijk en didactisch tamelijk omvattend programma's overladen onvoldoende duidelijk wat van leerlingen wordt verwacht onvoldoende aandacht voor practica en onderzoek (natuurkunde) Veel te benutten vernieuwingservaring onder pilotdocenten
Conclusies Mogelijk gebleken centrale examens te construeren (ook veel in geïnvesteerd) maar uitlijning kan/moet worden verbeterd: examenprogramma's, syllabi en modules geschreven curriculum en getoetste curriculum (centrale examens)
Conclusies Gebrekkige uitlijning vanwege: onvoldoende helderheid omtrent en onvoldoende specificering van essentiële bestanddelen van vernieuwing (verschil bestaand - nieuw?) problemen met vertaling van beoogde vernieuwing tot op niveau van syllabi, met inbegrip van voorbeeldopgaven onvoldoende gezamenlijk ervaren nut, noodzaak en eigenaarschap van vernieuwing bij actoren die rol spelen bij vertaling naar centrale examinering (syllabus- en examenontwikkeling geen onderdeel van examenpilots)
Conclusies...en vanwege: onbalans in aandacht voor betrouwbaarheid, objectiviteit en validiteit, met reguliere examens als vertrekpunt eenzijdige focus op centraal examen, los van schoolexamen (experimenteerruimte; ondersteuning en toerusting leraren) "weakness of paper & pencil test lies in what it can not test"
www.slo.nl/curriculumevaluatie email: w.kuiper@slo.nl