Het Toetsen Tournée. Paul Drijvers Freudenthal Instituut Universiteit Utrecht

Transcriptie

1 Het Toetsen Tournée Paul Drijvers Freudenthal Instituut Universiteit Utrecht

2 CET RVO TIMSS DTT LKT CE hv

3 Opzet We bekijken een zestal nationale toetsen uit Nederland op het gebied van rekenen-wiskunde. We lopen elk van deze toetsen kort langs. We destilleren daaruit een aantal vragen / dilemmas / issues met betrekking tot het toetsen van rekenen en wiskunde, die de specifieke context van de betreffende toets overstijgen. Dit leidt tot een aantal overwegingen ten aanzien van de grootschalige en digitale toetsing van rekenen-wiskunde 3

4 CET RVO TIMSS DTT LKT CE hv

5 Referentieniveaus 5

6 Referentieniveaus Rekenen 6

7 Referentieniveaus Getallen F 7

8 Centrale EindToets basisonderwijs (CET) 8

9 Centrale EindToets basisonderwijs (CET) Voorbeelditem: 9

10 Adaptieve CET: voorbeeld 10

11 Adaptieve CET: voorbeeld 11

12 Marktwerking CET 12

13 Dilemma s CET Wat geeft de doorslag in het uiteindelijke schooladvies aan leerlingen: het (subjectieve) advies van de leerkracht, gebaseerd op lange ervaring en uitgebreide kennis van de leerling? Of het resultaat van een (objectieve) toets op een gegeven moment? Is marktwerking wenselijk bij high-stake toetsing? In hoeverre toetsen we computervaardigheid in plaats van rekenen? 13

14 CET RVO TIMSS DTT LKT CE hv

15 Rekentoets Voortgezet Onderwijs (RVO) 15

16 16

17 Inhoudsovereenkomsten RVO CE vmbo 17

18 Prestatieverschillen RVO CE vmbo Van Dalen, F., Drijvers, P. & Straat, H. (2016). Verschillen tussen rekentoets en centraal examen wiskunde. Euclides, 91(5),

19 Dilemma s RVO Moet het onderhoud van rekenvaardigheden getoetst worden in het secundair onderwijs, waar rekenen geen apart vak is? Gaat het om functioneel rekenen in context, of om de beheersing van kale rekenvaardigheden? Hoe is de verhouding tussen rekenen en wiskunde in het secundair onderwijs? Verdienen ze wel verschillende toetsen? 19

20 CET RVO TIMSS DTT LKT CE hv

21 TIMSS voorbeelditem 21

22 TIMSS 2015 resultaten 22

23 Vlaanderen scoort hoger! NL smal : 99% haalt basisniveau maar slechts 4% het hoogste niveau 23

24 Dalende trend in NL maar het zelfvertrouwen van de NL leerling mbt tot rekenen is hoog (NL 40%, int 36%, zes landen boven NL) 24

25 TIMSS in de media: 25

26 Dillema s TIMSS Hoe interpreteren we scores van internationale vergelijkende toetsen zoals TIMSS en PISA? Mikken we in NL (te) veel op de gemiddelde leerling en te weinig op de begaafde leerling? Zijn we in NL te goed in het versterken van het zelfvertrouwen van de leerling? 26

27 CET RVO TIMSS DTT LKT CE hv

28 DTT Basis: Tussendoelen Onderbouw Doel: diagnose halverwege op weg naar het eindexamen 28

29 Digitaal toeten van rekenen-wiskunde Uitdagingen met betrekking tot Ruimte voor leerlingen om wiskunde te doen, iets te construeren, iets te maken, zoals ze dat ook op papier doen. Gebruiksvriendelijkheid voor het invoeren en manipuleren van reken-wiskundige obecten (-> handschrift herkenning?) Intelligente automatische beoordeling van leerlingenwerk. 29

30 30 Criteria voor digitale toetsomgeving voor rekenen-wiskunde Leerling kan werken met formules Leerling kan werken met grafieken Leerling kan meetkunde doen Er is een expert system (ITS / CAS) om het werk intelligent te beoordelen of feedback te geven, zoals een docent dat ook zou doen Drijvers, P., Ball, L., Barzel, B., Heid, M. K., Cao, Y., & Maschietto, M. (2016). Uses of technology in lower secondary mathematics education; A concise topical survey. New York: Springer

31 Dilemma s DTT Hoe ziet een diagnostische toets voor wiskunde eruit? Hoe realiseren we constructieruimte voor leerlingen en intelligente automatische beoordeling van tussenstappen bij een digitale toets? 31

32 CET RVO TIMSS DTT LKT CE hv

33 Kennisbasis docent wiskunde 33

34 Voorbeelditems Research meeting 10voordeleraar 34

35 Validiteitsonderzoek Wools, Eggen & Sanders, 2010, gebaseerd op Kane, Interpretatief Argument voor Validiteit Prestatie: Beschrijving van taken die kandidaten in de toetssituatie moeten uitvoeren Score: Kwantitatieve representatie van de geobserveerde prestatie Test Domein: Beschrijving van alle mogelijke taken (hypothetisch) die aan kandidaten voorgelegd kunnen worden Competentie Domein: Beschrijving van het te meten construct (kennisdomein, competentie, etc) Praktijk domein: De doelsituatie; de situatie in de echte wereld waarover de toets uitspraken wil doen Beslissing: De beslissing die genomen wordt op basis van de behaalde score(s) Prestatie Score Test domein Competentie Domein Praktijk Domein Beslissing 1. Evalueren van een geobserveerde prestatie leidend tot een geobserveerde score 2. Generaliseren van de geobserveerde score naar een verwachte score over het Test Domein 3. Extrapoleren van de score op het Test Domein naar een score op het Competentie Domein 4. Extrapoleren van het Competentie Domein naar het Praktijk Domein 5. Score op het praktijk domein vertalen in een beoogde Beslissing 35

36 Resultaten LKT-onderzoek (1) Drijvers, P., Straat, H., & Wools, S. (2016). Wiskunde valide getoetst? De digitale landelijke kennistoets wiskunde van de tweedegraads lerarenopleiding vergeleken met de instituutstentamens. Tijdschrift voor Lerarenopleiders, 37(3),

37 Resultaten LKT-onderzoek (2) Tentamencijfers hoger dan LKT-cijfers 37

38 Resultaten LKT-onderzoek (3) Wel correlatie tussen resultaten LKT en instituutstentamens 38

39 Dillema s LKT Wat wil je toetsen aan vaardigheden op de lerarenopleidingen? Hoe stem je instituutstoetsing en landelijke toetsing op elkaar af? Hoe ga je om met de beperkingen van de digitale toetsomgeving? Hoe zorg je voor een adequate cesuurbepaling door panels? 39

40 CET RVO TIMSS DTT LKT CE hv

41 Nieuwe curricula NL 41

42 Daarin aandacht voor wiskundig denken

43 Voorbeeld wisb: Wijnglas (1)

44 Voorbeeld wisb: Wijnglas (3) P-waarde: 51,8 39, 8

45 WDA in eindexamens (1) (Iets) meer WDA in examens: 45

46 WDA in eindexamens (2) Leerlingresultaten op overlappende opgaven: havo: p-waarden toegenomen: 57% 63%. vwo: p-waarden toegenomen: 54% 59% Lichte verbetering dus, maar: Klein aantal opgaven meegenomen Beperkt aantal leerling op proefscholen Geen randomisatie bij selectie proefscholen 46

47 Toets- en itemanalyse wisb

48 Dilemma s Centraal examen havo-vwo Hoe toets je wiskundig denken tijdens het centraal examen? Wat is de waarde van psychometrische gegevens voor (wiskunde)docenten, vanuit het oogpunt van transparantie en inzicht in de prestaties van de eigen leerlingen? 48

49 Conclusie

50 Centrale toetsing rekenen-wiskunde heeft een aantal voordelen, zoals Objectiviteit Vergelijkbaarheid Transparantie maar kent tevens een aantal uitdagingen, zoals Toetsing van hogere-orde vaardigheden Digitalisering Automatische beoordeling 50

51 Dank voor uw aandacht! Paul Drijvers Freudenthal Instituut Universiteit Utrecht