Effecten van toetsen op het leren. Janke Cohen-Schotanus Maart 2014 Fontys hogeschool financieel management

Transcriptie

1 Effecten van toetsen op het leren Janke Cohen-Schotanus Maart 2014 Fontys hogeschool financieel management

2 Inhoud, planning en organisatie van toetsing Welk beleid voert uw faculteit? Wat zijn de effecten?

3 Hoger onderwijs in Nederland te laag rendement twijfels over kwaliteit afstuderende

4 De lat moet omhoog! Voor wie? En hoe? Wat gebeurt er in uw opleiding?

5 De lat moet omhoog! BSA Intake gesprekken Begeleiding Strenge eisen Selectie Effect??

6 Plannen 1 e jaars Propedeuse in 1 jaar halen Liefst cum laude

7 nominaal studeren hoeft niet Signalen voor 1 e jaars tweederde van aantal punten is voldoende (BSA) veel tijd voor herkansingen in programma s belangrijk dat je dingen naast je studie doet (werken aan je cv) Herkansen en studievertraging is normaal!

8 Onze oordelen over vertragers niet gemotiveerd onvoldoende voorkennis lage cijfers VWO zwakke profielen selectie nodig besteden te weinig tijd aan de studie drinken te veel te veel bijbaantjes studievertraging is eigen schuld!

9 Propedeuserendement GNK als voorbeeld 8 faculteiten gemeenschappelijke eindtermen vergelijkbare inhoud programma s homogene instroom rendementsverschillen?

10 Finale propedeuse rendementen (%) 8 medische faculteiten 100 Actief leren en veel zelfstudietijd veel hoorcolleges jaar Schmidt et al, 2009

11 Propedeuserendement GNK Hoe hoog schat je het nominale propedeuse rendement ( 1 jaar)? Hoe groot mogen de verschillen tussen faculteiten zijn?

12 Nominale propedeuse rendementen 8 medische faculteiten jaar

13 Assessment drives learning Wat student bestudeert Hoe Hoe veel Hoe effectief Wanneer Biggs et al, 2007

14 Drie vragen van student wanneer is de toets? wat moet ik er voor doen? en als ik zak? Cohen-Schotanus, 1994, 2012

15 Drie antwoorden voor student wanneer: just-time-manager 3-4 week wat: homo economicus alle doelen en als ik zak? groot probleem

16 Toetsprogramma wanneer wat en als ik zak? programmering inhoud regelgeving

17 Toetsprogramma Inhoudelijke sturing wat: kwaliteit inhoud Strategische sturing wanneer: en als ik zak? rendement programmering regelgeving

18 De lat omhoog: Inhoudelijke sturing wat: meer inhoud en/of cesuur? Strategische sturing wanneer: en als ik zak? programmering vaak toetsen regelgeving minder hertentamens

19 Wat moet ik er voor doen? Alles zoals omschreven!

20 Professional authenticity A simple model of competence Does Behaviour Shows how Knows how Knows Cognition Miller GE. The assessment of clinical skills/competence/performance. Academic Medicine (Supplement) 1990; 65: S63-S7.

21 Climbing the pyramid... Does Performance assessment in vivo: Masked SPs, Video, Audits.. Shows how Knows how Knows Performance assessment in vitro: OSCE, SP-based test.. (Clinical) Context based tests: MCQ, essay type, oral.. Factual tests: MCQ, essay type, oral..

22 Strategische sturing hoe krijg je de student achter zijn bureau wat helpt niet BSA 4 jaar voor 3-jarige opleiding vrijstellende toetsing vrijblijvendheid faal -beleid Stegers et al, 2011,

23 Programmering en regels grote onderdelen ECTS: alles of niets 6 studieonderdelen max of jaarklassen? De Gruijter, 1989 Cohen-Schotanus, 1995 Baars et al, 2012 en 2013

24 Rendement (%) jaarklassen (60 ECTS) Erasmus oud jaarklas Bestuurskunde 1 jaar jaar 54 Sociologie 1 jaar jaar 48 Psychologie 1 jaar jaar 68 Spaai et al, 2012

25 Programmering en regels grote onderdelen ECTS: alles of niets 6 studieonderdelen max of jaarklassen? deeltoetsen verdeling studielast Wijnen, 1986 Rekveld & Starren, 1994

26 Cumulatieve toetsing umcg integrale kennistoetsing over blok van 10 weken (mc, open en gesloten boek) tussentijdse toetsen uitslagbepaling op eind herhaling stof binnen toets hertentamen alles in 1 keer (zomer)

27 Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen tentamen toets 1 toets 2 toets Hertentamen in zomer: 100 vragen over hele blok

28 Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen voordelen regelmatig studeren tentamen herhaling 20 studiestof geen concurrentie compensatie revisie mogelijk toets 1 toets 2 toets hertentamen onaantrekkelijk Herkansing in zomer: 100 vragen over hele blok

29 Tijdbesteding end-of-block versus cumulatieve toetsing end-of block cumulatief Week Week Week Week Week Week Week Week Week Week Kerdijk et al, 2013 (submitted)

30 Zelfstudietijd end-of-block versus cumulatieve toetsing end-of block cumulatief Week Week Week Week Week Week Week Week Week Week Kerdijk et al, 2013 (submitted)

31 Resultaten (% goede antwoorden) end-of block vs cumulatief end-of block cumulatief Week Week Week 9-10 ** Kerdijk et al, 2013 (submitted)

32 Programmering en regels grote onderdelen ECTS: alles of niets 6 studieonderdelen max of jaarklassen? deeltoetsen verdeling studielast compensatie correctie onbetrouwbaarheid alleen bij 1 e reguliere deelname Wordt alleen door goede studenten gebruik van gemaakt. (Arnold et al. 2009) Niet altijd zelfde vakken en onafhankelijk van omvang. (Cohen-Schotanus, 1995) De Gruijter, 1989 Cohen-Schotanus, 1995

33 Compensatie Jaarklassen Erasmus (%) geen 1 2 >2 Bestuurskunde Sociologie Psychologie Spaai et al, 2012

34 Wijnen, Jansen, Hofstee, Cohen-Schotanus, Cohen-Schotanus & vd Vleuten, 1996 & 2010 Programmering en regels grote onderdelen ECTS: alles of niets 6 studieonderdelen max of jaarklassen? deeltoetsen verdeling studielast compensatie correctie onbetrouwbaarheid alleen bij 1 e reguliere deelname hertentamen cesuur niet te dicht bij reguliere afname beperkt aantal

35 Cesuur (slaag/zak grens) Groningen Absoluut: 50-60% kennis (gecorrigeerd voor raden) Maastricht Relatief: gemiddelde prestatie (minus standaard meetfout)

36 % gezakten voor 54 toetsen 100 cesuur: 60% kennis Groningen

37 Goed min Fout Kennisniveau bij 54 toetsen 60 cesuur: gemiddelde minus standaard meetfout Maastricht

38 Gemiddeld % gezakte studenten per toets Maastricht 54 Groningen

39 Resultaten voortgangstoets

40 Toets als steekproef makkelijk gemiddeld moeilijk

41 Wat te doen aan toetskwaliteit en rendement? Focus beleid: van falende naar nominale student nominaal = normaal (= lat omhoog) duidelijke eisen mbt totaalpakket (= lat omhoog) compensatie binnen nominale termijn ( lat omlaag) verdedigbare cesuur methode ( lat omlaag)

42 Accreditatie 3 standaarden voor beperkte visitatie Beoogde eindkwalificaties Onderwijsleeromgeving Toetsing en gerealiseerde eindkwalificaties

43 Accreditatie facetten bij adequaat systeem van toetsing Vertaling eindkwalificaties in toetsprogramma Toetsbeleid en plan (en de uitwerking daarvan) Procedures: feedback, transparantie, cesuur, scripties Functioneren examencommissie Kwaliteitsbewaking toetsing: voor en na afname, betrouwbaarheid, validiteit, respresentativiteit, blauwdrukken

44 Onderwijscyclus doel toets middel

45 Onderwijscyclus belangstelling docent toets middel = onderwijsprogramma

46 belangstelling student Onderwijscyclus toetsprogramma

47 Onderwijscyclus inconsistentie: toetsprogramma = onderwijsprogramma winnaar!!

48 Students don learn what you expect, they learn what you inspect toetsprogramma = onderwijsprogramma winnaar!!

49 Onderwijscyclus Alignment is het toverwoord doel toets middel

50 Toetsprogramma s Goede toetsing is duur Perfecte toets bestaat niet Uitvoerbaar en verdedigbaar

51 Wat te doen bij financieel management? Hoe kunt u daaraan bijdragen?

52 Visie op onderwijs is visie op toetsing