Maatregelen ter verbetering van het rendement in het Hoger Onderwijs: waar is de evidentie? Janke Cohen-Schotanus 19 juni 2015 ORD Leiden

Transcriptie

1 Maatregelen ter verbetering van het rendement in het Hoger Onderwijs: waar is de evidentie? Janke Cohen-Schotanus 19 juni 2015 ORD Leiden

2 Hoger onderwijs in Nederland Politiek: te laag rendement twijfels over kwaliteit afstuderende

3 Simpele Boodschap De lat moet omhoog! Voor wie? En hoe?

4 De lat moet omhoog! BSA Bredere BA opleidingen Intensiever onderwijs Intake gesprekken Effect?? Meer contacttijd Selectie Strenge eisen Studiebegeleiding Verhogen kwaliteit docenten

5 Meeste maatregelen gericht op 1e jaars studenten

6 Plannen 1 e jaars Propedeuse in 1 jaar halen Liefst cum laude

7 nominaal studeren hoeft niet Signalen voor 1 e jaars driekwart van aantal punten is voldoende (BSA) veel tijd voor herkansingen in programma s belangrijk dat je dingen naast je studie doet (werken aan je cv) Herkansen en studievertraging is normaal!

8 Onze oordelen over vertragers niet gemotiveerd onvoldoende voorkennis lage cijfers VWO/HAVO zwakke profielen selectie nodig besteden te weinig tijd aan de studie drinken te veel te veel bijbaantjes Studievertraging: schuld student!

9 Studievertraging Schuld student? Wat kan een opleiding aan studievertraging doen?

10 Propedeuserendement GNK als voorbeeld 8 faculteiten (in NL) gemeenschappelijke eindtermen vergelijkbare inhoud programma s homogene instroom studenten (Roeleveld, 1997) rendementsverschillen?

11 Finale propedeuse rendementen (%) 8 medische faculteiten jaar

12 Propedeuserendement GNK Hoe hoog schat je het nominale propedeuse rendement ( 1 jaar)? Hoe groot mogen de verschillen tussen faculteiten zijn?

13 Nominale propedeuse rendementen 8 medische faculteiten jaar

14 Propedeuserendement GNK Verschillen in: Onderwijsvormen Toetsing

15 Onderzoek Onderwijsvormen 1 Curricula met accent op actief leren: hoger rendement en snellere doorstroom (Lonka en Ahola 1995, Olds en Miller 2004, Van den Berg en Hofman 2005, Schmidt et al, 2009) Schmidt et al 8 faculteiten geneeskunde, 10 cohorten (N=13.845) Actief leren: 8% meer afgestudeerden en 5 maanden korter

16 Onderzoek Onderwijsvormen 2 Heijne-Penninga et al, faculteiten, 2 PBL en 1 traditioneel (n=5478) 4 voortgangstoetsen (4x200 vragen) Traditioneel beter in jaar 1 en 2 PBL beter in jaar 3 en gehele Master periode Betere beklijving met PBL

17 Onderzoek Onderwijsvormen 3 Schmidt et al, 2010 (1 8 faculteiten, uren programma onderdelen: geprogrammeerde zelfstudie, hoorcolleges, practica, tutorgroepen 5 uur meer zelfstudie = 4% meer afgestudeerden hoe meer hoorcolleges, hoe lager rendement geen effect practica en tutorgroepen

18 Propedeuserendement GNK Verschillen in: Onderwijsvormen Toetsing: aantal toetsen, planning, concurrentie, compensatie, cesuurbepaling, herkansingsbeleid

19 Toetsing Assessment drives learning Wat student bestudeert Hoe Hoe veel Hoe effectief Wanneer Biggs et al, 2007

20 Drie vragen van student die studeergedrag beïnvloeden wanneer is de toets? wat moet ik er voor doen? en als ik zak? Cohen-Schotanus, 1994, 2012

21 Drie antwoorden voor student wanneer: just-time-manager 3-4 week wat: homo economicus alle doelen en als ik zak? groot probleem

22 Toetsprogramma wanneer wat en als ik zak? programmering inhoud regelgeving

23 Toetsprogramma Inhoudelijke sturing wat: kwaliteit inhoud Strategische sturing wanneer: en als ik zak? rendement programmering regelgeving

24 Programmering/planning Aantal onderwijseenheden Meer dan 6: kans op onterechte onvoldoende > 50% Geneeskunde: hoe meer vakken, hoe lager rendement Planning toetsmomenten Gemiddelde student begint 2-4 weken voor de toets met voorbereiding De Gruijter, 1989 Concurrentie activiteiten en toetsing Strategisch gedrag van studenten. Eerst geplande toets krijgt meeste aandacht Cohen-Schotanus, 1994, 1995 Van der Drift en Vos, 1987

25 Cumulatieve toetsing GNK RuG keuzes mbt programmering en planning blok van 10 weken is één onderwijseenheid met integrale toetsing tussentijdse toetsen uitslagbepaling (slagen of zakken) op eind blok herhaling stof hertentamen alles in 1 keer (zomer) Cohen-Schotanus, 2012

26 Kerdijk et al, 2014 Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen toets 1 toets 2 toets Hertentamen in zomer: 100 vragen over hele blok

27 Cumulatieve toetsing blok 10 weken, integrale bloktoets met 200 vragen 3 deeltoetsen voordelen regelmatig studeren herhaling 20 studiestof geen concurrentie compensatie revisie mogelijk toets 1 toets 2 toets hertentamen onaantrekkelijk Herkansing in zomer: 100 vragen over hele blok

28 Tijdbesteding end-of-block versus cumulatieve toetsing end-of block cumulatief Week 1* 4 7 Week 2* 4 8 Week 3* 6 13 Week 4* 6 28 Week Week 6* 8 12 Week 7* Week 8* Week Week 10* * Sign p<.05 Kerdijk et al, 2015

29 Zelfstudietijd end-of-block versus cumulatieve toetsing end-of block cumulatief Week Week Week Week Week Week Week Week Week Week Kerdijk et al, 2015

30 Resultaten (% goede antwoorden) end-of block vs cumulatief end-of block cumulatief Week Week Week 9-10 ** Kerdijk et al, 2015

31 Taatgen 2009

32 Herkansing Regelgeving Lager rendement bij meerdere herkansingen (Jansen, 1995) Niet plannen tijdens regulier onderwijs (Cohen-Schotanus, 2012) Compensatie Maken vooral goede studenten gebruik van (Arnold, 2009) Alle vakken worden gecompenseerd (Cohen-Schotanus, 1995) Cesuur Elke cesuur die niet corrigeert voor moeilijkheid van toets deugt niet (vele studies, zie bijv. Cohen-Schotanus & Van der Vleuten 2010) BSA BSA van 60 studiepunten lijkt best te voldoen

33 Bindend Studie Advies (Academic Dismissal Policy) < studiepunten: opleiding verlaten Bij GNK: Geen rendementsverbetering na twee studiejaren ondanks extra studiebegeleiding Verklaring: plafond of drempel? Stegers-Jager et al, 2011 & 2015 Eijsvolgels et al, 2015

34 Rendement (%) jaarklassen (60 ECTS) Erasmus oud jaarklas Bestuurskunde 1 jaar jaar 54 Sociologie 1 jaar jaar 48 Psychologie 1 jaar jaar 68 Baars et al, 2012

35 Cesuur (slaag/zak grens) Groningen Absoluut: vast kennisniveau (50-60%) gevolg: (grote) variatie in slaag/zak % Maastricht Relatief: gevolg: gemiddelde prestatie (minus standaard meetfout) variatie in kennispercentage

36 Gemiddeld % gezakte studenten per toets Maastricht 54 Groningen Cohen-Schotanus & Van der Vleuten, 2010

37 Resultaten voortgangstoets

38 Toets als steekproef makkelijk gemiddeld moeilijk

39 Cesuur Cesuurbepaling waarbij geen rekening wordt gehouden met moeilijkheid van de toets deugt niet Onze hang naar absolute cesuren van % leidt tot grote groepen onterecht gezakte studenten en houdt onze zakcultuur in stand

40 Wat te doen aan doorstroom en rendement? Focus toetsbeleid: van falende naar nominale student nominaal = normaal (= lat omhoog) duidelijke eisen mbt totaalpakket (= lat omhoog) compensatie binnen nominale termijn ( lat omlaag) verdedigbare cesuur methode ( lat omlaag)

41 Selectie Doel: voorspelling student geschikt ongeschikt toelaten XXXXX selectie afwijzen XXXXX

42 Groningen 1000 kandidaten 90% geschikt 400 plaatsen student geschikt ongeschikt toelaten loting afwijzen

43 Voorspellers Persoonskenmerken: geslacht, leeftijd, afkomst, persoonlijkheid (conscientiousness en persistence), aanleg (aptitude) Voorgaande studieprestaties: eindexamencijfer Scores op MMI s: multiple mini-interviews Situational Judgment tests Siu & Reiter, 2009 Cohen-Schotanus & Van Trigt, 2015

44 Wat voorspelt niet individuele gesprekken referenties emotionele intelligentie test persoonlijkheidstest personal statements motivatie/attitude/commitment metingen Siu & Reiter, 2009

45 Onderzoek effecten van selectie Algemeen probleem: je weet nooit hoe niet-geselecteerden het zouden hebben gedaan Unieke situatie Nederland: niet-geselecteerden worden door loting (voor een deel) toch toegelaten

46 Geselecteerde versus ingelote studenten Geen verschillen (Utrecht, Leiden) Hogere cijfers (AMC, ErasmusMC 1 ) Meer ECTS na 1 jaar (AMC) Lagere kans drop out (ErasmusMC 2 ) Meer extra-curriculaire activiteiten (AMC 3 ) Na 2010: Lukt niet goed om gevonden resultaten te repliceren bij andere faculteiten 1. Urlings-Strop ea, 2011, 2 Urlings-Strop ea, 2009, 3 Hulsman ea 2007

47 Instroomgroepen 8+ geselecteerd na afwijzing ingeloot niet meegedaan aan selectie

48 Gemiddelde cijfers 1 e jaar gecorrigeerd voor gender en cohort (n=1031) Cijfer p> > S, LA, L Selectie 6.50 > L Lot na Afwijzing Lot Schripsema et al, 2014

49 Behaalde studiepunten jaar 1 (60 max) EC p> > S, LA, L Selectie 55.1 > L Lot na Afwijzing 53.2 > L Lot

50 Behaalde studiepunten 2 e jaar Gehaald in 2 e inschrijfjaar EC p> > L Selectie 53.7 > L Lot na Afwijzing 52.4 > L Lot

51 Behaalde studiepunten 3 e jaar Gehaald in 3 e inschrijfjaar EC p> Selectie Lot na Afwijzing Lot

52 Professioneel gedrag: goed % goed Odds ratio > L Selectie 53.3 > LA, L Lot na Afwijzing Lot

53 Risicogroep voor studiesucces: Niet meedoen aan selectie Participatie Drop out Cijfers BSA Selectie op inzetbereidheid? Visser 2015

54 Waar hebben we het over? Selectie bij geneeskunde: veel geschikte kandidaten afwijzen en winst erg mager Selectie dure methode om inzet/motivatie te meten? Bias? (geslacht, diversiteit (cultural capital), medisch milieu ) Hoe fair is selectie eigenlijk?

55 Selectie

56 Selectie & loten - - l o t e n ++ Meest fair?

57 Nog een probleem Wat voor dokters hebben we eigenlijk nodig? Krijgen we door selectie niet een eenheidsworst van kandidaten terwijl het veld verschillende typen dokters nodig heeft? Hoe fair is dat?

58 Welke dokters hebben we nodig?

59 De lat moet omhoog! + ++ BSA Bredere?????? BA opleidingen Intensiever onderwijs Intake?????? gesprekken Meer contacttijd Selectie?????? Strenge eisen Studiebegeleiding Verhogen kwaliteit docenten?????? Effect?? TOETSBELEID

60 Visie op onderwijs is visie op toetsing