Modelmatige analyse van het Bindend Studieadvies

Transcriptie

1 Modelmatige analyse van het Bindend Studieadvies Rijksuniversiteit Groningen Casper Albers, Hans Beldhuis, Carlien Vermue, Taco de Wolff DAIR Kennissessie, november 2014

2 Doel kennissessie 1 Inleiding geven in het BSA-model zoals het door ons is ontwikkeld 2 Deelnemers analyses laten doen op basis van gegevens van hun eigen opleiding 3 Resultaten onderling bespreken. Zijn er patronen zichtbaar? Bv. HBO vs universiteit Effect van hoogte BSA-drempel Doen β-opleidingen het structureel beter/slechter dan α, etc. BSA Model Introductie 2 / 38

3 Inleiding BSA Een propedeuse bestaat uit ECTS Werking van het Binding Study Advice (BSA): Kies een drempel B { score < B ECTS Negatief advies score B (Voorlopig) positief advies Beoogd doel BSA: wegsturen van studenten waarvan de kans op bachelor binnen (bv.) 4 jaar te laag is. BSA Model Introductie 3 / 38

4 Doel van het model Modelleren van 1 Studieresultaten; zowel op individueel als groepsniveau, voor alle propedeuses van de RUG 2 Mogelijkheid om informatie te aggregeren naar facultair en universitair niveau 3 Bestudering van invloed keuze B Wel interessant, maar geen doel: 1 Wat is de relatie vooropleiding studiesucces? 2 Zijn er bepaalde clusters moeilijke vakken in een opleiding? 3 Zijn er verschillen M/V, autochtoon/allochtoon, etc.? 4 Alles dat met studiesucces na jaar 1 te maken heeft BSA Model Introductie 4 / 38

5 Data waarop model gebaseerd is 2010/2011, 2011/2012: B = /2013: B = 45. Voor alle ( 60) bacheloropleidingen aan de RUG hebben we voor alle propedeusevakken: n 1, m 1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen n 2, m 2, n 3, m 3,...: aantal deelnemers (totaal/succesvol) aan volgende kans tentamens Hieruit halen we p 1 = m 1 /n 1 : kans dat de student het vak de 1e keer haalt p t = p 1 + (1 p 1 )m 2 /n : (ongeveer) slaagkans voor het vak in jaar 1. Bij verreweg de meeste vakken ligt p t tussen.75 en.85. Daarnaast hebben we de ECTS frequentietabel (m.u.v. speciale studenten ) BSA Model Introductie 5 / 38

6 Data waarop model gebaseerd is 2010/2011, 2011/2012: B = /2013: B = 45. Voor alle ( 60) bacheloropleidingen aan de RUG hebben we voor alle propedeusevakken: n 1, m 1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen n 2, m 2, n 3, m 3,...: aantal deelnemers (totaal/succesvol) aan volgende kans tentamens Hieruit halen we p 1 = m 1 /n 1 : kans dat de student het vak de 1e keer haalt p t = p 1 + (1 p 1 )m 2 /n : (ongeveer) slaagkans voor het vak in jaar 1. Bij verreweg de meeste vakken ligt p t tussen.75 en.85. Daarnaast hebben we de ECTS frequentietabel (m.u.v. speciale studenten ) BSA Model Introductie 5 / 38

7 Voorbeeld: een willekeurige opleiding BSA Model Introductie 6 / 38

8 Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

9 Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

10 Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

11 Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

12 Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

13 Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

14 Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

15 Het basismodel BSA Model Basismodel 9 / 38

16 Basismodel voor een opleiding met 12 vakken van 5 ECTS Bij RUG: veel opleidingen bestaan uit 12 5 ECTS vakken. Aanname 1: geen variatie tussen cursussen: slaagkans p t is hetzelfde bij alle vakken; Aanname 2: geen variatie tussen studenten: slaagkans p t is hetzelfde bij alle studenten; Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS haalt) wordt gegeven door de binomiale verdeling: ( ) n P(X = k) = pt k (1 p t ) n k. k P(minstens 9 5 = 45 ECTS) = 12 k=9 P(X = k), enz. BSA Model Basismodel 10 / 38

17 Basismodel voor een opleiding met 12 vakken van 5 ECTS Bij RUG: veel opleidingen bestaan uit 12 5 ECTS vakken. Aanname 1: geen variatie tussen cursussen: slaagkans p t is hetzelfde bij alle vakken; Aanname 2: geen variatie tussen studenten: slaagkans p t is hetzelfde bij alle studenten; Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS haalt) wordt gegeven door de binomiale verdeling: ( ) n P(X = k) = pt k (1 p t ) n k. k P(minstens 9 5 = 45 ECTS) = 12 k=9 P(X = k), enz. BSA Model Basismodel 10 / 38

18 Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

19 Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

20 Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

21 Het beta-binomiale model BSA Model Beta-binomiaal model 12 / 38

22 Het Beta-binomiale model Aanname 1 - gelijke vakmoeilijkheid - blijft. We staan student-variabiliteit toe: π i Beta(α, β), met π i de kans dat student i slaagt voor een tentamen f (x) = x α 1 (1 x) β 1. B(α, β) density α = 6 α = 4 α = 2 Poor Median Good skill BSA Model Beta-binomiaal model 13 / 38

23 Het Beta-binomiale model Gemiddelde slaagkans = α/(α + β); kies β = (1 p t )α/p t, dan geldt gemiddelde = p t. α beschrijft de mate van variabiliteit in studenten-capabiliteit. p t gemiddelde capabiliteit. Na het selecteren van π i, de capabiliteit van student i, worden de kansen op het halen van x tentamens berekend via de Bin(n, π i ) verdeling. Deze beta-binomiale verdeling past veel beter bij de data. P(X = k n, α, p t ) = ( ) n B(k + α, n k 1 p p α) k B(α, 1 p p α) BSA Model Beta-binomiaal model 14 / 38

24 Het Beta-binomiale model Gemiddelde slaagkans = α/(α + β); kies β = (1 p t )α/p t, dan geldt gemiddelde = p t. α beschrijft de mate van variabiliteit in studenten-capabiliteit. p t gemiddelde capabiliteit. Na het selecteren van π i, de capabiliteit van student i, worden de kansen op het halen van x tentamens berekend via de Bin(n, π i ) verdeling. Deze beta-binomiale verdeling past veel beter bij de data. P(X = k n, α, p t ) = ( ) n B(k + α, n k 1 p p α) k B(α, 1 p p α) BSA Model Beta-binomiaal model 14 / 38

25 Het Beta-binomiale model Schatting via de momentenmethode: µ = np t and σ 2 = np t (1 p t ) ( 1 + n + 1 ), α + β + 1 vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. Het is een twee-parameter model en, onder zeer milde voorwaarden, doet de keuze van parametrisatie (α, β / p t, α / µ, σ 2 ) er niet toe BSA Model Beta-binomiaal model 15 / 38

26 Het Beta-binomiale model Schatting via de momentenmethode: µ = np t and σ 2 = np t (1 p t ) ( 1 + n + 1 ), α + β + 1 vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. Het is een twee-parameter model en, onder zeer milde voorwaarden, doet de keuze van parametrisatie (α, β / p t, α / µ, σ 2 ) er niet toe BSA Model Beta-binomiaal model 15 / 38

27 Voorbeeld: een van onze opleidingen (n = 69) P(at least temporary positive advice) 0% 25% 50% 75% 100% Data BBM Binomial BSA threshold B BSA Model Beta-binomiaal model 16 / 38

28 Propedeuses met keuzevakken Een deel van de opleidingen heeft keuzevakken in de propedeuse Vaak via ingewikkelde voorwaarden ( als je van A doet, moet je B ook doen, je mag C en D niet allebei kiezen ) Er is dan niet meer direct sprake van de propedeuse Aanpak: voor elke propedeuse maken we een default profiel met de 60ECTS aan meestgevolgde vakken. We nemen aan dat dit profiel representatief is voor de hele opleiding. BSA Model Technische details rond het model 17 / 38

29 Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

30 Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

31 Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

32 Schatten p t kan direct geschat worden, α niet. Bereken de empirische kansdichtheidfunctie en de theoretische kansdichtheidsfunctie voor een aantal mogelijke α s Selecteer de α die de beste curve oplevert (in Kolmogorov-Smirnov afstand) Distribution function 1 Data α = 0.5 α = 2 α = 5 max(abs(distance)) Performance α^ BSA Model Technische details rond het model 19 / 38

33 Alle mogelijkheden Binomiale model: ga alle 2 T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50? BSA Model Technische details rond het model 20 / 38

34 Alle mogelijkheden Binomiale model: ga alle 2 T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50? BSA Model Technische details rond het model 20 / 38

35 Scenario s BSA Model Scenario s 21 / 38

36 Uitgewerkte scenario s We hebben schatters voor slaagkans p t en variatie α, dit is te gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. We werken daarnaast met verschillende scenario s en bestuderen het gevolg van een BSA-hoogte B hiervoor. Scenario s zijn o.a. goede student, slechte student, huidig cohort. BSA Model Scenario s 22 / 38

37 Uitgewerkte scenario s We hebben schatters voor slaagkans p t en variatie α, dit is te gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. We werken daarnaast met verschillende scenario s en bestuderen het gevolg van een BSA-hoogte B hiervoor. Scenario s zijn o.a. goede student, slechte student, huidig cohort. BSA Model Scenario s 22 / 38

38 Scenario s Populatie-scenario s: Complete cohort inclusief 95% interval Student-scenarios: De mediaanstudent : 50% van het cohort is beter, 50% is slechter Een slechte student: 67% van het cohort is beter, 33% is slechter Een goede student: 33% van het cohort is beter, 67% is slechter (Keuze voor 33% en 67% is subjectief.) BSA Model Scenario s 23 / 38

39 Scenario s density α = 6 α = 4 α = 2 Poor Median Good BSA Model Scenario s 24 / 38 skill

40 Voorbeeld: [een andere opleiding] BSA Model Scenario s 25 / 38

41 Aggregeren BSA Model Aggregeren 26 / 38

42 Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

43 Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

44 Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

45 Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = BSA-curve A BSA-curve B BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

46 Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = BSA-curve A BSA-curve B BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

47 Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = BSA-curve A BSA-curve B BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

48 Resultaten BSA Model Resultaten 29 / 38

49 Een alfa, beta en gammastudie - cohortcurves (γ) (α) (β) P(no negative study advice) 0% 25% 50% 75% 100% 2010/ /2012 P(no negative study advice) 0% 25% 50% 75% 100% 2010/ / /2013 P(no negative study advice) 0% 25% 50% 75% 100% 2010/ / / BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 30 / 38

50 De γ-studie: cohort vs individueel Cohort Individueel (2010/2011) P(no negative study advice) 0% 25% 50% 75% 100% 2010/ / BSA threshold B P(at least temporary positive advice) 0% 25% 50% 75% 100% Poor Median Good BSA threshold B BSA Model Resultaten 31 / 38

51 Conclusies n.a.v. studie-plots Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo n 10% schommeling per vak per slaagkans niet ongewoon. Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te hebben op cohort maar kan extreem effect hebben op individu. Zelfs modale studenten lopen bij een te hoge BSA-norm een reëel risico. BSA Model Resultaten 32 / 38

52 Conclusies n.a.v. studie-plots Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo n 10% schommeling per vak per slaagkans niet ongewoon. Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te hebben op cohort maar kan extreem effect hebben op individu. Zelfs modale studenten lopen bij een te hoge BSA-norm een reëel risico. BSA Model Resultaten 32 / 38

53 Resultaten: Faculteit X (populatie) BSA Model Resultaten 33 / 38

54 Faculteit X per jaar Cohort Individueel (B = 40) Individueel (B = 45) Proportion with at least B credits 0% 25% 50% 75% 100% 2010/ / /2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/ / /2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/ / / BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 34 / 38

55 RUG Cohort Individueel (B = 40) Individueel (B = 45) Proportion with at least B credits 0% 25% 50% 75% 100% 2010/ / /2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/ / /2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/ / / BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 35 / 38

56 Conclusies geaggregeerde plots Meer data dus kleinere onzekerheidsmarges Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 Duidelijke verschillen tussen faculteiten BSA-norm verhoging leidt niet tot betere studieresultaten. Gemiddeld haalde men in 2012/2013 (B = 45) zo n 4.8 ECTS meer dan daarvoor (B = 40) Maar verbetering komt met name door programma-aanpassingen Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten vergelijkbaar? BSA Model Resultaten 36 / 38

57 Conclusies geaggregeerde plots Meer data dus kleinere onzekerheidsmarges Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 Duidelijke verschillen tussen faculteiten BSA-norm verhoging leidt niet tot betere studieresultaten. Gemiddeld haalde men in 2012/2013 (B = 45) zo n 4.8 ECTS meer dan daarvoor (B = 40) Maar verbetering komt met name door programma-aanpassingen Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten vergelijkbaar? BSA Model Resultaten 36 / 38