Modelmatige analyse van het Bindend Studieadvies

Vergelijkbare documenten
. Dan geldt P(B) = a d. 3 8

Vandaag. Onderzoeksmethoden: Statistiek 2. Basisbegrippen. Theoretische kansverdelingen

TECHNISCHE UNIVERSITEIT EINDHOVEN

STUDIEBEGELEIDING IN GRONINGEN

Faculteit der Rechtsgeleerdheid. Bindend Studieadvies. student. uva.nl/ rechten

Tentamen Kansrekening en Statistiek (2WS04), woensdag 30 juni 2010, van uur.

werkcollege 6 - D&P9: Estimation Using a Single Sample

Tentamen Kansrekening en Statistiek MST 14 januari 2016, uur

STUDIEBEGELEIDING IN GRONINGEN

INTRODUCTIE & STUDIESUCCES

Vandaag. Onderzoeksmethoden: Statistiek 3. Recap 2. Recap 1. Recap Centrale limietstelling T-verdeling Toetsen van hypotheses

STUDIEKEUZEGESPREKKEN BIJ LIBERAL ARTS AND SCIENCES

STUDIEBEGELEIDING IN GRONINGEN

introductie populatie- steekproef- steekproevenverdeling pauze parameters aannames ten slotte

Erasmus MC. Bindend Studieadvies. Geneeskunde

We illustreren deze werkwijze opnieuw a.h.v. de steekproef van de geboortegewichten

Les 1: Waarschijnlijkheidrekening

Uitwerkingen Mei Eindexamen VWO Wiskunde C. Nederlands Mathematisch Instituut Voor Onderwijs en Onderzoek

Studiebegeleiding aan de TU Delft

Bindend Studieadvies (BSA)

Een structurele en instellingsbrede aanpak voor studiesuccesverbetering. Jeanet Schuring Hanzehogeschool Groningen

EWMA Control Charts in Statistical Process Monitoring I.M. Zwetsloot

Studiekeuzegesprekken: zinvol of onzin? Marieke de Bakker, Universiteit Utrecht

Robuustheid regressiemodel voor kapitaalkosten gebaseerd op aansluitdichtheid

Toetsende Statistiek, Week 2. Van Steekproef naar Populatie: De Steekproevenverdeling

Economie en Bedrijfseconomie. Faculteit der Economische Wetenschappen en Bedrijfskunde

Wiskunde B - Tentamen 2

Statistiek I Samenvatting. Prof. dr. Carette

HOVO statistiek November

Stochastiek 2. Inleiding in the Mathematische Statistiek. staff.fnwi.uva.nl/j.h.vanzanten

Waarom falen (zoveel) studenten in het hoger onderwijs?

Wat is het verschil tussen deze opleiding bij de TU Delft en die bij een andere universiteit?

Introductie Bacheloropleiding Psychologie

TECHNISCHE UNIVERSITEIT EINDHOVEN. Faculteit Wiskunde en Informatica

TECHNISCHE UNIVERSITEIT EINDHOVEN. Faculteit Wiskunde en Informatica

Nominaal is normaal bij FSW

TECHNISCHE UNIVERSITEIT EINDHOVEN Faculteit Wiskunde en Informatica. Tentamen Statistiek (2DD14) op vrijdag 17 maart 2006, uur.

Inleiding Applicatie Software - Statgraphics

Geneeskundestudenten met risico op studie-uitval en -vertraging: kenmerken en mogelijke interventies

Aan: FR Van: FB Betreft: Wijzigingen GMW OER-en Algemeen:

Inleiding Applicatie Software - Statgraphics. Beschrijvende Statistiek

(ZELF)SELECTIE IN DE LERARENOPLEIDING: PROBLEMEN, INTERVENTIES MECHANISMEN UITKOMSTEN. Jacqueline Kösters Velon 2017

Hoofdstuk 5 Een populatie: parametrische toetsen

Bindend studieadvies. Een onderzoek naar de meningen en ervaringen van eerstejaars bachelorstudenten aan de Universiteit Utrecht

Studiebegeleiding: de studieadviseur en de student

6.1 Beschouw de populatie die beschreven wordt door onderstaande kansverdeling.

Welkom bij: Open dag 4 maart Bacheloropleiding Diergeneeskunde

A. Nadere facultaire invulling van onderstaande artikelen uit de HU-OER

Tentamen Biostatistiek 1 voor BMT (2DM40) woensdag 2 november 2011, uur

A. Nadere facultaire invulling van onderstaande artikelen uit de HU-OER

r ipboek voor ouders over studiekeuze

Zoek het uit! Studiekeuze123

HOOFDSTUK 7: STATISTISCHE GEVOLGTREKKINGEN VOOR DISTRIBUTIES

SOCIALE STATISTIEK (deel 2)

Bijlage 5: Kwantitatieve analyse

Voorlichtingsdag Bedrijfskunde. Faculteit der Economische Wetenschappen en Bedrijfskunde

Studieloopbaan en Loopbaanorientatie

Cursus TEO: Theorie en Empirisch Onderzoek. Practicum 2: Herhaling BIS 11 februari 2015

Uitleg over de OER Alles wat iedere student moet weten over zijn of haar Onderwijs- en Examenregeling (OER)

Premasterprogramma Psychologie 11 maart Jan van Rooij Serena Verdonk Margot Starkenburg

1. Een van mijn collega s, liet een mooi verhaal zien: De opgave was: Los op ln(x + 2) ln(x + 1) = 1.

VOOR HET SECUNDAIR ONDERWIJS

Anne Sytske Keijser secretaris examencommissie Talen en culturen van China

Samenvatting Nederlands

Adviezen voor studiekiezers op basis van de Startmonitor

Inhoud. Introductie tot de cursus

Introductie Bachelor Psychologie

Oefenvragen bij Statistics for Business and Economics van Newbold

SPSS Introductiecursus. Sanne Hoeks Mattie Lenzen

Bijlage Onderwijs- en Examenregeling (OER) Master Programma van Pedagogische Wetenschappen. Faculteit der Gedrags- en Maatschappijwetenschappen

1 of 7 12/23/ :44 PM

Voorlichting Econometrie & Operationele Research. Faculteit der Economische Wetenschappen en Bedrijfskunde

Welkom bij Diergeneeskunde

Filosofie voor de Wetenschappen

Statistiek in de alfa en gamma studies. Aansluiting wiskunde VWO-WO 16 april 2018

Studeren aan het hbo. W i n d e s h e i m z e t k e n n i s i n w e r k i n g

FOR DUTCH STUDENTS! ENGLISH VERSION NEXT PAGE. Toets Inleiding Kansrekening 1 22 februari 2013

Uitgebreide Pilot Nominaal = Normaal aan de Erasmus Universiteit Rotterdam

Focus op Studiesucces Oogzorgopleidingen Optometrie & Orthoptie

Feiten en cijfers. Afgestudeerden en uitvallers in het hoger beroepsonderwijs. Mei 2015

Transcriptie:

Modelmatige analyse van het Bindend Studieadvies Rijksuniversiteit Groningen Casper Albers, Hans Beldhuis, Carlien Vermue, Taco de Wolff DAIR Kennissessie, november 2014

Doel kennissessie 1 Inleiding geven in het BSA-model zoals het door ons is ontwikkeld 2 Deelnemers analyses laten doen op basis van gegevens van hun eigen opleiding 3 Resultaten onderling bespreken. Zijn er patronen zichtbaar? Bv. HBO vs universiteit Effect van hoogte BSA-drempel Doen β-opleidingen het structureel beter/slechter dan α, etc. BSA Model Introductie 2 / 38

Inleiding BSA Een propedeuse bestaat uit ECTS Werking van het Binding Study Advice (BSA): Kies een drempel B { score < B ECTS Negatief advies score B (Voorlopig) positief advies Beoogd doel BSA: wegsturen van studenten waarvan de kans op bachelor binnen (bv.) 4 jaar te laag is. BSA Model Introductie 3 / 38

Doel van het model Modelleren van 1 Studieresultaten; zowel op individueel als groepsniveau, voor alle propedeuses van de RUG 2 Mogelijkheid om informatie te aggregeren naar facultair en universitair niveau 3 Bestudering van invloed keuze B Wel interessant, maar geen doel: 1 Wat is de relatie vooropleiding studiesucces? 2 Zijn er bepaalde clusters moeilijke vakken in een opleiding? 3 Zijn er verschillen M/V, autochtoon/allochtoon, etc.? 4 Alles dat met studiesucces na jaar 1 te maken heeft BSA Model Introductie 4 / 38

Data waarop model gebaseerd is 2010/2011, 2011/2012: B = 40. 2012/2013: B = 45. Voor alle ( 60) bacheloropleidingen aan de RUG hebben we voor alle propedeusevakken: n 1, m 1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen n 2, m 2, n 3, m 3,...: aantal deelnemers (totaal/succesvol) aan volgende kans tentamens Hieruit halen we p 1 = m 1 /n 1 : kans dat de student het vak de 1e keer haalt p t = p 1 + (1 p 1 )m 2 /n 2 +...: (ongeveer) slaagkans voor het vak in jaar 1. Bij verreweg de meeste vakken ligt p t tussen.75 en.85. Daarnaast hebben we de ECTS frequentietabel (m.u.v. speciale studenten ) BSA Model Introductie 5 / 38

Data waarop model gebaseerd is 2010/2011, 2011/2012: B = 40. 2012/2013: B = 45. Voor alle ( 60) bacheloropleidingen aan de RUG hebben we voor alle propedeusevakken: n 1, m 1 : aantal deelnemers (totaal/succesvol) aan eerste kans tentamen n 2, m 2, n 3, m 3,...: aantal deelnemers (totaal/succesvol) aan volgende kans tentamens Hieruit halen we p 1 = m 1 /n 1 : kans dat de student het vak de 1e keer haalt p t = p 1 + (1 p 1 )m 2 /n 2 +...: (ongeveer) slaagkans voor het vak in jaar 1. Bij verreweg de meeste vakken ligt p t tussen.75 en.85. Daarnaast hebben we de ECTS frequentietabel (m.u.v. speciale studenten ) BSA Model Introductie 5 / 38

Voorbeeld: een willekeurige opleiding BSA Model Introductie 6 / 38

Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

Wat willen we doen Modelleren van de resultaten: overzichtelijke samenvattingen, zodat we cursussen binnen een curriculum kunnen vergelijken, en curricula onderling. Uitspraak doen over effect van verandering BSA-drempel B op studiesucces. Vragen 1 en 2 al uitgevoerd op RUG-data. Doel van vandaag: antwoord uitbreiden aan de hand van data andere universiteiten/hogescholen. BSA Model Introductie 7 / 38

Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

Onderwerpen presentatie Introductie Poging 1: een simplistisch model Modeluitbreiding die toestaat dat student-capabiliteit wisselt Modeluitbreiding die opleidingen met vakken van verschillend aantal ECTS aankan Laten zien dat dat model goed past bij de data Bespreking van de resultaten BSA Model Introductie 8 / 38

Het basismodel BSA Model Basismodel 9 / 38

Basismodel voor een opleiding met 12 vakken van 5 ECTS Bij RUG: veel opleidingen bestaan uit 12 5 ECTS vakken. Aanname 1: geen variatie tussen cursussen: slaagkans p t is hetzelfde bij alle vakken; Aanname 2: geen variatie tussen studenten: slaagkans p t is hetzelfde bij alle studenten; Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS haalt) wordt gegeven door de binomiale verdeling: ( ) n P(X = k) = pt k (1 p t ) n k. k P(minstens 9 5 = 45 ECTS) = 12 k=9 P(X = k), enz. BSA Model Basismodel 10 / 38

Basismodel voor een opleiding met 12 vakken van 5 ECTS Bij RUG: veel opleidingen bestaan uit 12 5 ECTS vakken. Aanname 1: geen variatie tussen cursussen: slaagkans p t is hetzelfde bij alle vakken; Aanname 2: geen variatie tussen studenten: slaagkans p t is hetzelfde bij alle studenten; Dan: de kans dat een student voor k vakken slaagt (en dus 5k ECTS haalt) wordt gegeven door de binomiale verdeling: ( ) n P(X = k) = pt k (1 p t ) n k. k P(minstens 9 5 = 45 ECTS) = 12 k=9 P(X = k), enz. BSA Model Basismodel 10 / 38

Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

Basismodel voor een opleiding met 12 vakken van 5 ECTS Aanname 1, gelijke moeilijkheid van het vak: niet te ver naast de waarheid; doorgaans slechts kleine verschillen in p t per vak; Aanname 2, gelijke kwaliteit van studenten: gaat overduidelijk niet op. De data zijn te verspreid voor een binomiale verdeling: te veel goede en te veel slechte, te weinig gemiddelde studenten Beide aannames loslaten kan niet: dan is model overgeparametriseerd. Daarom laten we Aanname 2 los. BSA Model Basismodel 11 / 38

Het beta-binomiale model BSA Model Beta-binomiaal model 12 / 38

Het Beta-binomiale model Aanname 1 - gelijke vakmoeilijkheid - blijft. We staan student-variabiliteit toe: π i Beta(α, β), met π i de kans dat student i slaagt voor een tentamen f (x) = x α 1 (1 x) β 1. B(α, β) density 0 1 2 3 4 α = 6 α = 4 α = 2 Poor Median Good 0.0 0.2 0.4 0.6 0.8 1.0 skill BSA Model Beta-binomiaal model 13 / 38

Het Beta-binomiale model Gemiddelde slaagkans = α/(α + β); kies β = (1 p t )α/p t, dan geldt gemiddelde = p t. α beschrijft de mate van variabiliteit in studenten-capabiliteit. p t gemiddelde capabiliteit. Na het selecteren van π i, de capabiliteit van student i, worden de kansen op het halen van x tentamens berekend via de Bin(n, π i ) verdeling. Deze beta-binomiale verdeling past veel beter bij de data. P(X = k n, α, p t ) = ( ) n B(k + α, n k 1 p p α) k B(α, 1 p p α) BSA Model Beta-binomiaal model 14 / 38

Het Beta-binomiale model Gemiddelde slaagkans = α/(α + β); kies β = (1 p t )α/p t, dan geldt gemiddelde = p t. α beschrijft de mate van variabiliteit in studenten-capabiliteit. p t gemiddelde capabiliteit. Na het selecteren van π i, de capabiliteit van student i, worden de kansen op het halen van x tentamens berekend via de Bin(n, π i ) verdeling. Deze beta-binomiale verdeling past veel beter bij de data. P(X = k n, α, p t ) = ( ) n B(k + α, n k 1 p p α) k B(α, 1 p p α) BSA Model Beta-binomiaal model 14 / 38

Het Beta-binomiale model Schatting via de momentenmethode: µ = np t and σ 2 = np t (1 p t ) ( 1 + n + 1 ), α + β + 1 vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. Het is een twee-parameter model en, onder zeer milde voorwaarden, doet de keuze van parametrisatie (α, β / p t, α / µ, σ 2 ) er niet toe BSA Model Beta-binomiaal model 15 / 38

Het Beta-binomiale model Schatting via de momentenmethode: µ = np t and σ 2 = np t (1 p t ) ( 1 + n + 1 ), α + β + 1 vervang µ en σ 2 door steekproefgemiddelde en -variantie, en leid zo de schatters af. Het is een twee-parameter model en, onder zeer milde voorwaarden, doet de keuze van parametrisatie (α, β / p t, α / µ, σ 2 ) er niet toe BSA Model Beta-binomiaal model 15 / 38

Voorbeeld: een van onze opleidingen (n = 69) P(at least temporary positive advice) 0% 25% 50% 75% 100% Data BBM Binomial 0 10 20 30 40 50 60 BSA threshold B BSA Model Beta-binomiaal model 16 / 38

Propedeuses met keuzevakken Een deel van de opleidingen heeft keuzevakken in de propedeuse Vaak via ingewikkelde voorwaarden ( als je van A doet, moet je B ook doen, je mag C en D niet allebei kiezen ) Er is dan niet meer direct sprake van de propedeuse Aanpak: voor elke propedeuse maken we een default profiel met de 60ECTS aan meestgevolgde vakken. We nemen aan dat dit profiel representatief is voor de hele opleiding. BSA Model Technische details rond het model 17 / 38

Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

Opleidingen met vakken van niet elk evenveel ECTS Wat als niet alle vakken evenveel ECTS zijn, maar bijv. 10 5, 4, 3 en 3 ECTS? Elk vak heeft nog steeds dezelfde slaagkans π i, slechts verschillende ECTS. Het idee achter het model blijft ongewijzigd. De uitvoering is een wat grotere uitdaging: 1 Gebaseerd op de ECTS frequentietabel en het aantal vakken, T,schat α en p t. 2 Zet de 7 scenario s op gebaseerd op die schatters. 3 Voor elk scenario, bereken de 2 T mogelijkheden. 4 Maak dit overzichtelijk BSA Model Technische details rond het model 18 / 38

Schatten p t kan direct geschat worden, α niet. Bereken de empirische kansdichtheidfunctie en de theoretische kansdichtheidsfunctie voor een aantal mogelijke α s Selecteer de α die de beste curve oplevert (in Kolmogorov-Smirnov afstand) Distribution function 1 Data α = 0.5 α = 2 α = 5 max(abs(distance)) 0.1 0.2 0.3 0 1 Performance 0 1 2 3 4 5 α^ BSA Model Technische details rond het model 19 / 38

Alle mogelijkheden Binomiale model: ga alle 2 T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50? BSA Model Technische details rond het model 20 / 38

Alle mogelijkheden Binomiale model: ga alle 2 T mogelijke uitkomsten langs. Bij elke uitkomst, bereken total ECTS-score en kans. Beta-binomiale model: 1. Trek een willekeurige student uit de beta verdeling. 2. Voer voor deze student het binomiale model uit. 3. Herhaal 1 en 2 duizenden keren. 4. Vat samen. Hoeveel van die duizenden slagen/zaken voor BSA, bv als B = 45 of B = 50? BSA Model Technische details rond het model 20 / 38

Scenario s BSA Model Scenario s 21 / 38

Uitgewerkte scenario s We hebben schatters voor slaagkans p t en variatie α, dit is te gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. We werken daarnaast met verschillende scenario s en bestuderen het gevolg van een BSA-hoogte B hiervoor. Scenario s zijn o.a. goede student, slechte student, huidig cohort. BSA Model Scenario s 22 / 38

Uitgewerkte scenario s We hebben schatters voor slaagkans p t en variatie α, dit is te gebruiken om opleidingen te vergelijken: welke opleidingen zijn homogener, welke hebben hogere slaagkans, etc. We werken daarnaast met verschillende scenario s en bestuderen het gevolg van een BSA-hoogte B hiervoor. Scenario s zijn o.a. goede student, slechte student, huidig cohort. BSA Model Scenario s 22 / 38

Scenario s Populatie-scenario s: Complete cohort inclusief 95% interval Student-scenarios: De mediaanstudent : 50% van het cohort is beter, 50% is slechter Een slechte student: 67% van het cohort is beter, 33% is slechter Een goede student: 33% van het cohort is beter, 67% is slechter (Keuze voor 33% en 67% is subjectief.) BSA Model Scenario s 23 / 38

Scenario s density 0 1 2 3 4 α = 6 α = 4 α = 2 Poor Median Good 0.0 0.2 0.4 0.6 0.8 1.0 BSA Model Scenario s 24 / 38 skill

Voorbeeld: [een andere opleiding] BSA Model Scenario s 25 / 38

Aggregeren BSA Model Aggregeren 26 / 38

Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

Geaggregeerde resultaten Het model is gereed, gevalideerd en toegepast over 3 jaren op ca. 60 Bacheloropleidingen. In totaal zo n 180 uitwerkingen van 7 scenario s. Information overflow. Hoe goed de opleiding Sociologie of Wiskunde het doet is interessant voor die opleiding. Niet direct voor RUG als geheel. Doel: aggregeren op faculteitsniveau. BSA Model Aggregeren 27 / 38

Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = 500 1000 BSA-curve A + 300 1000 BSA-curve B + 200 1000 BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = 500 1000 BSA-curve A + 300 1000 BSA-curve B + 200 1000 BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

Geaggregeerde resultaten Clusteren op faculteitsniveau is eenvoudig: Neem een gewogen gemiddelde van de curves van de opleidingen van een faculteit. De gewichten zijn de studentaantallen Voorbeeld: Faculteit X heeft 1000 eerstejaarsstudents: opleiding A: 500, B: 300, C: 200 BSA-curve voor faculteit als geheel: = 500 1000 BSA-curve A + 300 1000 BSA-curve B + 200 1000 BSA-curve C. Zelfde idee: RUG-curve is gewogen gemiddelde van de (9) faculteiten BSA Model Aggregeren 28 / 38

Resultaten BSA Model Resultaten 29 / 38

Een alfa, beta en gammastudie - cohortcurves (γ) (α) (β) P(no negative study advice) 0% 25% 50% 75% 100% 2010/2011 2011/2012 P(no negative study advice) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 P(no negative study advice) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 0 10 20 30 40 50 60 0 10 20 30 40 50 60 0 10 20 30 40 50 60 BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 30 / 38

De γ-studie: cohort vs individueel Cohort Individueel (2010/2011) P(no negative study advice) 0% 25% 50% 75% 100% 2010/2011 2011/2012 0 10 20 30 40 50 60 BSA threshold B P(at least temporary positive advice) 0% 25% 50% 75% 100% Poor Median Good 0 10 20 30 40 50 60 BSA threshold B BSA Model Resultaten 31 / 38

Conclusies n.a.v. studie-plots Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo n 10% schommeling per vak per slaagkans niet ongewoon. Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te hebben op cohort maar kan extreem effect hebben op individu. Zelfs modale studenten lopen bij een te hoge BSA-norm een reëel risico. BSA Model Resultaten 32 / 38

Conclusies n.a.v. studie-plots Redelijk wat variatie tussen jaren met dezelfde BSA-norm. Zo n 10% schommeling per vak per slaagkans niet ongewoon. Een BSA-norm van 5 ECTS hoger of lager lijkt nauwelijks effect te hebben op cohort maar kan extreem effect hebben op individu. Zelfs modale studenten lopen bij een te hoge BSA-norm een reëel risico. BSA Model Resultaten 32 / 38

Resultaten: Faculteit X (populatie) BSA Model Resultaten 33 / 38

Faculteit X per jaar Cohort Individueel (B = 40) Individueel (B = 45) Proportion with at least B credits 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 0 10 20 30 40 50 60 0 10 20 30 40 50 60 0 10 20 30 40 50 60 BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 34 / 38

RUG Cohort Individueel (B = 40) Individueel (B = 45) Proportion with at least B credits 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 P(at least B credits) 0% 25% 50% 75% 100% 2010/2011 2011/2012 2012/2013 0 10 20 30 40 50 60 0 10 20 30 40 50 60 0 10 20 30 40 50 60 BSA threshold B BSA threshold B BSA threshold B BSA Model Resultaten 35 / 38

Conclusies geaggregeerde plots Meer data dus kleinere onzekerheidsmarges Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 Duidelijke verschillen tussen faculteiten BSA-norm verhoging leidt niet tot betere studieresultaten. Gemiddeld haalde men in 2012/2013 (B = 45) zo n 4.8 ECTS meer dan daarvoor (B = 40) Maar verbetering komt met name door programma-aanpassingen Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten vergelijkbaar? BSA Model Resultaten 36 / 38

Conclusies geaggregeerde plots Meer data dus kleinere onzekerheidsmarges Toch nog aanzienlijke verschillen 2010/2011 en 2011/2012 Duidelijke verschillen tussen faculteiten BSA-norm verhoging leidt niet tot betere studieresultaten. Gemiddeld haalde men in 2012/2013 (B = 45) zo n 4.8 ECTS meer dan daarvoor (B = 40) Maar verbetering komt met name door programma-aanpassingen Bij ongewijzigde vakken steeg slaagkans 1.1%, oftewel 0.7ECTS extra Resultaten tot nu toe op basis van RUG-data. Zijn andere instituten vergelijkbaar? BSA Model Resultaten 36 / 38