STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN KNOWVU LEARNING ANALYTICS

STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN KNOWVU LEARNING ANALYTICS 12 OKTOBER 2016

WIE IS THEO BAKKER? Theo Bakker UvA Studie Informatiekunde VU Studie theologie Familie Vrienden Deloitte Theo Bakker, t.c.bakker@vu.nl, 06-25637172 Bron: LinkedIn Maps 2

FACTOREN VOOR SUCCES WELKE FACTOREN ZIJN VOORSPELLEND? Welke drie factoren zijn volgens jou voorspellend voor succes? Schrijf ze op een geeltje...! Bron: http://www.savagechickens.com/tag/funny 3

STUDENT ANALYTICS AAN DE VU WAT IS BIG DATA? VVV V VOLUME VARIETY VELOCITY VALUE 23.425 eerstejaars inschrijvingen 7,8 GB aan data 3.800.000 resultaten 2.000 koppen koffie 752 variabelen 11 bronnen 5 jaar aan data 600+ externe uren 750 interne uren 10 weken doorlooptijd evidence based begeleiding & beleid 4

DOELEN WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? (1/2) Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek. Business intelligence Feiten begrijpen, rapportage verleden en huidige prestatie hindsight insight Student Analytics Verkennen en ontdekken, voorspellen, actiegerichte inzichten fore-sight Data extractie & integratie Prestaties meten & rapporteren Visualisaties Segmentatie & statistisch clusteren Voorspellende modellen Optimalisatie, simulatie & scenario analyse Managementinformatie (MIVU) 5

BASIS DATA EN KENMERKEN DIE ZIJN GEANALYSEERD Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is gebruikt voor analyses van studiesucces in de bachelor: Geslacht Leeftijd op 1 oktober Land van herkomst VO Gezinssamenstelling Demografie Vooropleiding & aansluiting Profielkeuze Vooropleiding en onderwijsinstelling Tussenjaren / Jaren sinds diploma Verblijfsjaren Voorlichting en introductie Matching Stroominformatie Geografische spreiding (GIS) Kwaliteit scholen Achtergrond scholen Instroom Studiesucces & tevredenheid Eindexamencijfers Uitslagen taaltoets VU Studieprestaties aan de VU Honours en Cum Laude Studenttevredenheid Uitval en diplomarendement Bijzondere persoonsgegevens Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het project: Eerste generatie & etniciteit, geboorteland Functiebeperking 6

HET VOORSPELMODEL VOOR WIE WORDT HET VOORSPELMODEL GEBRUIKT? De basis voor berekening van de kans op uitval (en dus de begeleiding) is het voorspelmodel voor studiesucces. Het voorspelmodel is als volgt ontwikkeld: A B C We nemen alle eerstejaars studenten uit 2014, en houden een controlegroep apart. Uitschieters, bijv. studenten met veel vrijstellingen, laten we hierbij buiten beschouwing. De student(en) We leggen een relatie tussen variabelen die bekend zijn tijdens de studie, en het toekomstige studiesucces. We onderzoeken dit telkens met een andere combinatie van delen van de set Het model We toetsen of in het model de verbanden logisch op elkaar inwerken, en testen de resultaten op de controlegroep Kans op uitval/switch Peter, eerstejaars student in 2016, heeft toestemming gegeven voor gebruik van zijn gegevens voor begeleiding De gegevens die tot dan toe bekend zijn over Peter worden getoetst aan het model 56% Dit resulteert in een kans op uitval voor Peter op dat moment 7

HET VOORSPELMODEL DE KRACHT VAN DE VOORSPELLING Als maatstaf voor de kracht van het model is de Mean Absolute Error (MAE) gebruikt Hoe lager dit getal, des te sterker het model op dat moment is. Student Kans op uitval Werkelijke uitval Absolute fout Eric 45% Ja: 100% 55% Jennifer 25% Nee: 0% 25% MAE 40% MAE 40 35 36 Test 2014 30 25 20 15 10 5 16 24 18 17 12 10 7 6 0 Totaal Start P1 P2 P3 P4 P5 P6 Zomer Test 2013 (+1,8%) (+1,7%) (+2,4%) (+1,9%) (+0,5%) (+2,3%) (+1,8%) (+2,1%) (+2,2%) 8

HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (1/2) Het voorspelmodel Het voorspelmodel 2016 is een transparant model: 1. Het is duidelijk uit te leggen welke variabelen bijdragen en in welke mate (white box) 2. Het bevat geen privacygevoelige kenmerken Persoonskenmerken Geslacht Leeftijd op 1 oktober Voorlichting Soort voorlichting gevolgd Reistijd naar de VU Middelbare school & vooropleiding Hoogste vooropleiding Gemiddelde cijfer Cijfer wiskunde Aanmelding Aantal dagen tussen aanmelding en 1 september Matching Aantal uren werk en nevenactiviteiten Vertrouwen in studiesucces Proactief studeergedrag Opleidingskenmerken Faculteit Uitvalskans van de opleiding Aantal studies Dubbele studie Aantal opleidingen afgelopen 2 jaar Resultaten Totaalresultaat taaltoets Hoogste resultaat toets Aantal EC (incl. deeltoetsen) Aantal no-shows 9

HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (2/2) 3. Het model wordt na iedere studieperiode geupdate met informatie. 4. Kenmerken worden alleen meegewogen als ze voor die periode van waarde zijn. Vanaf het moment dat de student gaat studeren, neemt in het model de weging van behaalde prestaties en opleidingskenmerken toe en dat van persoons- en motivatiekenmerken af. Persoons- en motivatiekenmerken Prestaties en type opleiding 10

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Scheiding der wateren De verdeling van de kans op uitval is vóór aanvang van de studie nog verspreid en onzeker (periode 0). Vóór aanvang 11

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 1 12

I.2 VISIE ONZE AANPAK VOOR GERICHTE EN PROACTIEVE BEGELEIDING De aanpak voor begeleiding kent drie stappen 1 We vragen studenten eerst toestemming om hun hun persoonsgegevens te mogen gebruiken voor proactieve en gerichte begeleiding. Toestemming 2 Bij studenten die toestemming hebben gegeven prioriteren we na iedere periode begeleiding en advies op basis van een kans op uitval. % 56 Kans op uitval 3 Vervolgens baseren we het advies en de verdere begeleiding op het tot dan toe getoonde studiegedrag (op de dimensies academische zelfmanagement/ motivatie en prestatie). ADVIES 18

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (1/5) 1 3 2 4 5 Studentnummers 6 1. Na inloggen met een persoonlijk account ziet de begeleider de studenten van de faculteit of opleiding die toestemming hebben gegeven om mee te doen èn zijn ingeloot in groep A. 2. De lijst kan gesorteerd worden op studentnummer, opleidingsnaam of kans op uitval (aflopend of oplopend). 3. Van elke student is de kans op uitval van dat moment te zien en van eerdere periodes. 4. Ook is de verdeling van de kans op uitval over de gehele populatie te zien. 5. Gegevens kunnen gefilterd worden op kans op uitval, periode, opleiding en studentnummer 6. Een export kan gemaakt worden naar Excel voor aanvullend gebruik in bijvoorbeeld een mailing. 19

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (2/5) 2 1 3 3 4 5 4 5 1. Als de begeleider doorklikt op een studentnummer wordt de kans op uitval getoond van de betreffende periode en het aantal behaalde EC. 2. De kans op uitval is bewust neutraal getoond. 3. Onderin het scherm staan de achterliggende factoren en hun waarden, verdeeld over factoren die wijzen op motivatie en planningsvaardigheden (links) of prestaties (rechts) 4. De kleur van de waarde geeft aan of de student valt in de hoogste 25% (groen), de middelste 50% (oranje) of de laagste 25% (rood). 5. De benchmark geeft de gemiddelde score aan van overige studenten. Overige studenten zijn gebaseerd op niveau van het vorige scherm (dus ofwel de gehele faculteit ofwel de opleiding). Het betreft hier alle studenten die zich voor het eerst aan de opleiding hebben ingeschreven. 20

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (3/5) 6 7 8 9 6. Door voorgaande periodes te kiezen kan de begeleider de ontwikkeling van de variabelen volgen in de tijd. 7. De link Welke variabelen zijn gebruikt geeft een toelichting op de variabelen van het voorspelmodel en hun betekenis. 8. De link Studiemonitor linkt door naar de Studiemonitor van de betreffende student op VUnet. Toegang is afhankelijk van de rechten van de gebruiker, die daar opnieuw moet inloggen met VUnetID. 9. De begeleider kan kiezen voor een benchmark met de 10% beste studenten (Topstudent) of de Gemiddelde student (Mediaan). 21

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (4/5) In dit voorbeeld zien we dat deze student na periode 2 is gaan studeren, waarmee zijn of haar kans op uitval aanzienlijk is afgenomen. De prestaties zijn verbeterd wat betreft hoogste resultaat en het aantal behaalde EC 22

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (5/5) In dit voorbeeld zien we een student die van meet af aan al een lage kans heeft op uitval. 23

CONTACTGEGEVENS Theo Bakker Senior Beleidsadviseur Studiesucces & Onderwijslogistiek Student- en Onderwijszaken, Vrije Universiteit t.c.bakker@vu.nl 06-25637172 24