STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN DAIR COLLEGA S AAN HET WOORD

Transcriptie

1 STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN DAIR COLLEGA S AAN HET WOORD 2 NOVEMBER 201

2 STUDENT ANALYTICS AAN DE VU WAT IS BIG DATA? VVV V VOLUME VARIETY VELOCITY VALUE 2.2 eerstejaars inschrijvingen, GB aan data resultaten koppen koffie 2 variabelen 11 bronnen jaar aan data weken doorlooptijd externe uren 0 interne uren maandelijkse frequentie evidence based begeleiding & beleid 2

3 ROLLEN SLEUTELROLLEN IN STUDENT ANALYTICS In de ontwikkeling en toepassing van Student Analytics zijn de volgende rollen van belang geweest: Business User Project Sponsor Project Manager Theo VU-IT Externe partijen Database administrator (DBA) Data Engineer Deloitte Data Scientist OTIR-team + Wetenschappers OTIR-team Business Intelligence Analyst Security Officer Privacy Officer

4 VALUE HOE WORDT STUDENT ANALYTICS VAN WAARDE? RANDVOORWAARDEN Verhaal & Momentum Ervaring & Proof of concept Verbinding met lopende projecten Privacy & beveiliging V BETROKKENHEID Studenten Wetenschappers en docenten Studieadviseurs Hoger management Beleidsmedewerkers HERHAALBAARHEID R Scripts: documentatie & automatisering Afspraken met dataleveranciers Kennisoverdracht EVIDENCE BASED BELEID Verbetering aansluiting Verbetering voorlichting Verbetering introductie Analyse & verbetering taaltoets Analyse BSA Proactieve en gerichte studentbegeleiding Inzage in instroom en bekostiging UITVOERING Vakkennis & externe expertise op locatie SCRUM aanpak Interdisciplinaire samenwerking Inzichten direct inzetten in lopende initiatieven Focus niet op de laatste 2%

5 DOELEN WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? (1/2) Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek. Business intelligence Feiten begrijpen, rapportage verleden en huidige prestatie hindsight insight Student Analytics Verkennen en ontdekken, voorspellen, actiegerichte inzichten fore-sight Data extractie & integratie Prestaties meten & rapporteren Visualisaties Segmentatie & statistisch clusteren Voorspellende modellen Optimalisatie, simulatie & scenario analyse Managementinformatie (MIVU) Business Warehouse Rapport based Actueel Statisch / data Fileserver Losse extracten Maandelijkse frequentie Interactief / inzichten

6 UITKOMSTEN SOCIAL LEARNING CYCLE & INFORMATION SPACE Social Learning Cycle in de information space Boisot 1999 Rapportages, dashboards, datasets voor wetenschappelijk gebruik. Verspreiding van informatie Medewerkers (docenten en beleidsmedewerkers), studenten,. Absorptie Ontvangst van inzichten via meerdere kanalen Formeel Analyses, Werksessies OER, strategie, begeleiding, onderwijs systeeminrichting. Abstractie Analyse van data en creëren van inzichten Gecodificeerd. impact nieuwe beleid, transacties in systemen, Rapportages, data Combinatie van data, definitie van variabelen 2. Codificering Engineering van data naar datasets Abstract 2 Concreet Niet gecodificeerd 1 Niet verspreid Informeel SIS, Studielink, NSE, CRM, etc Verspreid 1. Verzameling Verzameling van data en feedback van gebruikers

7 UITKOMSTEN WAT HEBBEN WE BEREIKT EN GELEERD? (1/2) V 1 2 Resultaten tot nu toe Meer waarde wordt gehecht aan data & dataanalyse binnen de VU; we voeren meer evidence based beleid Aanscherping van procedures over privacy, toestemming voor gebruik en beveiliging van data Dataset met veel gegevens, geschikt voor IRvragen over andere onderwerpen dan studiesucces. Een methode die uitbreidbaar is naar andere domeinen dan studiesucces (bv. onderwijsevaluaties) Een voorspelmodel Dashboards in Tableau Nieuwe manier van het presenteren van resultaten (PowerPoint rapportages)

8 UITKOMSTEN WAT HEBBEN WE BEREIKT EN GELEERD? (2/2) Publiek rapport over taaltoets naar aanleiding van een verzoek van het NRC Waar lopen we nog tegen aan? De relatie tussen project en lijn Dataverzameling en analyses zijn nooit af. Waar houdt verantwoordelijkheid project op en begint die van OTIR? Hoe gaan we vervolgens de taakverdeling vormgeven. Onvoorspelbaarheid en scope: Doordat we nieuwe vaardigheden moeten leren, maar ook doordat datasets erg verschillen in kwaliteit of complexiteit. Nieuwe versies van datasets willen nog wel eens verschillen van eerdere versies. Ook ontstaan er gaandeweg het schrijven van een rapport nieuwe vragen waar niet altijd data voor beschikbaar zijn. Beschikbaarheid en ervaring met Tableau Een te enthousiaste organisatie die met uitkomsten op de loop wil Wat doen we met stukken die naar buiten komen? Correlatie is geen causaliteit. Dit wordt vaak verkeerd begrepen. Hierdoor worden conclusies te snel getrokken en al in de publiciteit gebracht

9 DOELEN WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? (2/2) In lijn met verbetering van het onderwijs wil de VU door Student Analytics ook aansluiting, voorlichting en begeleiding optimaal en onderscheidend vormgeven MONITOREN EN VERBETEREN De resultaten monitoren we om onze organisatie verder te verbeteren en onderwijsbeleid evidence based te ontwikkelen. BORGEN EN VERANDEREN In 201 uitgevoerd De analysesets willen we verder uitbreiden op gebieden waar nog te winnen is aan inzicht (zoals voorlichting, matching, taaltoets, NSE). De uitkomsten van de analyses willen we verankeren in onze processen & procedures en informatiesystemen. Daarmee willen we betere voorlichting en begeleiding structureel faciliteren. STUDIE- SUCCES VISIE EN STRATEGIE We willen weten welke factoren bepalend zijn in studiesucces en die gebruiken voor evidence based beleid en begeleiding EVIDENCE BASED VOORLICHTING EN BEGELEIDING Ook weten we welke werving, voorlichting en begeleiding optimaal kan aansluiten bij de daadwerkelijke potentie en behoefte van onze studenten. Deze inzichten willen we verbinden aan de huidige werkpraktijk. ANALYSE VAN DATA We hebben (historische en nieuwe) studentdata geanalyseerd en willen dit borgen in onze organisatie. In 201 uitgevoerd ANALYSE VAN WERKPRAKTIJK We weten op hoofdlijnen wat de huidige werkpraktijk is, hoe processen en systemen zijn ingericht, en wat onze huidige manier van denken en werken is. 9

10 VISIE DE VU STELT DE STUDIELOOPBAAN VAN DE STUDENT CENTRAAL Voor aanvang In de begeleiding stellen we de studieloopbaan van de student centraal Informatie over Achtergrond Motivatie Prestaties Wordt geanalyseerd en geeft inzicht in: Kans op uitval, switch of succes Achterliggende redenen Daadwerkelijke behoefte aan begeleiding En biedt kansen voor: Gericht en proactief advies Effectiviteit en efficiency Voorlichters Voor de poort Gerichte voorbereiding in de oriëntatiefase Tutoren & Studieadviseurs Perioden - En advies voor jaar 2 of switch Faculteiten Gerichte matchingsactiviteiten en introductie Studentbegeleiding In een doorlopende lijn met het formele studieadvies BSAcommissie Periode Tutoraat gebaseerd op de behoefte Perioden 1-2 van de student Tutoren Indien nodig aangevuld met trainingen en advies Perioden 2- Studieadviseurs Win-Win Beter inzicht draagt bij aan zowel effectiviteit van studentbegeleiding als efficiëntie in de uitvoering 10

11 DATABRONNEN AANLEVERING VU Selligent SRO MIVU SAP SLM NSE + Database administrator (DBA) Extern DUO CBS GIS NOA Taaltoets Data Engineer = Student Analytics 201 Analysesets Data Scientist 11

12 BASIS DATA EN KENMERKEN DIE ZIJN GEANALYSEERD Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is gebruikt voor analyses van studiesucces in de bachelor: Geslacht Leeftijd op 1 oktober Land van herkomst VO Gezinssamenstelling Demografie Vooropleiding & aansluiting Profielkeuze Vooropleiding en onderwijsinstelling Tussenjaren / Jaren sinds diploma Verblijfsjaren Voorlichting en introductie Matching Stroominformatie Geografische spreiding (GIS) Kwaliteit scholen Achtergrond scholen Instroom Studiesucces & tevredenheid Eindexamencijfers Uitslagen taaltoets VU Studieprestaties aan de VU Honours en Cum Laude Studenttevredenheid Uitval en diplomarendement Bijzondere persoonsgegevens Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het project: Eerste generatie & etniciteit, geboorteland Functiebeperking 12

13 SEGMENTATIE ANALYSE WAT IS EEN SEGMENTATIE ANALYSE? V Bron: Ajax.nl 2.00 studenten van de VU staan in de Arena... 1

14 SEGMENTATIE ANALYSE EEN EERSTE INDRUK (1/2) Scope van de dataset De segmentatie analyse is uitgevoerd op alle inschrijvingen van cohorten 2010 t/m 201 (N=2.2)*. Aantal segmenten en weging Er is gekozen voor segmenten. Kenmerken voor clustering zijn gekozen vanwege hun relatie met studieprestatie en duur: Leeftijd op 1 oktober # Verblijfsjaren in het hoger onderwijs Gemiddeld cijfer middelbare school # EC zonder vrijstellingen na periode Uitval na 1 jaar Uitval na 2 jaar Diploma binnen jaar Diploma binnen jaar Leeswijzer Een student die meer studies volgt komt even zo vaak voor Studenten bewegen niet op de kaart. Niet ieder element heeft evenveel punten (zier onder). Als een onderdeel wit is, bevinden zich daar geen studenten. De nummering van de segmenten heeft geen betekenis. * Outliers zijn inbegrepen: zoals studenten met veel vrijstellingen of studenten met weinig of geen punten die toch niet uitvallen (vanwege bijzondere regelingen). 1

15 SEGMENTATIE ANALYSE EEN EERSTE INDRUK (2/2) Uitval Uitval bevindt zich vooral links in de kaart. Datakwaliteit Counts per Node Uitval na jaar 1 herberekend Aantal inschrijvingen per node Diplomarendement Diploma s worden behaald rechts in de kaart. Diploma binnen jaar herberekend Avg. # of Datapoints per Node Gemiddeld aantal datapunten per node per segment 0.0 1

16 SEGMENTATIE ANALYSE UITVAL NA 1, 2 EN JAAR (1/2) Segment Division 2 1 DIMENSIE UITVAL/RENDEMENT Uitval beweegt zich van linksonder naar rechtsboven: Na 1 jaar: S1 en S Na 2 jaar: S2 Na jaar: S en S (ca 0%) Uitval na jaar 1 herberekend Uitval na jaar 2 herberekend Uitval na jaar herberekend Witte nodes geven aan dat zich daarin geen studenten bevinden; na drie jaar zien we veel witte nodes, omdat de het aantal studenten dat zou kunnen uitvallen in hogere inschrijvingsjaren veel kleiner is. 1

17 SEGMENTATIE ANALYSE DIPLOMA NA, EN JAAR Segment Division Het diplomarendement beweegt zich van rechtsboven naar linksonder: Na 2,/ jaar: S en S; na jaar: S en S; na jaar: S en S (ca 0%) 2 1 Tijd tot diploma Diploma binnen jaar herberekend Diploma binnen jaar herberekend Diploma binnen jaar herberekend Witte nodes geven aan dat zich daarin geen studenten bevinden; na jaar zien we veel witte nodes, omdat de het aantal studenten dat een diploma kan halen in lagere inschrijvingsjaren veel kleiner is

18 DUIK IN DE DATA WELKE PATRONEN ZIEN WE, WAAROM EN WAT KUNNEN WE ERMEE? V Bron: Ajax.nl Thema s aanmelding voorlichting taaltoets herkansingen 1

19 SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Wat kenmerkt het verschil tussen segment 1 en? Wat betekent dit voor mogelijk beleid en begeleiding? Uitval na jaar 1 herberekend Opleiding uitgeloot Verblijfsjaren hoger onderwijs Dagen tussen aanmelding en 1 september

20 SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Hoe oriënteren studenten zich voor hun studie? Waaruit zijn verschillen te verklaren? Wat betekent dit voor mogelijk beleid op oriëntatie? Dagen tussen aanmelding en 1 september Outlier Meer meer dan 1 dan vrijstelling 1 vrijstelling na per Orientatie voor brochure Orientatie voor extensief = open dag

21 SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Welk verband is er tussen de taaltoets en uitval? Hoe verschillen de scores op de taaltoets? Welk mogelijk verband is er met leeftijd? Taaltoets Totaal Perc Taaltoets Formuleren Perc Leeftijd peildatum 1 oktober Taaltoets Woordenschat Woordkeuze Perc

22 ACADEMISCH ZELFMANAGEMENT: AANGRIJPINGSPUNT VOOR BEGELEIDING Het aantal herkansingen dat studenten doen geeft interessante inzichten in de dimensie Academisch zelfmanagement. Na periode zien we vier groepen ontstaan: A: Studenten die weinig herkansen; zij zijn dan veelal al uitgevallen. B: Studenten die veel herkansen: een deel valt uit, een ander deel loopt vertraging op C: Studenten die weinig herkansen D: Studenten die vrijwel nooit herkansen Groep A betere voorlichting en matching. A Aantal herkansingen na periode B Groep C neemt idealiter vaker deel aan excellentie trajecten Groep B studiebegeleiding om uitval en vertraging te voorkomen. C D Groep D kandidaat voor excellentie trajecten

23 HET VOORSPELMODEL VOOR WIE WORDT HET VOORSPELMODEL GEBRUIKT? De basis voor berekening van de kans op uitval (en dus de begeleiding) is het voorspelmodel voor studiesucces. Het voorspelmodel is als volgt ontwikkeld: A B C We nemen alle eerstejaars studenten uit 201, en houden een controlegroep apart. Uitschieters, bijv. studenten met veel vrijstellingen, laten we hierbij buiten beschouwing. De student(en) We leggen een relatie tussen variabelen die bekend zijn tijdens de studie, en het toekomstige studiesucces. We onderzoeken dit telkens met een andere combinatie van delen van de set Het model We toetsen of in het model de verbanden logisch op elkaar inwerken, en testen de resultaten op de controlegroep Kans op uitval/switch Peter, eerstejaars student in 201, heeft toestemming gegeven voor gebruik van zijn gegevens voor begeleiding De gegevens die tot dan toe bekend zijn over Peter worden getoetst aan het model % Dit resulteert in een kans op uitval voor Peter op dat moment 2

24 VISIE ONZE AANPAK VOOR GERICHTE EN PROACTIEVE BEGELEIDING De aanpak voor begeleiding kent drie stappen 1 We vragen studenten eerst toestemming om hun hun persoonsgegevens te mogen gebruiken voor proactieve en gerichte begeleiding. Toestemming 2 Bij studenten die toestemming hebben gegeven prioriteren we na iedere periode begeleiding en advies op basis van een kans op uitval. % Kans op uitval Vervolgens baseren we het advies en de verdere begeleiding op het tot dan toe getoonde studiegedrag (op de dimensies academische zelfmanagement/ motivatie en prestatie). ADVIES 2

25 HET VOORSPELMODEL DE KRACHT VAN DE VOORSPELLING Als maatstaf voor de kracht van het model is de Mean Absolute Error (MAE) gebruikt Hoe lager dit getal, des te sterker het model op dat moment is. Student Kans op uitval Werkelijke uitval Absolute fout Eric % Ja: 100% % Jennifer 2% Nee: 0% 2% MAE 0% MAE 0 Test Totaal Start P1 P2 P P P P Zomer Test 201 (+1,%) (+1,%) (+2,%) (+1,9%) (+0,%) (+2,%) (+1,%) (+2,1%) (+2,2%) 2

26 HET VOORSPELMODEL VERSCHILLENDE SCORES PER OPLEIDING Uit de heatmap van opleidingen blijkt dat vóór aanvang van de studie de kracht van het model nog sterk varieert. Na aanvang de studie wordt de variatie veel minder. 2

27 HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (1/2) Het voorspelmodel Het voorspelmodel 201 is een transparant model: 1. Het is duidelijk uit te leggen welke variabelen bijdragen en in welke mate (white box) 2. Het bevat geen privacygevoelige kenmerken Persoonskenmerken Geslacht Leeftijd op 1 oktober Voorlichting Soort voorlichting gevolgd Reistijd naar de VU Middelbare school & vooropleiding Hoogste vooropleiding Gemiddelde cijfer Cijfer wiskunde Aanmelding Aantal dagen tussen aanmelding en 1 september Matching Aantal uren werk en nevenactiviteiten Vertrouwen in studiesucces Proactief studeergedrag Opleidingskenmerken Faculteit Uitvalskans van de opleiding Aantal studies Dubbele studie Aantal opleidingen afgelopen 2 jaar Resultaten Totaalresultaat taaltoets Hoogste resultaat toets Aantal EC (incl. deeltoetsen) Aantal no-shows 2

28 HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (2/2). Het model wordt na iedere studieperiode geupdate met informatie.. Kenmerken worden alleen meegewogen als ze voor die periode van waarde zijn. Vanaf het moment dat de student gaat studeren, neemt in het model de weging van behaalde prestaties en opleidingskenmerken toe en dat van persoons- en motivatiekenmerken af. Persoons- en motivatiekenmerken Prestaties en type opleiding 2

29 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Scheiding der wateren De verdeling van de kans op uitval is vóór aanvang van de studie nog verspreid en onzeker (periode 0). Vóór aanvang Lage kans op uitval Hoge kans op uitval 29

30 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 1 0

31 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 2 1

32 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 2

33 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

34 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

35 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

36 HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Scheiding der wateren De verdeling van de kans op uitval is vóór aanvang van de studie nog verspreid en onzeker (periode 0). Vóór aanvang Periode 1 Periode 2 Periode Periode Periode Periode Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. LINKS: Lage kans op uitval RECHTS: Hoge kans op uitval

37 MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (1/) 1 2 Studentnummers 1. Na inloggen met een persoonlijk account ziet de begeleider de studenten van de faculteit of opleiding die toestemming hebben gegeven om mee te doen èn zijn ingeloot in groep A. 2. De lijst kan gesorteerd worden op studentnummer, opleidingsnaam of kans op uitval (aflopend of oplopend).. Van elke student is de kans op uitval van dat moment te zien en van eerdere periodes.. Ook is de verdeling van de kans op uitval over de gehele populatie te zien.. Gegevens kunnen gefilterd worden op kans op uitval, periode, opleiding en studentnummer. Een export kan gemaakt worden naar Excel voor aanvullend gebruik in bijvoorbeeld een mailing.

38 MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (2/) Als de begeleider doorklikt op een studentnummer wordt de kans op uitval getoond van de betreffende periode en het aantal behaalde EC. 2. De kans op uitval is bewust neutraal getoond.. Onderin het scherm staan de achterliggende factoren en hun waarden, verdeeld over factoren die wijzen op motivatie en planningsvaardigheden (links) of prestaties (rechts). De kleur van de waarde geeft aan of de student valt in de hoogste 2% (groen), de middelste 0% (oranje) of de laagste 2% (rood).. De benchmark geeft de gemiddelde score aan van overige studenten. Overige studenten zijn gebaseerd op niveau van het vorige scherm (dus ofwel de gehele faculteit ofwel de opleiding). Het betreft hier alle studenten die zich voor het eerst aan de opleiding hebben ingeschreven.

39 MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) 9. Door voorgaande periodes te kiezen kan de begeleider de ontwikkeling van de variabelen volgen in de tijd.. De link Welke variabelen zijn gebruikt geeft een toelichting op de variabelen van het voorspelmodel en hun betekenis.. De link Studiemonitor linkt door naar de Studiemonitor van de betreffende student op VUnet. Toegang is afhankelijk van de rechten van de gebruiker, die daar opnieuw moet inloggen met VUnetID. 9. De begeleider kan kiezen voor een benchmark met de 10% beste studenten (Topstudent) of de Gemiddelde student (Mediaan). 9

40 MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) In dit voorbeeld zien we dat deze student na periode 2 is gaan studeren, waarmee zijn of haar kans op uitval aanzienlijk is afgenomen. De prestaties zijn verbeterd wat betreft hoogste resultaat en het aantal behaalde EC 0

41 MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) In dit voorbeeld zien we een student die van meet af aan al een lage kans heeft op uitval. 1

42 LAATSTE VERSIE 2

43 CONTACTGEGEVENS Mareanne Karssen Programmamanager Onderwijsagenda, Vrije Universiteit Theo Bakker Senior Beleidsadviseur Studiesucces & Onderwijslogistiek Student- en Onderwijszaken, Vrije Universiteit 0-212