STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN DAIR COLLEGA S AAN HET WOORD

Vergelijkbare documenten
STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN KNOWVU LEARNING ANALYTICS

INTRODUCTIE & STUDIESUCCES

DIT STEEKT ER MET KOP EN SCHOTEL BOVENUIT STUDENT ANALYTICS & TAALTOETS

WAT VERKLAART DE NSE?

CODE OF PRACTICE STUDENT ANALYTICS 2017

VU MATCHING THEMADAG 'MATCHING EN TOELATING SIG ONDERWIJSLOGISTIEK, , WAGENINGEN

Economie en Bedrijfseconomie. Faculteit der Economische Wetenschappen en Bedrijfskunde

Toelating en inschrijving

Voorlichtingsdag Bedrijfskunde. Faculteit der Economische Wetenschappen en Bedrijfskunde

Prestatie-indicatoren uit 1 cijfer ho en het algemeen studentenoordeel over de opleiding (nse).

Prestatie-indicatoren uit 1 cijfer ho en het algemeen studentenoordeel over de opleiding (nse).

Monitor beleidsmaatregelen Anja van den Broek

Onderwijs; verplichte indicatoren

REGLEMENT SELECTIE BACHELOR DIERGENEESKUNDE Collegejaar Zoals vastgesteld door de decaan op 31 juli 2017

Studeren in een academische context

Normkader: Onderwijsmonitor 2017 (opleidingen)

Feiten en cijfers. Afgestudeerden en uitvallers in het hoger beroepsonderwijs. Mei 2015

Studiekeuzegesprekken: zinvol of onzin? Marieke de Bakker, Universiteit Utrecht

Welkom SIG onderwijslogistiek Amersfoort, 4 oktober Kerngroep SIG Onderwijslogistiek

MATCHING EN STUDIESUCCES AAN DE VU VSNU CONGRES , UTRECHT

Studeren in een academische context

Inzicht in kansen en effecten van re-integratie

Matching bij de UU. Sjors van der Beek. Projectleider administratieve en technische implementatie

Seminar matching en selectie in het hoger onderwijs

Big Data en DUO. We swim in a sea of data and the sea level is rising rapidly. G. Brink Programmamanager Ir. J.W. van Veen Enterprise Architect

Hoe kan IR de Instellingstoets Kwaliteitszorg verbeteren? Alexander Babeliowsky Kennissessie DAIR-seminar 1 november 2017

Analyse NSE 2016 opleiding ergotherapie. Inhoud. 1 Inleiding

Feiten en cijfers. Afgestudeerden en uitvallers in het hoger beroepsonderwijs. April 2016

04/02/2016 WAAROM DE WERELD NIET ZONDER ANTROPOLOGEN KAN ANTROPOLOGEN KAN ANTROPOLOGEN KAN ANTROPOLOGEN KAN. Wat is Antropologie?

voorlichting 1 april 2014 VSNU

Overzicht resultaten Premasterassessment

Learning analytics bij SURF. Nynke de Boer

Bigdata in het onderwijs, onderzoek naar voorspellende studentgebonden factoren

Voorlichting Econometrie & Operationele Research. Faculteit der Economische Wetenschappen en Bedrijfskunde

EEHEB Identificeer latent talent - de excellente student Met oog voor de gehele studieloopbaan

OPLEIDING PSYCHOLOGIE INFORMATIE WISKUNDECURSUS

Normkader: Onderwijsmonitor 2017 (facultair).

Faculteit der Rechtsgeleerdheid. Bindend Studieadvies. student. uva.nl/ rechten

TUSSENBERICHT SELECTIE VAN VOLTIJD MASTEROPLEIDINGEN IN HET WETENSCHAPPELIJK ONDERWIJS EN STUDENTENSTROMEN

Veelgestelde vragen over Matching

De Studiekeuzecheck: heeft het gewerkt?

smartops people analytics

Bijlage 1: Vragenlijst factoren en items

WHITEPAPER RAPPORTAGETOOLS DIE ECHT WERKEN DOOR ERIK VENEMA

LESS IS MORE 2 E GRAADS ENGELS, EERSTE ERVARINGEN MET DECENTRALE SELECTIE

Wat is Sales Benchmarking?

DE NIEUWE BACHELOR OPLEIDING

Bindend Studieadvies (BSA)

Nominaal = Normaal aan de Erasmus Universiteit Rotterdam en de (mogelijke) invloed op instroom en studiesucces van (subgroepen) studenten

Studievoortgang en studiesucces in het wo

ter ondersteuning van een leven lang leren, onderzoeken en daarbij samenwerken

TOELICHTING INDICATOREN STUDIE IN CIJFERS HBO d.d. mei 2017

Graphical modelling voor Mediastudies Data

Bijlage 5 Interviewformulier studieadviseurs

Waar moet de toekomstige DLO in voorzien? Welke van onderstaande gebieden moeten goed ondersteund zijn in DLO? Plannen Student. Studiesucces bepalen

inhoudsopgave naar een strategy driven hr beleid 1. Inleiding Het historisch perspectief... 5

Inhoudsopgave. Special: Is data een kritische succesfactor? 3

(ZELF)SELECTIE IN DE LERARENOPLEIDING: PROBLEMEN, INTERVENTIES MECHANISMEN UITKOMSTEN. Jacqueline Kösters Velon 2017

Voorlichting voor Ouders van Aankomende Studenten (VOAS)

Monitor beleidsmaatregelen Anja van den Broek Jessica Nooij

Wet Kwaliteit in verscheidenheid

Studieloopbaan en Loopbaanorientatie

OPLEIDING PSYCHOLOGIE INFORMATIE WISKUNDECURSUS

Studieloopbaan en Loopbaanorientatie. Nieke Campagne Studenten Loopbaan Service Universiteit Leiden

Vervroegde aanmelding, matching en studiekeuzecheck. Eerste resultaten Startmonitor VSNU-conferentie Matcht het?

Studiekeuze & studeren Waar begint mijn kind aan?

Feiten en cijfers. Afgestudeerden en uitvallers

BSC ECONOMIE EN BEDRIJFSECONOMIE

1. Studenttevredenheid TOELICHTING

Iedere student gelijk aan de start?

Investeren in kwaliteit Kansrijk op arbeidsmarkt. Onderzoek met impact. Hbo als emancipatiemotor. Hbo in vogelvlucht. #hbocijfers

Effectmeting na 1 bachelorjaar bij het project Studiekeuzegesprekken bij grote groepen studenten

DATAMODELLERING TOEPASSEN DATA ANALYTICS

Informatie over het BINDEND STUDIEADVIES voor studenten Pedagogische Wetenschappen

De Potentie van Learning Analytics

De Studiekeuzecheck op de Radboud Universiteit

Decentrale selectie door proefstuderen aan de poort. Klaas Visser

Nominaal is Normaal bij FSW

Relatie intake - studiesucces

Informatie over het BINDEND STUDIEADVIES voor studenten Pedagogische Wetenschappen

Scherminstructie. Studielink Management Informatie App

Factsheet Toelatingstoets PABO

Geneeskundestudenten met risico op studie-uitval en -vertraging: kenmerken en mogelijke interventies

Kijkje onder de motorkap van Cardatapool.com. Peter Gouw, Dataspecialist Cardatapool.com

Pedagogische Wetenschappen

Uitkomsten CFO-bijeenkomst Prestatieafspraken in het HBO

UvAInform FNWI pilot COACH 2

De studieloopbaan van mbo-deelnemers

DIVERSITEIT EN TOEGANKELIJKHEID IN HET HOGER ONDERWIJS OP EEN HISTORISCH KRUISPUNT.

Bijlage 3 bij het verslag POC LO&BW 15/10/2014. Doorstroom binnen de bachelor LO&BW

Bachelorscriptie bijeenkomst. Sociale Geografie & Planologie 07/06/2016

Hoe intelligent of dom is Nederland? De resultaten van het Nationaal BI Survey 2006

Onderwijs- en Examenregeling (OER) Bachelorprogramma Academische Opleiding Leraar Basisonderwijs. Faculteit der Gedrags- en Maatschappijwetenschappen

Big Data en Testen samen in een veranderend speelveld. Testnet 10 april 2014 Paul Rakké

Instroom 1. Inclusie. Uitstroom. Doorstroom. Universiteit Utrecht 1

Handleiding voor de lezers. Deel ii Methodiek Deel iii Implementatie

VSNU-congres 1 april Studiechecks: hoe organiseer je dat?

Reglement Facultaire Selectiecriteria en procedure

Transcriptie:

STUDENT ANALYTICS TOEPASSING VAN INZICHTEN OVER UITVAL IN DE BEGELEIDING VAN BACHELOR STUDENTEN DAIR COLLEGA S AAN HET WOORD 2 NOVEMBER 201

STUDENT ANALYTICS AAN DE VU WAT IS BIG DATA? VVV V VOLUME VARIETY VELOCITY VALUE 2.2 eerstejaars inschrijvingen, GB aan data.00.000 resultaten 2.000 koppen koffie 2 variabelen 11 bronnen jaar aan data 00+ 10 weken doorlooptijd externe uren 0 interne uren maandelijkse frequentie evidence based begeleiding & beleid 2

ROLLEN SLEUTELROLLEN IN STUDENT ANALYTICS In de ontwikkeling en toepassing van Student Analytics zijn de volgende rollen van belang geweest: Business User Project Sponsor Project Manager Theo VU-IT Externe partijen Database administrator (DBA) Data Engineer Deloitte Data Scientist OTIR-team + Wetenschappers OTIR-team Business Intelligence Analyst Security Officer Privacy Officer

VALUE HOE WORDT STUDENT ANALYTICS VAN WAARDE? RANDVOORWAARDEN Verhaal & Momentum Ervaring & Proof of concept Verbinding met lopende projecten Privacy & beveiliging V BETROKKENHEID Studenten Wetenschappers en docenten Studieadviseurs Hoger management Beleidsmedewerkers HERHAALBAARHEID R Scripts: documentatie & automatisering Afspraken met dataleveranciers Kennisoverdracht EVIDENCE BASED BELEID Verbetering aansluiting Verbetering voorlichting Verbetering introductie Analyse & verbetering taaltoets Analyse BSA Proactieve en gerichte studentbegeleiding Inzage in instroom en bekostiging UITVOERING Vakkennis & externe expertise op locatie SCRUM aanpak Interdisciplinaire samenwerking Inzichten direct inzetten in lopende initiatieven Focus niet op de laatste 2%

DOELEN WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? (1/2) Met inzet van Student Analytics wil de VU evidence based, actiegericht inzichten ontwikkelen voor verbetering van instroom, doorstroom en uitstroom van studenten ten gunste van begeleiding, beleidsvorming en wetenschappelijk onderzoek. Business intelligence Feiten begrijpen, rapportage verleden en huidige prestatie hindsight insight Student Analytics Verkennen en ontdekken, voorspellen, actiegerichte inzichten fore-sight Data extractie & integratie Prestaties meten & rapporteren Visualisaties Segmentatie & statistisch clusteren Voorspellende modellen Optimalisatie, simulatie & scenario analyse Managementinformatie (MIVU) Business Warehouse Rapport based Actueel Statisch / data Fileserver Losse extracten Maandelijkse frequentie Interactief / inzichten

UITKOMSTEN SOCIAL LEARNING CYCLE & INFORMATION SPACE Social Learning Cycle in de information space Boisot 1999 Rapportages, dashboards, datasets voor wetenschappelijk gebruik. Verspreiding van informatie Medewerkers (docenten en beleidsmedewerkers), studenten,. Absorptie Ontvangst van inzichten via meerdere kanalen Formeel Analyses, Werksessies OER, strategie, begeleiding, onderwijs systeeminrichting. Abstractie Analyse van data en creëren van inzichten Gecodificeerd. impact nieuwe beleid, transacties in systemen, Rapportages, data Combinatie van data, definitie van variabelen 2. Codificering Engineering van data naar datasets Abstract 2 Concreet Niet gecodificeerd 1 Niet verspreid Informeel SIS, Studielink, NSE, CRM, etc Verspreid 1. Verzameling Verzameling van data en feedback van gebruikers

UITKOMSTEN WAT HEBBEN WE BEREIKT EN GELEERD? (1/2) V 1 2 Resultaten tot nu toe Meer waarde wordt gehecht aan data & dataanalyse binnen de VU; we voeren meer evidence based beleid Aanscherping van procedures over privacy, toestemming voor gebruik en beveiliging van data Dataset met veel gegevens, geschikt voor IRvragen over andere onderwerpen dan studiesucces. Een methode die uitbreidbaar is naar andere domeinen dan studiesucces (bv. onderwijsevaluaties) Een voorspelmodel Dashboards in Tableau Nieuwe manier van het presenteren van resultaten (PowerPoint rapportages)

UITKOMSTEN WAT HEBBEN WE BEREIKT EN GELEERD? (2/2) Publiek rapport over taaltoets naar aanleiding van een verzoek van het NRC Waar lopen we nog tegen aan? De relatie tussen project en lijn Dataverzameling en analyses zijn nooit af. Waar houdt verantwoordelijkheid project op en begint die van OTIR? Hoe gaan we vervolgens de taakverdeling vormgeven. Onvoorspelbaarheid en scope: Doordat we nieuwe vaardigheden moeten leren, maar ook doordat datasets erg verschillen in kwaliteit of complexiteit. Nieuwe versies van datasets willen nog wel eens verschillen van eerdere versies. Ook ontstaan er gaandeweg het schrijven van een rapport nieuwe vragen waar niet altijd data voor beschikbaar zijn. Beschikbaarheid en ervaring met Tableau Een te enthousiaste organisatie die met uitkomsten op de loop wil Wat doen we met stukken die naar buiten komen? Correlatie is geen causaliteit. Dit wordt vaak verkeerd begrepen. Hierdoor worden conclusies te snel getrokken en al in de publiciteit gebracht

DOELEN WAT WIL DE VU MET STUDENT ANALYTICS BEREIKEN? (2/2) In lijn met verbetering van het onderwijs wil de VU door Student Analytics ook aansluiting, voorlichting en begeleiding optimaal en onderscheidend vormgeven MONITOREN EN VERBETEREN De resultaten monitoren we om onze organisatie verder te verbeteren en onderwijsbeleid evidence based te ontwikkelen. BORGEN EN VERANDEREN In 201 uitgevoerd De analysesets willen we verder uitbreiden op gebieden waar nog te winnen is aan inzicht (zoals voorlichting, matching, taaltoets, NSE). De uitkomsten van de analyses willen we verankeren in onze processen & procedures en informatiesystemen. Daarmee willen we betere voorlichting en begeleiding structureel faciliteren. STUDIE- SUCCES VISIE EN STRATEGIE We willen weten welke factoren bepalend zijn in studiesucces en die gebruiken voor evidence based beleid en begeleiding EVIDENCE BASED VOORLICHTING EN BEGELEIDING Ook weten we welke werving, voorlichting en begeleiding optimaal kan aansluiten bij de daadwerkelijke potentie en behoefte van onze studenten. Deze inzichten willen we verbinden aan de huidige werkpraktijk. ANALYSE VAN DATA We hebben (historische en nieuwe) studentdata geanalyseerd en willen dit borgen in onze organisatie. In 201 uitgevoerd ANALYSE VAN WERKPRAKTIJK We weten op hoofdlijnen wat de huidige werkpraktijk is, hoe processen en systemen zijn ingericht, en wat onze huidige manier van denken en werken is. 9

VISIE DE VU STELT DE STUDIELOOPBAAN VAN DE STUDENT CENTRAAL Voor aanvang In de begeleiding stellen we de studieloopbaan van de student centraal Informatie over Achtergrond Motivatie Prestaties Wordt geanalyseerd en geeft inzicht in: Kans op uitval, switch of succes Achterliggende redenen Daadwerkelijke behoefte aan begeleiding En biedt kansen voor: Gericht en proactief advies Effectiviteit en efficiency Voorlichters Voor de poort Gerichte voorbereiding in de oriëntatiefase Tutoren & Studieadviseurs Perioden - En advies voor jaar 2 of switch Faculteiten Gerichte matchingsactiviteiten en introductie Studentbegeleiding In een doorlopende lijn met het formele studieadvies BSAcommissie Periode Tutoraat gebaseerd op de behoefte Perioden 1-2 van de student Tutoren Indien nodig aangevuld met trainingen en advies Perioden 2- Studieadviseurs Win-Win Beter inzicht draagt bij aan zowel effectiviteit van studentbegeleiding als efficiëntie in de uitvoering 10

DATABRONNEN AANLEVERING VU Selligent SRO MIVU SAP SLM NSE + Database administrator (DBA) Extern DUO CBS GIS NOA Taaltoets Data Engineer = Student Analytics 201 Analysesets Data Scientist 11

BASIS DATA EN KENMERKEN DIE ZIJN GEANALYSEERD Als basis voor verschillende soorten analyses, beleidsontwikkeling en wetenschappelijk onderzoek zijn de volgende soorten data verzameld, waarvan het grootste gedeelte is gebruikt voor analyses van studiesucces in de bachelor: Geslacht Leeftijd op 1 oktober Land van herkomst VO Gezinssamenstelling Demografie Vooropleiding & aansluiting Profielkeuze Vooropleiding en onderwijsinstelling Tussenjaren / Jaren sinds diploma Verblijfsjaren Voorlichting en introductie Matching Stroominformatie Geografische spreiding (GIS) Kwaliteit scholen Achtergrond scholen Instroom Studiesucces & tevredenheid Eindexamencijfers Uitslagen taaltoets VU Studieprestaties aan de VU Honours en Cum Laude Studenttevredenheid Uitval en diplomarendement Bijzondere persoonsgegevens Opgenomen in de dataset voor wetenschappelijk onderzoek, maar niet gebruikt in analyses binnen het project: Eerste generatie & etniciteit, geboorteland Functiebeperking 12

SEGMENTATIE ANALYSE WAT IS EEN SEGMENTATIE ANALYSE? V Bron: Ajax.nl 2.00 studenten van de VU staan in de Arena... 1

SEGMENTATIE ANALYSE EEN EERSTE INDRUK (1/2) Scope van de dataset De segmentatie analyse is uitgevoerd op alle inschrijvingen van cohorten 2010 t/m 201 (N=2.2)*. Aantal segmenten en weging Er is gekozen voor segmenten. Kenmerken voor clustering zijn gekozen vanwege hun relatie met studieprestatie en duur: Leeftijd op 1 oktober # Verblijfsjaren in het hoger onderwijs Gemiddeld cijfer middelbare school # EC zonder vrijstellingen na periode Uitval na 1 jaar Uitval na 2 jaar Diploma binnen jaar Diploma binnen jaar Leeswijzer Een student die meer studies volgt komt even zo vaak voor Studenten bewegen niet op de kaart. Niet ieder element heeft evenveel punten (zier onder). Als een onderdeel wit is, bevinden zich daar geen studenten. De nummering van de segmenten heeft geen betekenis. * Outliers zijn inbegrepen: zoals studenten met veel vrijstellingen of studenten met weinig of geen punten die toch niet uitvallen (vanwege bijzondere regelingen). 1

SEGMENTATIE ANALYSE EEN EERSTE INDRUK (2/2) Uitval Uitval bevindt zich vooral links in de kaart. Datakwaliteit Counts per Node Uitval na jaar 1 herberekend 1.0 0. 0. 0. 0.2 0 00 20 200 10 100 0 0.0 Aantal inschrijvingen per node Diplomarendement Diploma s worden behaald rechts in de kaart. Diploma binnen jaar herberekend 1.0 0. 0. Avg. # of Datapoints per Node 10 10 10 120 100 0. 0.2 Gemiddeld aantal datapunten per node per segment 0.0 1

SEGMENTATIE ANALYSE UITVAL NA 1, 2 EN JAAR (1/2) Segment Division 2 1 DIMENSIE UITVAL/RENDEMENT Uitval beweegt zich van linksonder naar rechtsboven: Na 1 jaar: S1 en S Na 2 jaar: S2 Na jaar: S en S (ca 0%) Uitval na jaar 1 herberekend 1.0 0. 0. 0. 0.2 0.0 Uitval na jaar 2 herberekend Uitval na jaar herberekend 1.0 1.0 0. 0. 0. 0. 0. 0.2 0. 0.2 0.0 0.0 Witte nodes geven aan dat zich daarin geen studenten bevinden; na drie jaar zien we veel witte nodes, omdat de het aantal studenten dat zou kunnen uitvallen in hogere inschrijvingsjaren veel kleiner is. 1

SEGMENTATIE ANALYSE DIPLOMA NA, EN JAAR Segment Division Het diplomarendement beweegt zich van rechtsboven naar linksonder: Na 2,/ jaar: S en S; na jaar: S en S; na jaar: S en S (ca 0%) 2 1 Tijd tot diploma Diploma binnen jaar herberekend 1.0..0..0 2. 0. 0. 0. 0.2 0.0 Diploma binnen jaar herberekend Diploma binnen jaar herberekend 1.0 1.0 0. 0. 0. 0. 0. 0.2 0. 0.2 0.0 Witte nodes geven aan dat zich daarin geen studenten bevinden; na jaar zien we veel witte nodes, omdat de het aantal studenten dat een diploma kan halen in lagere inschrijvingsjaren veel kleiner is. 0.0 1

DUIK IN DE DATA WELKE PATRONEN ZIEN WE, WAAROM EN WAT KUNNEN WE ERMEE? V Bron: Ajax.nl Thema s aanmelding voorlichting taaltoets herkansingen 1

SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Wat kenmerkt het verschil tussen segment 1 en? Wat betekent dit voor mogelijk beleid en begeleiding? Uitval na jaar 1 herberekend Opleiding uitgeloot 01 1.0 0. 0. 0.1 0.10 0. 0.2 0.0 0.0 0.00 Verblijfsjaren hoger onderwijs Dagen tussen aanmelding en 1 september 10 2 0 10 10 120 100 0 0 19

SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Hoe oriënteren studenten zich voor hun studie? Waaruit zijn verschillen te verklaren? Wat betekent dit voor mogelijk beleid op oriëntatie? Dagen tussen aanmelding en 1 september Outlier Meer meer dan 1 dan vrijstelling 1 vrijstelling na per 10 10 120 100 0 0 0. 0. 0. 0.2 0.1 0.0 Orientatie voor brochure Orientatie voor extensief = open dag 0. 0. 0. 0. 0. 0. 0. 0.2 0.1 0. 0.2 0.1 20

SEGMENTATIE ANALYSE UITVAL NA 1 JAAR Welk verband is er tussen de taaltoets en uitval? Hoe verschillen de scores op de taaltoets? Welk mogelijk verband is er met leeftijd? Taaltoets Totaal Perc Taaltoets Formuleren Perc 0 90 0 0 0 0 0 Leeftijd peildatum 1 oktober Taaltoets Woordenschat Woordkeuze Perc 0 0 90 0 0 0 20 0 21

ACADEMISCH ZELFMANAGEMENT: AANGRIJPINGSPUNT VOOR BEGELEIDING Het aantal herkansingen dat studenten doen geeft interessante inzichten in de dimensie Academisch zelfmanagement. Na periode zien we vier groepen ontstaan: A: Studenten die weinig herkansen; zij zijn dan veelal al uitgevallen. B: Studenten die veel herkansen: een deel valt uit, een ander deel loopt vertraging op C: Studenten die weinig herkansen D: Studenten die vrijwel nooit herkansen Groep A betere voorlichting en matching. A Aantal herkansingen na periode B Groep C neemt idealiter vaker deel aan excellentie trajecten Groep B studiebegeleiding om uitval en vertraging te voorkomen. C D Groep D kandidaat voor excellentie trajecten. 2 1 22

HET VOORSPELMODEL VOOR WIE WORDT HET VOORSPELMODEL GEBRUIKT? De basis voor berekening van de kans op uitval (en dus de begeleiding) is het voorspelmodel voor studiesucces. Het voorspelmodel is als volgt ontwikkeld: A B C We nemen alle eerstejaars studenten uit 201, en houden een controlegroep apart. Uitschieters, bijv. studenten met veel vrijstellingen, laten we hierbij buiten beschouwing. De student(en) We leggen een relatie tussen variabelen die bekend zijn tijdens de studie, en het toekomstige studiesucces. We onderzoeken dit telkens met een andere combinatie van delen van de set Het model We toetsen of in het model de verbanden logisch op elkaar inwerken, en testen de resultaten op de controlegroep Kans op uitval/switch Peter, eerstejaars student in 201, heeft toestemming gegeven voor gebruik van zijn gegevens voor begeleiding De gegevens die tot dan toe bekend zijn over Peter worden getoetst aan het model % Dit resulteert in een kans op uitval voor Peter op dat moment 2

VISIE ONZE AANPAK VOOR GERICHTE EN PROACTIEVE BEGELEIDING De aanpak voor begeleiding kent drie stappen 1 We vragen studenten eerst toestemming om hun hun persoonsgegevens te mogen gebruiken voor proactieve en gerichte begeleiding. Toestemming 2 Bij studenten die toestemming hebben gegeven prioriteren we na iedere periode begeleiding en advies op basis van een kans op uitval. % Kans op uitval Vervolgens baseren we het advies en de verdere begeleiding op het tot dan toe getoonde studiegedrag (op de dimensies academische zelfmanagement/ motivatie en prestatie). ADVIES 2

HET VOORSPELMODEL DE KRACHT VAN DE VOORSPELLING Als maatstaf voor de kracht van het model is de Mean Absolute Error (MAE) gebruikt Hoe lager dit getal, des te sterker het model op dat moment is. Student Kans op uitval Werkelijke uitval Absolute fout Eric % Ja: 100% % Jennifer 2% Nee: 0% 2% MAE 0% MAE 0 Test 201 0 2 20 1 10 1 2 1 1 12 10 0 Totaal Start P1 P2 P P P P Zomer Test 201 (+1,%) (+1,%) (+2,%) (+1,9%) (+0,%) (+2,%) (+1,%) (+2,1%) (+2,2%) 2

HET VOORSPELMODEL VERSCHILLENDE SCORES PER OPLEIDING Uit de heatmap van opleidingen blijkt dat vóór aanvang van de studie de kracht van het model nog sterk varieert. Na aanvang de studie wordt de variatie veel minder. 2

HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (1/2) Het voorspelmodel Het voorspelmodel 201 is een transparant model: 1. Het is duidelijk uit te leggen welke variabelen bijdragen en in welke mate (white box) 2. Het bevat geen privacygevoelige kenmerken Persoonskenmerken Geslacht Leeftijd op 1 oktober Voorlichting Soort voorlichting gevolgd Reistijd naar de VU Middelbare school & vooropleiding Hoogste vooropleiding Gemiddelde cijfer Cijfer wiskunde Aanmelding Aantal dagen tussen aanmelding en 1 september Matching Aantal uren werk en nevenactiviteiten Vertrouwen in studiesucces Proactief studeergedrag Opleidingskenmerken Faculteit Uitvalskans van de opleiding Aantal studies Dubbele studie Aantal opleidingen afgelopen 2 jaar Resultaten Totaalresultaat taaltoets Hoogste resultaat toets Aantal EC (incl. deeltoetsen) Aantal no-shows 2

HET VOORSPELMODEL EEN TRANSPARANT VOORSPELMODEL (2/2). Het model wordt na iedere studieperiode geupdate met informatie.. Kenmerken worden alleen meegewogen als ze voor die periode van waarde zijn. Vanaf het moment dat de student gaat studeren, neemt in het model de weging van behaalde prestaties en opleidingskenmerken toe en dat van persoons- en motivatiekenmerken af. Persoons- en motivatiekenmerken Prestaties en type opleiding 2

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Scheiding der wateren De verdeling van de kans op uitval is vóór aanvang van de studie nog verspreid en onzeker (periode 0). Vóór aanvang Lage kans op uitval Hoge kans op uitval 29

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 1 0

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 2 1

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode 2

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. Periode

HET VOORSPELMODEL VERDELING VAN DE KANS OP UITVAL PER PERIODE Scheiding der wateren De verdeling van de kans op uitval is vóór aanvang van de studie nog verspreid en onzeker (periode 0). Vóór aanvang Periode 1 Periode 2 Periode Periode Periode Periode Vanaf periode 1 scheiden zich de kansen sterk naar links (0% kans op uitval) en rechts (100% kans uitval), naarmate behaalde studieresultaten meer zekerheid bieden over de kans op uitvallen. LINKS: Lage kans op uitval RECHTS: Hoge kans op uitval

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (1/) 1 2 Studentnummers 1. Na inloggen met een persoonlijk account ziet de begeleider de studenten van de faculteit of opleiding die toestemming hebben gegeven om mee te doen èn zijn ingeloot in groep A. 2. De lijst kan gesorteerd worden op studentnummer, opleidingsnaam of kans op uitval (aflopend of oplopend).. Van elke student is de kans op uitval van dat moment te zien en van eerdere periodes.. Ook is de verdeling van de kans op uitval over de gehele populatie te zien.. Gegevens kunnen gefilterd worden op kans op uitval, periode, opleiding en studentnummer. Een export kan gemaakt worden naar Excel voor aanvullend gebruik in bijvoorbeeld een mailing.

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (2/) 2 1 1. Als de begeleider doorklikt op een studentnummer wordt de kans op uitval getoond van de betreffende periode en het aantal behaalde EC. 2. De kans op uitval is bewust neutraal getoond.. Onderin het scherm staan de achterliggende factoren en hun waarden, verdeeld over factoren die wijzen op motivatie en planningsvaardigheden (links) of prestaties (rechts). De kleur van de waarde geeft aan of de student valt in de hoogste 2% (groen), de middelste 0% (oranje) of de laagste 2% (rood).. De benchmark geeft de gemiddelde score aan van overige studenten. Overige studenten zijn gebaseerd op niveau van het vorige scherm (dus ofwel de gehele faculteit ofwel de opleiding). Het betreft hier alle studenten die zich voor het eerst aan de opleiding hebben ingeschreven.

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) 9. Door voorgaande periodes te kiezen kan de begeleider de ontwikkeling van de variabelen volgen in de tijd.. De link Welke variabelen zijn gebruikt geeft een toelichting op de variabelen van het voorspelmodel en hun betekenis.. De link Studiemonitor linkt door naar de Studiemonitor van de betreffende student op VUnet. Toegang is afhankelijk van de rechten van de gebruiker, die daar opnieuw moet inloggen met VUnetID. 9. De begeleider kan kiezen voor een benchmark met de 10% beste studenten (Topstudent) of de Gemiddelde student (Mediaan). 9

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) In dit voorbeeld zien we dat deze student na periode 2 is gaan studeren, waarmee zijn of haar kans op uitval aanzienlijk is afgenomen. De prestaties zijn verbeterd wat betreft hoogste resultaat en het aantal behaalde EC 0

MONITOR PILOT/EXPERIMENT GERICHTE STUDENTBEGELEIDING (/) In dit voorbeeld zien we een student die van meet af aan al een lage kans heeft op uitval. 1

LAATSTE VERSIE 2

CONTACTGEGEVENS Mareanne Karssen Programmamanager Onderwijsagenda, Vrije Universiteit m.karssen@vu.nl 020-9 Theo Bakker Senior Beleidsadviseur Studiesucces & Onderwijslogistiek Student- en Onderwijszaken, Vrije Universiteit t.c.bakker@vu.nl 0-212