Student Analytics en aansluiting VO-HO 18 December 2014 GEGEVENS Voor een betere oriëntatie, studiekeuze en studentbegeleiding STUDIE- SUCCES & ANALYSE ANALYTICS Schoolchildren Climbing On Unsecured Wooden Ladders, Zhang Jiawan Village, Southern China boredpanda.com 30 september 2014
Op weg naar onderwijs 5-Hour Journey Into The Mountains On A 1ft Wide Path To Probably The Most Remote School In The World, Gulu, China boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 1
Op weg naar onderwijs 5-Hour Journey Into The Mountains On A 1ft Wide Path To Probably The Most Remote School In The World, Gulu, China boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 2
Op weg naar onderwijs Elementary School Students Crossing A River On Inflated Tire Tubes, Rizal Province, Philippines boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 3
Op weg naar onderwijs Elementary School Students Crossing A River On Inflated Tire Tubes, Rizal Province, Philippines boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 4
Op weg naar onderwijs Kids Flying 800m On A Steel Cable 400m Above The Rio Negro River, Colombia boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 5
Op weg naar onderwijs Kids Flying 800m On A Steel Cable 400m Above The Rio Negro River, Colombia boredpanda.com Member Firms and DTTL: Insert appropriate copyright (Go Header & Footer to edit this text) 6
Wie is Theo Bakker? Theo Bakker UvA Studie Informatiekunde VU Studie theologie Familie Vrienden Deloitte Theo Bakker, tbakker@deloitte.nl, 06-10999307 Bron: LinkedIn Maps 7
Deloitte en studiesucces Een samenhangend geheel aan diensten VISIE EN STRATEGIE Welke factoren spelen een rol in studiesucces? Wat is de visie van de instelling op dit thema? MONITORING Wat is het effect van de nieuwe aanpak? ANALYSE STUDENTDATA Wat kunnen we leren uit studentdata (historische en realtime data) STUDIE- SUCCES BORGING Hoe kunnen we de uitkomsten van de analyses borgen in informatiesystemen, processen en procedures? SNAPSHOT INTERVENTIES Wat is de huidige werkpraktijk? Welke interventies worden nu ingezet? INTERVENTIE ARRANGEMENTEN Welke interventie arrangementen sluiten optimaal aan bij de daadwerkelijke behoefte van studenten? 8
Wat willen we leren vandaag? GEGEVENS ANALYSE TRENDS Welke trends zijn er in digitalisering van onderwijs en studentbegeleiding? GEGEVENS Welke gegevens zijn beschikbaar en met elkaar te verbinden? ANALYSE Hoe kunnen we deze gegevens analyseren? INZICHTEN Hoe zijn nieuwe inzichten vervolgens in de praktijk te gebruiken en voor wie? STUDIE- SUCCES & ANALYTICS VERZILVERING Hoe kunnen VO en HO elkaar en de student zo informeren dat deze nieuwe inzichten daadwerkelijk ontstaan en verzilverd kunnen worden? 9
GEGEVENS ANALYSE Trends STUDIE- SUCCES & ANALYTICS
1 2 3 11
LinkedIn voorbeeld d.d. 21-05-2014 Harvard Open Courses edx Udemy Udacity Muse University Coursera MIT Open Courseware Stanford Online Khan Academy UC Berkeley Duke UCLA Open Yale Carnegie Mellon 12 https://www.linkedin.com/today/post/article/20140520115703-10999323-design-your-own-master-s-degree-in-7-easy-steps?trk=tod-home-art-list-small_1
De behoefte aan goede (stuur)informatie schuift naar voren in de keten van HO naar VO 13
Traditionele BI versus Analytics Van achteruit kijken en verklaren, naar vooruitkijken en voorspellen Analytics Verkennen en ontdekken, toekomst voorspellen, actiegerichte inzichten Optimalisatie, simulatie & scenario analyse Voorspellende modellen Segmentatie / statisch clusteren Data exploratie Traditionele BI Feiten begrijpen, rapportage verleden en huidige prestatie Prestaties meten en rapporteren Data extractie & integratie 14
GEGEVENS ANALYSE Gegevens, analyse en inzichten STUDIE- SUCCES & ANALYTICS
Studentfactoren die bijdragen aan studiesucces in het Hoger Onderwijs Student Opleiding Capaciteiten Vooropleiding Intelligentie Plannen, coördineren, time-management Motivatie Vermogen om sociale relaties aan te gaan Vermogen om hulp te zoeken Omgevingsfactoren: persoonlijke achtergrond Achtergrond gezin (1 e generatie student of niet, broers / zussen die studeren, inkomen, etc.) Achtergrond woonplaats (mate van verstedelijking, kwaliteit van de school) Geslacht, leeftijd Andere verplichtingen naast de studie Capaciteiten Omgevingsfactoren Omgevingsfactoren: Overheid Wet- en regelgeving Studiefinanciering 16
Data is gecombineerd van 17.000 studenten uit verschillende bronnen waarover analyses op uitval en studieduur zijn uitgevoerd Data ware house Intake gegevens CRM x Eerstejaars Inschrijvingen Roostersysteem SIS / Extract 1 / Extract 2 Extern: CBS, DUO Analyses op uitval en studieduur 17
Studenten met een VWO vooropleiding hebben een kleinere kans op uitval, maar studeren gemiddeld wel iets langer Verdeling van vooropleidingen 92% VWO HAVO HAVO/VWO 6% 2% Effect van middelbare schoolcijfers op uitval Gem. cijfer middelbare school <7 Cijfer Nederlands <7 25 28 32 33 Een VWO vooropleiding betekent minder kans op uitval tijdens of na het eerste jaar (30% tov 34%). Cijfers hebben een verwachte invloed op zowel uitval als studieduur. Er kan het beste gekeken worden naar het gemiddelde cijfer van de middelbare school. Mensen met een diploma van een middelbare school uit een stedelijk gebied hebben meer kans op uitval (38% tov 28%). Advies: Differentieer op gemiddeld cijfer middelbare school en stedelijkheid middelbare school. Survival grafiek van matig presterende scholieren Opleidingsfactoren Cijfer Wiskunde <7 31 27 Ja Nee Cijfer Engels <7 0 5 10 15 20 25 31 29 30 35 18
Studenten die bewust kiezen voor een opleiding hebben meer studiesucces Motivatiekeuzes* Studenten die gemotiveerd zijn door de inhoud van het curriculum hebben een lagere kans op uitval Mijn vrienden studeren er 32 26 (24% tov 31%). Vanwege de Master 28 25 Studenten die aangeven te studeren omdat hun Aangeraden hier te studeren 28 vrienden er studeren hebben een hogere kans op 26 uitval (32% tov 26%). Het is dichtbij 27 26 26 Het is belangrijk dat de student zelf inschat meer Vanwege de stad x 26 dan 35 uur per week te gaan studeren (27% tov 24 33%). Vanwege de studie 31 Adviezen: 1) Differentieer studiebegeleiding op 0 5 10 15 20 25 30 35 basis van getoond commitment en specifieke vormen Effect van voorlichting op uitvalskansen van motivatie (mn. vanwege vrienden). 2) Richt vragenlijsten faculteitsbreed gelijk in. Voorlichtingsbrochure 29,0 31,0 Effect van voorlichting op studieduur Studentfactoren Voorlichtingsevenement 22,0 32,0 Ja Nee Meeloopdag 0 5 10 15 21,0 31,0 20 25 30 35 19 * Motivatievragen worden gesteld bij departementen x, y en z.
Studenten die op latere leeftijd (>21) aan hun opleiding beginnen hebben meer kans op uitval Percentage uitval per leeftijdscategorie Leeftijdsverdeling 35 36 42 39 38 43 38 27 25 25 26 30 <=17 656 18 3,968 19 3,864 20 2,443 21 1,719 22 1,314 23 886 24 644 25 373 26 237 27 159 28 117 Studentfactoren 47 29 89 43 30-35 104 30 35-40 47 28 40-45 43 20 50 45 40 35 30 25 20 15 10 5 0 Advies: Differentieer in studiebegeleiding voor studenten 17-21 en >21. Houd hierbij rekening met diverse redenen voor een instroom op latere leeftijd: HBO-achtergrond versus studenten die langer over het middelbaar onderwijs hebben gedaan. 0 1,000 2,000 3,000 4,000
Eerdere of andere studies hebben veel invloed op uitval en vertraging Percentage uitval van studenten met meerdere opleidingen Eerdere bachelor 34 30 Bachelor gelijktijdig 30 52 Eerdere master 31 66 Master gelijktijdig 31 49 Tweede studie tijdens eerste* 35 31 0 10 20 30 40 50 60 70 Studieduur van studenten met meerdere opleidingen Eerdere bachelor 3,6 3,8 Vooral eerdere en gelijktijdige bachelors komen vaker voor en leiden tot hoge uitval en juist korte studieduur. Dit laatste wordt mogelijk gemaakt door vrijstellingen. Advies: Differentieer op basis van nevenstudies. Maak daarbij onderscheid tussen BA studenten die minder presteren of juist beter. Breng bij de laatste groep Excellentieprogramma s onder de aandacht. Overweeg studenten die al eerder een master hebben gevolgd af te raden een BA opleiding te gaan volgen. Studieduur van studenten met meerdere opleidingen Studentfactoren Bachelor gelijktijdig 4,2 3,7 Master gelijktijdig 3,2 3,7 Tweede studie tijdens eerste* 0 1 2 3 3,2 3,7 4 5 Ja Nee 21 * Een studie met een startdatum die binnen de duur van een andere studie aan de universiteit valt
De resultaten van het eerste semester zijn het meest bepalend voor kans op uitval en studieduur Kans op uitval per eerste semester statistiek Gemiddeld onvoldoende <20 studiepunten Eerste cijfer onvoldoende Slagingspercentage <75% Niet Cum Laude 0 5 10 13 16 17 15 27 43 42 46 10 15 20 25 30 35 40 45 50 Gemiddelde studieduur per eerste semester statistiek Gemiddeld onvoldoende <20 studiepunten Eerste cijfer onvoldoende Slagingspercentage <75% Ja Nee Niet Cum Laude 3,6 4,1 3,5 4,1 3,6 4,1 3,5 3,8 3,4 4,3 0 1 2 3 4 5 50 Het allereerste tentamen cijfer blijkt al doorslaggevend voor de kans op uitval. Een gemiddeld onvoldoende cijfer leidt tot uitval in 50% van de gevallen. Deze factoren correleren sterk met elkaar. De resultaten hebben ook zonder uitval veel invloed op de verwachte studieduur van studenten. Advies: Baseer interventies consistent op het 1 e tentamencijfer en herhaal dit na ieder blok. % Survival curve voor studenten met een eerste onvoldoende tov de rest Studentfactoren 22
De verschillende opleidingen kennen een soortgelijke verdeling voor verwachte studieduur met een aantal interessante uitschieters Verdeling van de studieduur per opleiding * Deze grafiek bevat een selectie op studenten met minimaal 180 studiepunten en geen vrijstelling Opleidingsfactoren 70% diploma in 4 jaar Studieduur Advies: Classificeer opleidingen naar studieduur en voer hiervoor gericht beleid in (i.c. opleiding a,b,c,d). Stuur aan op minder langstudeerders en versneld afstuderen van langstudeerders. 23
Percentage Uitval Een aantal opleidingen met een hoge uitval heeft een kortere studieduur. Een aantal opleidingen met een lage uitval heeft een langere studieduur. Verdeling van uitval en studieduur per opleiding 55 50 45 40 35 30 25 20 15 Opleiding 14 Opleiding 2 Opleiding 12 Opleiding 21 Opleiding 19 Opleiding 27 Opleiding 26 Opleiding 25 Opleiding 18 Opleiding 10 CoH A CoH B CoH C CoH D CoH E CoH F Opleiding 13 Opleiding 11 Opleiding 3 Opleiding 23 Opleiding 7 Opleiding 8 Opleiding 16 Opleiding 4 Opleiding 1 70% diploma in 4 jaar Opleiding 24 Opleiding 22 Opleiding 15 Opleiding 20 Opleiding 6 Opleiding 9 Opleiding 17 Opleiding 5 23% uitval 2,9 3,0 3,1 3,2 3,3 3,4 3,5 3,6 3,7 3,8 3,9 4,0 4,1 4,2 4,3 4,4 4,5 4,6 Opleidingsfactoren Gemiddelde studieduur Advies: Het is van belang dat het eerste tentamencijfer over alle opleidingen even representatief is voor de gehele opleiding. Dit lijkt nu nog niet overal de praktijk. 24
Percentage onvoldoendes eerste tentamen Er lijkt hier deels een verband met het eerste tentamen als representatief selectie-instrument Verdeling van de eerste resultaten van studenten per opleiding ten opzichte van uitval 55 50 45 40 35 30 25 20 15 Opleiding 3 Opleiding 9 Opleiding 7 Opleiding 11 23% uitval Opleiding 13 Opleiding 18 Opleiding 15 Opleiding 1 Opleiding 6 Opleiding 5 Opleiding 10 Opleiding 16 Opleiding 25 Opleiding 27 Opleiding 26 Opleiding 19 Opleiding 20 Opleiding 17 Opleiding 4 Opleiding 21 Opleiding 8 Opleiding 23 Opleiding 22 Opleiding 14 Opleiding 24 Opleiding 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 CoH A CoH B CoH C Opleiding 2 CoH D CoH E CoH F Opleidingsfactoren Percentage uitval Advies: Het is van belang dat het eerste tentamencijfer over alle opleidingen even representatief is voor de gehele opleiding. Dit is nu nog niet overal de praktijk. 25
Welke gegevens zijn er nog meer beschikbaar voor analyses? Student Opleiding Bespreek met je buurman/buurvrouw aan welke gegevens je nog meer denkt om te gebruiken? Waar moeten die gegevens vandaan komen? Zijn die gegevens vrij beschikbaar? Kunnen ze gemakkelijk gekoppeld worden aan een leerling / student? 26
Om verder in te zoomen op verschillende type studenten gebruiken we een geavanceerde visuele segmentatie techniek: de Self Organizing Map Stel je voor dat alle studenten van de FGw op het grasveld van de Amsterdam Arena staan... De opdracht: Ga naast de personen staan op wie je het meest lijkt qua: studieresultaten in het eerste semester middelbare school cijfers en vooropleiding genoten voorlichting motivatie om te studeren Tot diep in de nacht discussiëren de studenten en groepen beginnen zich steeds meer te vormen. Laat in de ochtend worden gekleurde vlaggen uitgedeeld, een helicopter stijgt op, en wordt er een vraag gesteld: Wat was het cijfer voor jouw eerste tentamen? 27
De 16.666 studenten zijn vervolgens op basis van studiegedrag ingedeeld in 12 groepen 11) HBO propedeusers HBO propedeuse met kans op een slechte start (#1.117) 9) Slechte starters Al iets oudere studenten die waarschijnlijk uitvallen, vaker uit gemeentes met laag inkomen (#753) 8) Hakken over de sloters Lage cijfers middelbare school, kans op uitval en studievertraging (#901) 1) Snelle uitvallers Lage cijfers bij 1 e tentamen (#1.821) 12) Stapelaars Lang over middelbare school gedaan (#676) 11 9 1 12 8 5) De middenmoters Geen hoge cijfers, maar vallen over het algemeen niet uit (#2.742) 5 6 10 2 3 7 4 10) Goede VWO-ers Goede en excellente studenten (#3.803) 6) Plattelanders Van het platteland naar de stad met hoge cijfers (#764) 7) HBO niet-nederlands HBO-vooropleiding, niet- Nederlands (#1.671) 4) Contractanten Studeren als hobby, contractanten (#299) Studentfactoren 2) Trage voorlichtingslozen Hadden geen voorlichting nodig voor hun studiekeuze, en halen slechts rond de 10 studiepunten in het eerste semester (#1.310) 3) De harde werkers Divers segment met hoge cijfers en kans op uitval (#824) Speciaal beleid tegen uitval Potentie voor differentiatie ten gunste van hogere resultaten 28
Uitval groepeert zich aan de linkerkant van de kaart in segment 1, 9 en een gedeelte van 8 en 3 (1,3,8,9) Uitval speelt zich af op meerdere gebieden; dit duidt erop dat de redenen voor uitval verschillen. (idem) Uitval en vertraging in jaren na het eerste jaar lijken sterk op de uitval in het eerste jaar. Jaren tot examen 11 9 12 8 5 10 6 7 Uitval binnen of na één jaar 11 9 1 12 8 2 3 Uitval over de gehele studie 11 9 12 8 5 5 10 6 7 10 6 7 4 Studentfactoren 1 2 3 4 1 2 3 4 29
De statistieken van de SOM kunnen we ook aggregeren naar segment niveau Percentage studenten per segment De goede VWOers (10) en de middenmoters (5) zijn 39% van de populatie. De HBO segmenten (7 en 11) tellen op tot 17%. 25% van de uitval valt onder het segment snelle uitvallers. Percentage studenten per segment 1) Snelle uitvallers 11 2) Trage voorlichtingslozen 8 3) Harde werkers 5 Uitval of Switch Overig 11 12 10 9 8 5 6 1 2 3 Percentage uitval per segment 1) Snelle uitvallers 2) Trage voorlichtingslozen 26 3) Harde werkers 37 7 4 68 Studentfactoren 4) Contractanten 2 5) De middenmoters 16 4) Contractanten 5) De middenmoters 22 32 6) Plattelanders 7) HBO niet-nederlands 5 10 6) Plattelanders 7) HBO niet-nederlands 11 19 8) Hakken over de sloters 9) Slechte starters 5 5 8) Hakken over de sloters 9) Slechte starters 40 63 10) Goede VWO-ers 11) HBO propedeusers 7 23 10) Goede VWO-ers 11) HBO propedeusers 15 30 12) Stapelaars 4 12) Stapelaars 17 0 2 4 6 8 10 12 14 16 18 20 22 24 0 10 20 30 40 50 60 70 30
Snelle uitvallers (segment 1) 1/2 kans op uitval 68% VWO vooropleiding 11 12 10 9 8 5 6 7 1 2 3 4 Gemiddeld cijfer hele bachelor 11 12 10 9 8 5 6 7 Verstedelijking rond middelbare school 11 12 10 9 8 5 6 7 1 2 3 4 Gemiddeld cijfer bij middelbare school 11 12 10 9 8 5 6 7 Studentfactoren 1 2 3 4 1 2 3 4 31
Snelle uitvallers (segment 1) 2/2 kans op uitval 68% Vrouw Leeftijd bij middelbare school examen 11 12 10 9 8 5 6 7 1 2 3 4 Voorlichtingsbrochure 11 12 10 9 8 5 6 7 1 2 3 4 Voorlichtingsevenement 11 12 10 9 8 5 6 1 2 3 7 4 Studentfactoren 32
Welke extra inzichten zijn er mogelijk als meer gegevens uit het VO gebruikt worden? Student Opleiding Stel dat we meer gegevens uit het VO kunnen gebruiken, welke extra inzichten verwacht je dan? In welke mate wissel je nu al gegevens uit met het HO c.q. VO en met welke doel? 33
GEGEVENS ANALYSE Verzilvering STUDIE- SUCCES & ANALYTICS
Voorlichting en inschrijving vanuit het perspectief van de student Voorlichting 1. Oriëntatie Jr 1 Heel veel keuzes Wat kan en moet ik kiezen? Ter illustratie Meeloopdag Studiekeuzetraject Kennismaking op school Hier of ergens anders? Open dag Verkeerde keuze? Student-ID Website Collegekaart Studiefinanciering Collegegeld Wat wil ik? Wat vinden mijn ouders? DigiD OV-jaarkaart Bijbaantje of lenen? Wat kan ik? Wat kan ik worden? Studielink Aanmaning Thuis wonen of op kamers? Intakegesprek Dyslexie, etc. Introductie Wat zijn de regels? Vrienden maken Diploma Taal- en SLB HAVO/VWO wiskundetoets halen F Inschrijving 2. Propedeuse Jr 2 Versnippering F Studieadvies 3. Hoofdfase voorbereiding verdieping F Toegang stage, minor Jr 3+4 4. Hoofdfase verdieping Vervolgopleiding Voorlichting en begeleiding F Diploma 35 F = formeel, procedureel proces aan regels gebonden
Hoe kunnen extra inzichten verzilverd worden? Student Opleiding Welke bestaande interventies kun je aanpassen zodat ze meer effect hebben? Welke nieuwe interventies zie je en wanneer vinden die plaats? Wat is de doelgroep van deze interventies en waarom? 36
Meer informatie Theo Bakker Senior Manager Onderwijs Deloitte Consulting tbakker@deloitte.nl 06-10999307 37
Deloitte refers to one or more of Deloitte Touche Tohmatsu Limited, a UK private company limited by guarantee, and its network of member firms, each of which is a legally separate and independent entity. Please see www.deloitte.com/about for a detailed description of the legal structure of Deloitte Touche Tohmatsu Limited and its member firms. Deloitte provides audit, tax, consulting, and financial advisory services to public and private clients spanning multiple industries. With a globally connected network of member firms in more than 150 countries, Deloitte brings world-class capabilities and deep local expertise to help clients succeed wherever they operate. Deloitte's approximately 170,000 professionals are committed to becoming the standard of excellence. This publication contains general information only, and none of Deloitte Touche Tohmatsu Limited, its member firms, or their related entities (collectively, the Deloitte Network ) is, by means of this publication, rendering professional advice or services. Before making any decision or taking any action that may affect your finances or your business, you should consult a qualified professional adviser. No entity in the Deloitte Network shall be responsible for any loss whatsoever sustained by any person who relies on this publication.