Effectmeting na 1 bachelorjaar bij het project Studiekeuzegesprekken bij grote groepen studenten

Transcriptie

1 Nameting Studiekeuzegesprekken: wat werkt? Effectmeting na 1 bachelorjaar bij het project Studiekeuzegesprekken bij grote groepen studenten van de Rotterdam School of Management, Erasmus University (RSM) A.W.A. Scheepers 15 november 2010

2 1. Inleiding 1.1. De effectmeting Deze effectmeting van het project Studiekeuzegesprekken bij grote groepen studenten sluit direct aan bij het rapport Praktijkbeschrijving deel 4 en 5 van de studiekeuzegesprekken bij grote groepen studenten van de Rotterdam School of Management, Erasmus University (RSM) van 9 april De effectmeting levert gegevens waarbij de experimentele groep, de uitgenodigden voor en de deelnemers aan de studiekeuzegesprekken (SKG) bij RSM in juni en augustus 2009, vergeleken wordt met de controle- (of referentie-) groep, die niet werd uitgenodigd werd voor de gesprekken. De experimentele zowel als de controlegroep bestond uit aanmelders voor de bacheloropleiding Bedrijfskunde cohort De effectmeting betreft de prestaties van de experimentele en controlegroep ná 1 jaar in de bacheloropleiding Bedrijfskunde. De gegevens in deze effectmeting betreffen: - de behaalde studiepunten aan het eind van het 1 e studiejaar; - aantal uitschrijvers en omzwaaiers, waarbij een onderscheid wordt gemaakt tussen vrijwillige en gedwongen stoppers; - herinschrijvers na 1 jaar; - een eigen oordeel over het effect van studiekeuzegesprekken, in lijn met de eerder uitgevoerde evaluatie Recapitulatie Het SKG project bij RSM bestond uit een korte termijn traject en een lange termijn traject. Het korte termijn traject omvatte de eigenlijke studiekeuzegesprekken. Bij RSM waren dit groepsbijeenkomsten in de maanden juni en augustus van Het doel van de bijeenkomsten was om de aanmelders voor de bacheloropleiding Bedrijfskunde gerichter wel of niet voor de opleiding te laten kiezen waardoor er minder studie-uitval en minder vertraging in de carrière van de studenten plaatsvindt. Vanwege de experimentele opzet van de SKG bij RSM werd een deel van de aanmelders uitgenodigd voor een groepsbijeenkomst in juni of augustus en een deel niet. Van de in totaal 971 aanmelders voor de opleiding werden er 383 (40%) uitgenodigd voor een groepsbijeenkomst, 353 (36%) niet uitgenodigd (controlegroep) en konden 235 aanmelders (24%) niet worden uitgenodigd vanwege te late aanmelding (ná half juli). Van de uitgenodigden voor SKG zijn er 125 daadwerkelijk op gesprek geweest. Met de groepsgesprekken werd beoogd de aankomend studenten kennis de maken met de werkwijze bij de opleiding (samenwerken in teams en onder tijdsdruk), met inhoudelijke aspecten van de opleiding (een SWOT analyse in teamverband) en met risico- en succesfactoren voor de studie (via een triviantspel tussen de teams). Het langere termijn traject bestond uit het systematisch verzamelen van informatie van aankomend studenten betreffende 7 factoren die, op grond van eerder onderzoek en eigen bevindingen, mogelijk van invloed zijn op studieprestaties. Deze informatie werd verzameld via een digitale vragenlijst die iedere aanmelder in Studielink, bij de aanmelding voor de opleiding, kon invullen. Deze verzamelde gegevens zijn achteraf gekoppeld aan de studieprestaties. Inzicht in dergelijke invloedsfactoren geeft 1

3 verder inzicht in de causaliteit met betrekking tot studieprestaties (en uitval) en levert handvatten op om interventies te plegen. 2. Korte termijn traject: effecten van studiekeuzegesprekken 2.1. Behaalde studiepunten na 1 jaar Deelnemers aan de studiekeuzegesprekken presteren significant beter. Zowel in vergelijking met degenen die niet waren uitgenodigd (controlegroep) als in vergelijking met degenen die wel uitgenodigd waren maar niet konden komen of wilden komen. De verschillen zien we zowel bij elk tussentijds BSA advies (na elke trimesterronde met tentamens) als na 1 jaar (augustus): De verschillen zijn statistisch significant bij elk tussentijds BSA (ANOVA: december F=3,949 sig. 0,02; maart F=2,906 sig. 0,05; juni F=3.163 sig. 0,04; augustus F=4,123 sig. 0,01). 2

4 2.2. Uitschrijvers en omzwaaiers Aan de hand van de volgende figuur betreffende de BSA s na 1 jaar, is te zien dat de vrijwillige, vroege uitval (gestopt vóór 1 februari 2010) bij de deelnemers aan de gesprekken duidelijk minder is (11%) dan bij de niet deelnemers (meer dan 15%). Wat betreft de gedwongen uitval na een jaar (negatief BSA) is dit verschil nog duidelijker. Van de deelnemers aan de gesprekken heeft ruim 23% een negatief BSA gehad. Bij niet deelnemers is dit percentage 10% tot 12% hoger (ongeveer 35%). De figuur hieronder geeft nog wat duidelijker aan wat de verschillen in BSA prestaties zijn tussen degenen die deelgenomen hebben aan de studiekeuzegesprekken en degenen die niet deelgenomen hebben (zowel degenen die niet in zijn gegaan op de uitnodiging als degenen in de controlegroep). De SKG deelnemers komen duidelijk beter uit de bus. 3

5 2.3. Herinschrijvers In overeenstemming met de constateringen in de voorgaande paragraaf zien we dat het aandeel herinschrijvers in 2010 duidelijk groter is onder de gespreksdeelnemers dan onder de niet deelnemers Effect van studiekeuzegesprekken Uit het voorgaande is duidelijk dat, wat betreft het verbeteren van de prestatie en het terugdringen van studie-uitval, de studiekeuzegesprekken een positief effect hebben. Of de studiekeuzegesprekken ook leiden tot een scherpere studiekeuze is niet helemaal duidelijk geworden. Eerder immers is al geconstateerd (zie praktijkbeschrijving deel 4 en 5) dat van de deelnemers aan de studiekeuzegesprekken bijna iedereen ook definitief voor de opleiding Bedrijfskunde kiest: heroverwegingen zijn slechts in enkele gevallen aan de orde. Hierbij zijn geen grote verschillen met de niet-deelnemers 1. Door het, aan het experiment inherente, vrijwillige karakter van deelneming aan de gesprekken is het mogelijk dat voornamelijk de reeds sterk gemotiveerde aanmelders sterk vertegenwoordigd waren bij de gesprekken. Al met al heeft het SKG project in 2009 zodanig positieve effecten gehad dat het in de komende jaren wordt voortgezet bij RSM (en bij andere faculteiten van de EUR). Hierbij wordt het experimentele karakter losgelaten en wordt geprobeerd zo veel mogelijk aankomend studenten bij de gesprekken te betrekken. Zo is in de zomer van 2010 is het aantal deelnemers aan de Studiekeuzegesprekken bij RSM al ruim verdrievoudigd (ongeveer 45% van alle instromers). Gezien het voorgaande is het oordeel over het effect van de RSM Studiekeuzegesprekken op studieuitval +- (nog steeds nogal wat uitval maar duidelijk minder dan niet-deelnemers) en op de studievoortgang ++ (duidelijk betere prestaties van SKG deelnemers dan van overige studenten). 1 Het al dan niet invullen van de online vragenlijst in Studielink leek wel een dergelijk effect te hebben (zie Praktijkbeschrijving deel 4 en 5). 4

6 3. Lange termijn traject: beïnvloeding van uitval en studieprestatie 3.1. Factoren gekoppeld aan prestaties De gegevens die via de online vragenlijst verzameld zijn in de periode van april 2009 tot en met september 2009, ter inventarisatie van factoren die van invloed kunnen zijn op studieprestatie en uitval, zijn in het najaar 2010 gekoppeld aan de prestaties ná 1 jaar Bedrijfskunde. Dit heeft een grote hoeveelheid aan informatie opgeleverd die gebruikt kan worden bij interventies voor en na aanvang van de opleiding. Met name is het mogelijk om aan de hand van de bevindingen risicoprofielen en risicogroepen de identificeren die gericht met interventies en remediërende maatregelen benaderd kunnen worden. Hieronder worden voorbeelden van deze effecten besproken: directie causale verbanden, interactie-effecten en voorbeelden van risicoprofielen en risicogroepen. Een aantal bevindingen zullen in de drie volgende paragrafen puntsgewijs kort opgesomd worden. Bij al de genoemde effecten is steeds sprake van statistisch significante effecten Directe verbanden VWO kennis bepaalt studiesucces. Meer kennis van Wiskunde (A1,2; B1), Economie (1; 1,2), M&O en Nederlands levert betere prestaties op. Bijzondere activiteiten op het VWO naast school (3 tot 4 uur per week) leveren mindere prestaties op wanneer het gaat om bestuurs- of commissiewerk, topsport of het leiden van een eigen bedrijf. Betere prestaties worden geleverd wanneer men op het VWO minimaal 2 extra vakken heeft gevolgd (inhoudelijke kennis). Bijbaantjes tijdens VWO zoals in de horeca of in een supermarkt hebben geen effect op prestaties. In het B1 levert, van de 12 vakken, vooral een goede beheersing van bedrijfskundige kennis op het gebied van Wiskunde, Statistiek, Beslissingsondersteuning, Financiële processen en Macroeconomische & institutionele context betere prestaties op. Etniciteit heeft een duidelijk effect op prestaties. Niet-westers allochtonen vertonen gemiddeld weinig vroege uitval en gemiddeld veel late uitval (negatief BSA): 5

7 Het tijdstip van aanmelding voor de studie heeft een sterk effect op studieprestatie: De prestaties van late aanmelders zijn opmerkelijk slechter dan die van vroegere aanmelders: Omdat het tijdstip van aanmelding samenhing met al dan niet kunnen uitnodigen voor en deelnemen aan de keuzegesprekken (late aanmelders konden die worden uitgenodigd voor de gesprekken), is er een interactie-effect te zien. De uitval is aanmerkelijk hoger bij latere aanmelders die niet deelnamen aan de SKG dan bij vroege aanmelders die wel deelnamen aan SKG: 6

8 Geslacht heeft een duidelijk effect op prestaties. Vrouwen scoren gemiddeld significant beter dan mannen: De uren die studenten per week op het VWO besteedden aan de studie hebben een duidelijke relatie met studieprestaties: Een meer realistische inschatting van de tijd die nodig is voor studeren per week heeft een gunstig effect op de prestatie. Studievaardigheden opgedaan op het VWO hebben een positief effect op studieprestaties. Studenten die aangeven dat zij op het VWO goed konden plannen en relatief weinig hulp en ondersteuning nodig hadden haalden significant meer ECTS in het eerste bachelorjaar.. Activiteiten naast de studie: wanneer men vooraf aangeeft per week 6 uur of meer te gaan sporten tijdens de studie heeft dat een negatief effect op studieprestaties. 7

9 3.3. Interactie-effecten Autochtonen die zich slechts voor 1 opleiding hebben aangemeld/ingeschreven presteren gemiddeld beter dan degenen die zich voor meerdere opleidingen hebben aangemeld. NW allochtonen scoren juist beter wanneer zij voor meerdere opleidingen hebben aangemeld/ingeschreven: NW allochtonen zijn meer extrinsiek gemotiveerd: Aanmelders voor meerdere opleidingen presteren minder dan aanmelders voor 1 opleiding. Dat geldt alleen voor degenen met een lage extrinsieke motivatie. Inschrijvers voor meerdere opleidingen met een hogere extrinsieke motivatie scoren zelfs beter dan inschrijvers voor 1 opleiding:. 8

10 Het gemiddeld aantal behaalde ECTS na 1 jaar is duidelijk hoger voor mannen die deelgenomen hebben aan de studiekeuzegesprekken. Voor vrouwen lijkt dit niets uit te maken. Wanneer je voor meerdere opleidingen inschrijft leveren hogere verwachtingen van ouders méér ECTS op na 1 jaar. Bij inschrijving voor 1 opleiding maakt dat niet uit. Bij NW allochtonen zijn de verwachtingen van de ouders significant hoger wat betreft vanzelfsprekendheid om te gaan studeren en de verwachting dat ze de studie met succes zullen afronden. De ouders helpen significant minder mee met het maken van een goede studiekeuze. 9

11 3.4. Voorbeelden van risicoprofielen en risicogroepen De bevindingen zoals opgesomd in de vorige twee paragrafen zullen nog verdere analyses ondergaan. Maar momenteel is al voldoende duidelijk geworden welke factoren een invloed kunnen uitoefenen op studieprestaties en uitval. Deze factoren worden allereerst ingebracht bij de studiekeuzegesprekken van RSM in de komende jaren. Maar ook worden en zijn deze bevindingen aangegrepen om risicoprofielen en risicogroepen te identificeren. Daarmee kunnen gerichte interventies en remediërende maatregelen genomen worden. Hieronder zijn enkele voorbeelden van risicoprofielen en risicogroepen weergegeven. 10

12 11

13 12

14 4. Conclusies Geconcludeerd kan worden dat het studiekeuzegesprekken project 2009 van RSM gunstige effecten en zeer veel nuttige informatie heeft opgeleverd. De positieve resultaten van de gesprekken zelf hebben aanleiding gegeven om de Studiekeuzegesprekken bij RSM in de komende jaren, met de nodige aanpassingen, in versterkte mate voort te zetten. Daarbij wordt er naar gestreefd om zo veel mogelijk van de aanmelders voor de bacheloropleiding Bedrijfskunde te laten deelnemen aan die gesprekken. In 2010 is er al een verdrievoudiging geweest van de deelnemers ten opzichte van de zomer van Ook met betrekking tot deze groep zullen effectmetingen gedaan worden. De gunstige effecten van het Studiekeuzegesprekken project heeft er tevens toe geleidt dat Studiekeuzegesprekken in de komende periode voor een groot aantal opleidingen aan de EUR ontwikkeld en uitgevoerd zullen worden. Hiertoe is een speciaal interfacultair project aan de EUR in het leven geroepen. Ook de inventarisatie van de succes- en risicofactoren via de online vragenlijst in Studielink is voortgezet, om zodoende een nog transparanter inzicht te krijgen in bepalende factoren voor studiesucces en studie-uitval. De gegevens van deze inventarisatie worden gebruikt om verschillende initiatieven, voor en na de poort, bij RSM te implementeren in de komende periode. Hieronder worden puntsgewijs enkel initiatieven genoemd aan de hand van drie thema s. Het eerste thema (risicogroepen en risicoprofielen) bouwt het meest nadrukkelijk voort op (resultaten van) de eerdere geïnitieerde activiteiten en legt de nadruk, maar niet uitsluitend, op de periode vóór daadwerkelijke instroom (voor de poort). De activiteiten die geordend zijn onder het tweede thema (uitdaging en activering) vinden voornamelijk plaats ná instroom (na de poort). De activiteiten die bij het derde thema zijn genoemd vormen een aanvulling op de activiteiten bij de eerste twee thema s. Thema 1: Risicogroepen en risicoprofielen Doorgaande inventarisatie van succes- en risicofactoren bij aanmelding voor de opleiding via het online assessment in Studielink. Groepsgewijze studiekeuzegesprekken voeren om een betere studiekeuze te bewerkstelligen. Risicoprofielen vaststellen en bepalen op grond van de gegevens die via Studielink en de online vragenlijst zijn verzameld. Late aanmelders als risicogroep proactief benaderen en geven advies via NOA online assessment. NOA heeft een methode om persoonlijkheidskenmerken, competenties en capaciteiten vast te stellen die een (aangetoonde) relatie met studiesucces hebben. Bovendien voorziet hun systeem in de mogelijkheid om direct een genormeerd advies te genereren. Studieprestaties niet-deelnemers studiekeuzegesprekken en niet-late aanmelders monitoren ( targeten ) vóór en na de poort op grond van de vastgestelde risico- en succesprofielen op basis van de info uit de online vragenlijst en studieprestaties. Risicogroepen uitnodigen voor een één-op-één gesprek. Gestructureerd gespreksprotocol. 13

15 Thema 2: Vergroting van de uitdaging en activering Gerichte acties op gedefinieerde subgroepen op basis van succes- en faalfactoren/risicoprofiel Workshops studievaardigheden door studieadviseurs bestemd voor leden van specifieke risicogroepen (targeting). Deze groepen worden gericht aangeschreven met het dringende advies om deel te nemen (eventueel in samenwerking met het Talencentrum). Risicogroepen worden verplicht om de werkgroepen van cijfermatige vakken als Statistiek en Financiële Processen te volgen. Het betreft hier werkgroepen die voor alle studenten bedoeld zijn maar voor risicogroepen een meer verplichtend karakter kunnen hebben. Voor alle studenten geldt de verplichting om het mentoraat te volgen. Dit actiepunt bestaat dus uit 2 onderdelen te onderscheiden: o Risicogroepen volgen verplicht werkgroepen o Uitvallers bij verplicht mentoraat hebben een gesprek met de studieadviseur Uitvoering van het project Collaborative (e-)learning in Large Scale Classes. Het doel van dit project is om een reeks kleinschalige e-learning communities op te zetten voor specifieke vakken. Uitvoering van het project Online Goal Setting. Het doel is om een goal setting instrument in te zetten bij 1e jaars studenten om zodoende het rendement te verbeteren Thema 3: Flankerende initiatieven Hyves-site voor vooraanmelders en 1e jaars studenten om een sense of community te bevorderen. Verdere uitbreiding van de RSM I WILL campagne. Studenten kunnen, in een gezamenlijke RSM campagne hun individuele ambities expliciteren. Persoonlijke statements worden zichtbaar gemaakt op I Will visitekaartjes en I WILL T-shirts. Beperken van het aantal hertentamens B1 per student (maximaal 4 in twee weken). * * * 14