Tender 2 Studiekeuzegesprekken: wat werkt? Universiteit Utrecht, Sociologie: Oranje, rood, groen

Transcriptie

1 Tender 2 Studiekeuzegesprekken: wat werkt? Universiteit Utrecht, Sociologie: Oranje, rood, groen Praktijkbeschrijving Deel 1, 2, 3, 4, Datum: 27 mei

2 Deel 1: Context beschrijving Doel: inzicht geven in de specifieke instellings- en opleidings context waarin de studiekeuzegesprekken worden gehouden. De Bacheloropleiding Sociologie van de Universiteit Utrecht (UU) kent een studieuitval in het eerste jaar van circa 38% (studiejaar ). Het hoofddoel van dit project is de studieuitval te verlagen door de aspirant student: beter inzicht te geven in de opleiding sociologie; zelfinzicht te geven door het zelf invullen van een vragenlijst 'voor de poort' en de directe omgeving te vragen hetzelfde te doen; uit te nodigen mogelijke risico s op studieuitval te bespreken. Ook wordt de tutorbegeleiding 'na de poort' beter afgestemd op de behoefte van de student. Instelling Soort instelling Universiteit Utrecht WO Soort opleiding [naam opleiding] Sociologie [voltijd, deeltijd, duaal] [toelatingseisen] Voltijd VWO profiel E&M VWO profiel C&M VWO profiel N&T VWO profiel N&G Propedeuse HBO Locatie Utrecht Aanmeldingen [aantal] : : : : : 134 Algemene kenmerken van de studenten binnen deze opleiding Instroommomenten Gemiddeld Propedeuserendement (propodeuse kennnen we niet meer, hier worden dus Percentage binnenlandse / buitenlandse (met een niet- Nederlandse nationaliteit) [Percentage naar vooropleiding] Na een jaar 100% Nederlands (Bachelor wordt grotendeels in het Nederlands aangeboden) Ongeveer 50% VWO Overige 50% komt van HBO of van andere studies September Positief BSA na 1 jaar per cohort van: 2006: 69% 2007: 65% 2

3 BSA s weergegeven) 2008: 62% 2009: 68% Afgestudeerd per cohort van: 2006: 78.79% 2007: 75% 2008: 0% (kan nog niet) 2009: 0% (kan nog niet) Gemiddeld percentage uitvallers uit de opleiding [in eerste jaar] Negatief BSA na 1 jaar per cohort van: 2006: 23% 2007: 19% 2008: 18% 2009: 17% Zelf gestopt voor 1 feb (geen BSA) per cohort van: 2006: 0% 2007: 0% 2008: 0% 2009: 14% Bekende risicogroepen Bijzonderheden [na eerste jaar] Zelf gestopt per cohort van: 2006: 1 (= 2%) Andere jaren geen. 2009: 7 (14%) Verkeerd beeld van sociologie (theoretischer dan verwacht) Zeer heterogene studentenpopulatie, vooral met betrekking tot vooropleiding (profielkeuze, VWO/HAVO met HBO prop). 3

4 Deel 2: Redeneerketen achter het arrangement Doel: inzicht geven in de vooronderstellingen met betrekking tot de manier waarop de gesprekken zullen leiden tot het gewenste resultaat. Diagnose van het probleem De studie-uitval in het eerste jaar van de bachelor sociologie is relatief hoog (tussen de 30 en 40%). Uit analyse van de oorzaken van studie-uitval bij de opleiding sociologie blijkt dat een belangrijke oorzaak van het hoge aantal uitvallers is dat aankomende studenten nog geen goed beeld hebben van de opleiding sociologie. De opleiding is bijvoorbeeld theoretischer dan verwacht. Verder is er een sterk vermoeden dat kandidaten de studie kiezen op basis van een verkeerd beeld van de opleiding (lekker breed). Uit (literatuur)onderzoek blijken ook andere factoren een belangrijke rol te spelen bij de studieuitval in het eerste jaar binnen het hoger onderwijs: de fase van bewustzijn waarin de aspirant student zich bevindt en de invloed die de omgeving daarbinnen heeft op de persoon (Kegan, 1994). Veel aankomend studenten blijken nog in de zogenoemde interpersoonlijke fase te zitten op het moment dat ze een studiekeuze moeten maken. In deze fase wordt de aankomend student nog sterk beïnvloed door zijn omgeving (bijvoorbeeld ouders, decaan en vrienden); ook bij het maken van zijn studiekeuze. Ook andere extrinsieke motivators (status opleiding, locatie instelling, studentenleven, op kamers wonen, etc.) spelen bij de studiekeuze nog een grote rol. Bovendien hebben aspirant studenten in veel gevallen nog weinig inzicht in zichzelf (waardoor worden ze geboeid, waar zijn ze goed in, enzovoort). 2. Visueel schema van de interventies, mechanismen en outcomes (zie pagina 4). 4

5 Interventie 1 (Voor de poort) Mechanisme Outcome student Outcome Opleiding Informatie verzamelen tijdens meeloopdag door middel van digitale vragenlijst - Hoe ver in keuzeproces? - Motivatie - Keuze Utrecht - Competenties - Verwachting - Kenmerken/kwaliteiten - Interesses - Nevenactiviteiten - Beeld van opleiding/beroepen - Cijfers VWO/Wiskunde - Persoonlijke gegevens - Gegevens omgeving Tevens gesprekken met docenten en getrainde sociologiestudenten* Reflectie bij kandidaat gestimuleerd Kennis kandidaat over opleiding vergroot Bepalen risico-kandidaten Niet serieuze kandidaten uitgeselecteerd Heeft zelfinzicht Heeft inzicht in de opleiding sociologie en beroepsmogelijkheden Heeft inzicht in beeld van kandidaat over sociologie Heeft inzicht in kenmerken en risicofactoren van de kandidaat Heeft overzicht ontbrekende competenties van de kandidaat Verbeterde kwaliteit informatie, meer inhoudelijke vragen Interventie 2 (Voor de poort) Informatie verzamelen van omgeving kandidaten (ouders, mentoren/leraren, vrienden) Vergelijken zelfbeeld en beeld van omgeving Reëel beeld van kandidaat, door input van kandidaat + omgeving Klopt beeld van kandidaat met omgeving? Heeft inzicht in mogelijke succesen risicofactoren van kandidaat 5

6 Interventie 3 (Voor de poort) Binding met opleiding Uitslag versturen (goed, welkom, of kennismakingsgesprek) Motivatie vergroot Serieuzere overweging studiekeuze Reflectie bij kandidaat gestimuleerd Zicht op risicogroep, wie komt opdagen? Verbeterde kwaliteit studiekeuze Interventie 4 (Voor de poort) Studiekeuzegesprek met risicokandidaten Verwachtingen, risico s en succesfactoren uitwisselen Heeft duidelijk beeld van de opleiding sociologie Beter gefundeerde studiekeuze Vergroten binding met de opleiding Verbeterde kwaliteit instroom Verminderen studie-uitval 6

7 Interventie 5 (Na de poort) Aangepaste begeleiding in het eerste jaar voor risicogroep Strakke begeleiding voor mensen die steuntje in de rug nodig hebben Mogelijkheid tot tijdige andere keus Binding met opleiding/wordt tijdig herinnert Eerdere uitval niet geschikte kandidaten Minder grote gaten (eerst lieten we ze naar ons komen, nu actiever.) Mogelijkheid tot uiten vragen en twijfels Duidelijk zicht op risicogroep, mogelijkheid tot ingrijpen Meer tijdige studiestakers Minder studie-uitval Beter studiegedrag 7

8 3. De interventies, mechanismen en outcomes in tabellen Het doel van het project is het verlagen van de studie uitval in het eerste studiejaar door zowel de onderwijsinstelling als de aspirant student, op basis van digitaal in te vullen vragenlijsten, inzicht te geven in mogelijke risico- en succesfactoren gedurende de opleiding. Dit inzicht wordt niet alleen verkregen op basis van input van de aspirant student zelf, maar ook op basis van input van derden (ouders, decaan/mentor van de oude school). Daarnaast is een essentieel onderdeel van het project het vervroegd activeren van het keuze bewustzijn van de aspirant student, waardoor op een vroeger moment ondersteuning kan worden geboden bij het maken van een studiekeuze. De opleiding sociologie heeft tot op heden nog geen studiekeuzegesprekken gevoerd. De studiebegeleiding kende tot dit collegejaar drie groepsbijeenkomsten alsmede drie individuele contactmomenten met de tutor. VOOR DE POORT Interventie 1 1 : Informatie verzamelen door middel van digitale vragenlijst - Hoe ver in keuzeproces? - Motivatie - Keuze Utrecht - Competenties - Verwachting - Kenmerken/kwaliteiten - Interesses - Nevenactiviteiten - Beeld van opleiding/beroepen - Cijfers VWO/Wiskunde - Persoonlijke gegevens - Gegevens omgeving Tevens gesprekken met docenten en sociologiestudenten* Mechanisme 1: Zelfreflectie van de student wordt gestimuleerd (o.a. door het aangeven van kwaliteiten, competenties en motivatie). Mechanisme 2: De kennis van de kandidaat t.a.v. de opleiding sociologie en bijbehorende competenties en beroepsmogelijkheden vergroten. Mechanisme 3 (leidt tot outcome 3-6): Op basis van de verkregen informatie kunnen risico-kandidaten worden bepaald. Mechanisme 4 (leidt tot outcome 3-6): Niet serieuze kandidaten kunnen worden uitgeselecteerd aan de hand van gegeven antwoorden in vragenlijst. Outcome 1 (kandidaat): Heeft zelfinzicht. Outcome 2 (kandidaat): Heeft inzicht in de opleiding sociologie, een beter beeld van de inhoud en beroepsmogelijkheden. Outcome 3 (opleiding): Heeft inzicht in beeld van kandidaat over sociologie. Outcome 4 (opleiding): Heeft inzicht in kenmerken en risicofactoren van de kandidaat. * De ouderejaars sociologiestudenten zijn getraind door iemand van het Studie Keuze Centrum (J. Limvers). Voor een kort overzicht van deze gesprekstraining voor de meeloopdag zie bijlage 5. Outcome 5 (opleiding): Heeft overzicht ontbrekende competenties van de kandidaat. Outcome 6 (opleiding): Heeft beschikking over betere kwaliteit van ingangsinformatie en krijgt 1 Iedere interventie leidt tot diverse mechanismen en outcomes, per tabel staat aangegeven waar de interventie toe kan leiden. 8

9 meer inhoudelijke vragen op Meeloopdag. VOOR DE POORT Interventie 2: Informatie verzamelen van omgeving - Motivatie - Competenties - Werkhouding - Kenmerken/kwaliteiten - Interesses - Match sociologie en kandidaat - Tijdsbesteding - Stimulering van thuis - Cijfers VWO/Wiskunde - Persoonlijke gegevens Mechanisme 1: Vergelijken zelfbeeld en beeld van omgeving op basis van vergelijkbare items van vragenlijst (motivatie, competenties, kenmerken etc.) Mechanisme 2: Klopt beeld van kandidaat met omgeving? Heeft de kandidaat een realistisch beeld van zichzelf als wordt gekeken naar mening van ouders, docenten, mentoren, vrienden etc? Outcome 1 (opleiding): Reëel beeld van kandidaat op basis van input door zowel kandidaat als omgeving van kandidaat. Outcome 2 (opleiding): Door antwoorden van zowel kandidaat als omgeving kan een duidelijk overzicht worden gemaakt van succesen risicofactoren van de kandidaat. Interventie 3: Versturen uitslag. Iedereen krijgt brief je lijkt goed te passen, welkom uitnodiging voor kennismakingsgesprek Mechanisme 1 (leidt tot outcome 1-4): Vergroten motivatie student, persoonlijke aandacht en advies. Mechanisme 2 (leidt tot outcome 1-4): Reflectie bij kandidaat vergroot. Outcome 1 (kandidaat) Binding met opleiding, persoonlijke aandacht en begeleiding indien nodig Outcome 2 (kandidaat) Serieuzere overweging studiekeuze. Outcome 3 (opleiding): Zicht op risicogroep, wie komen er opdagen? Outcome 4 (opleiding): Verbeterde kwaliteit studiekeuze. 9

10 VOOR DE POORT Interventie 4: Studiekeuzegesprek met risico-kandidaat Mechanisme 1(leidt tot outcome 1-4): In een persoonlijk gesprek verwachtingen, risico s en succesfactoren uitwisselen. Mechanisme 2(leidt tot outcome 1-4): Door middel van persoonlijk begeleidingsgesprek over verwachtingen en mogelijkheden, vergroten van binding met de opleiding Outcome 1 (kandidaat) Heeft duidelijk beeld van de inhoud, perspectieven en verwachtingen van de opleiding sociologie Outcome 2 (kandidaat) Kandidaat maakt beter gefundeerde studiekeuze Outcome 3 (opleiding): Verbeterde kwaliteit van instroom van kandidaten Outcome 4 (opleiding): Vermindering studie-uitval NA DE POORT Interventie 5: Aangepaste begeleiding van student tijdens het eerste jaar van sociologie Mechanisme 1 (leidt tot outcome 1-5 en 7): Strakke begeleiding voor mensen die een steuntje in de rug nodig hebben en al van te voren zijn aangemerkt als risico kandidaat Mechanisme 2 (leidt tot outcome 1-3 en 5): Eerdere uitval niet geschikte kandidaten Mechanisme 3 (leidt tot outcome 2, 4-7): Minder grote gaten (eerst lieten we ze naar ons komen, nu actiever.) Betere anticipatie, risico s zijn eerder duidelijk. Outcome 1 (kandidaat) Mogelijkheid tot tijdige andere keuze (i.v.m. 1 februariregeling) Outcome 2 (kandidaat) Binding met de opleiding/wordt tijdig herinnert Outcome 3 (kandidaat) Mogelijkheid tot het uiten van twijfels en vragen tijdens de individuele gesprekken Outcome 4 (opleiding): Duidelijk zicht op risicogroep, mogelijkheid tot ingrijpen Outcome 5 (opleiding): Meer tijdige studie-stakers Outcome 6(opleiding): Beter studiegedrag Outcome 7(opleiding): Vermindering studie-uitval 10

11 Deel 3: Operationalisering van het gekozen arrangement studiekeuzegesprekken Doel: beschrijven van de ontworpen aanpak voor het doen van studiekeuzegesprekken Met wie gesprek? Soort kandidaat/student Oriënterende kandidaten Wanneer vindt gesprek plaats? Risicoprofiel Maken risicoprofielen op basis van: Initiatief voor gesprek Voor/na start studie Welke instroom Welke maand(en) Spreiding Duur Risicogroepen zijn groepen kandidaten waarvan verwacht wordt dat ze een hoger risico hebben op studie-uitval. Kandidaten met een risicoprofiel, die zijn geselecteerd op basis van een digitale test op een meeloopdag. Informatie over de capaciteiten/competenties van de kandidaat (op basis van uitkomsten digitale vragenlijst) Informatie over de motivatie van de kandidaat (door digitale vragenlijst) Informatie over interesses van de kandidaat (in digitale vragenlijst) Informatie over de capaciteiten/competenties over de kandidaat uit de omgeving (ouders, docenten, vrienden) Ook deze informatie wordt verkregen uit een digitale vragenlijst, die door de student aan 3 personen uit zijn/haar omgeving is voorgelegd. Indicatoren: inzet, uitstelgedrag, zelfstandigheid en kennis over de opleiding. Analyses in februari 2011 waarbij werkelijk studiesucces wordt verklaard o.b.v. variabelen in de vragenlijst laat zien dat een academische werkhouding een betere voorspeller is van succes dan de door ons gebruikte indicatoren bij de pilot. De scores op academische werkhouding zullen we in de toekomst gebruiken om mensen uit te nodigen voor studiekeuzegesprekken. Op uitnodiging Voor start studie Rond september instroom Mei, Juni, Juli, Aug Op individuele afspraak min Hoe? Vorm Individueel gesprek 11

12 Waartoe? Doel Duidelijker beeld van de opleiding, beter gefundeerde studiekeuze, verbeterde kwaliteit instroom, verminderen studie-uitval. Wat? Inhoud Onderwerpen tijdens het gesprek Dat bepaalt de gespreksvoerder. Deze is getraind om op basis van de vragenlijst het bewustwordingsproces bij de aspirant student op gang te brengen. Wordt gebruik gemaakt van een gespreksprotocol? Nee, De gespreksvoerders zijn wel getraind door centrum studiekeuze. Door wie? Gespreksvoerder Ouderejaars student Voorafgegaan door? In samenhang met? Methode van uitnodigen Inbedding in overige voorlichting Voorlichtingsdagen Introductieweek Breder specifiek voorlichtingsprogramma voor kandidaten Onderwijs Vindt arrangement plaats in relatie met selectie? Brief Ja, tijdens meeloopdag worden de vragenlijsten afgenomen en de brieven worden aangekondigd. De vragenlijsten aan de omgeving worden nagestuurd. Nee Nee Tijdens meeloopdagen vullen de kandidaten de vragenlijst in en hebben informele gesprekken met (getrainde) ouderejaars. Naar aanleiding van de vragenlijst worden studenten uitgenodigd voor gesprek. Tijdens meeloopdagen wordt college gevolgd. Nee Gevolgd door? Summerschool / bijscholing Ja, indien nodig (wiskunde) Studieloopbaanbegeleiding Ja, gegevens uit vragenlijsten en gesprekken worden aan tutoren gegeven. Deze nodigen gericht eerstejaars uit voor gesprekken. Daarnaast: September en oktober: - 5 groepsbijeenkomsten November: - individuele gesprekken Januari: - individuele gesprekken (verplicht voor positief BSA indien er een negatief voorlopig BSA is afgegeven, als men niet naar het gesprek komt kan geen gebruik meer worden gemaakt van de coulant-regeling) - Uitje met tutoren in samenwerking met studievereniging Mei: - Voorlichting over vervolg in 2 e jaar. 12

13 Wat kost dat? Kosten (in euro) Zie bijlage Kosten per eenheid (in euro) Organisatie? Werkproces Zie bijlage 3 Wie heeft de lead in het proces? Training Opleiding sociologie, projectleider is tevens zelf tutor geweest en is docent in de opleiding. Oudere-jaars studenten worden getraind door iemand van het studiekeuzecentrum. 13

14 Deel 4: Resultaatevaluatie Doel: inzicht geven in de effecten van het gekozen arrangement. Een effect evaluatie geeft inzicht in de effecten van de interventies. In dit geval betreft het een quasiexperiment, waarbij verschillende (niet-random toegewezen) groepen met elkaar worden vergeleken. De volgende interventies waren gepland (zie hiervoor voor de uitgebreide CMO schema s in deel 2 van dit document): 1. vragenlijst tijdens meeloopdag bij studenten 2. vragenlijst afnemen onder omgeving 3. berekenen risicoprofiel en deze uitslag versturen: je bent welkom om sociologie te studeren/welkom op een studiekeuzegesprek 4. studiekeuzegesprekken afnemen met risicostudenten 5. aangepaste begeleiding voor de risicogroep De uitvoering van de interventies is anders gelopen dan gepland op de volgende punten: 1. de vragenlijst tijdens de meeloopdag is de eerste keer (februari) op papier afgenomen, de tweede keer (mei) digitaal. Daarnaast is de vragenlijst afgenomen tijdens de facultaire introductie onder de eerstejaars (september) die hem nog niet hadden ingevuld. Hiervoor is een ander digitaal programma gebruikt. Het gevolg is dat we drie verschillende bestanden hebben die niet eenduidig te koppelen zijn. De inhoud van de vragenlijsten is hetzelfde, er is dus wel eenzelfde interventie gepleegd inhoudelijk gezien. 2. de vragenlijsten onder de omgeving zijn afgenomen conform planning. Ook hiervoor zijn drie verschillende manieren gebruikt. 3. het risicoprofiel waarop studenten worden uitgenodigd voor een studiekeuzegesprek is telkens op een andere wijze berekend. Na de eerste meeloopdag in februari vielen er vrij weinig studenten in de risicocategorie, daarom zijn de criteria aangescherpt na de tweede meeloopdag. Na de facultaire introductie zijn geen risicoprofielen gemaakt maar is de vragenlijst gebruikt om de tutoren inzicht te geven in de hulpbehoefte van de studenten. Dit betekent dat er géén eenduidige interventie risicoprofiel is en dat het effect van het al dan niet hebben van risico op uitval niet goed aan te geven is. 4. de studiekeuzegesprekken met risicostudenten zijn gehouden conform planning. 5. de begeleiding in het eerste jaar is niet alleen voor studenten met een risicoprofiel verbeterd maar voor alle studenten. Dit is dus niet conform planning. Deze interventie is dus voor alle groepen gelijk. We concentreren ons daarom op het effect van twee interventies: 1. vragenlijst ingevuld tijdens de meeloopdag (dus niet tijdens de facultaire introductie). 2. een studiekeuzegesprek gehad of niet. 14

15 De interventie 3 (risicoprofiel) is dusdanig verschillend geïmplementeerd dat het niet mogelijk is hiervan het effect na te gaan. Interventie 2 (vragenlijst omgeving) wordt meegenomen in berekening van de risicoprofielen en verschilt niet per student. De begeleiding in het eerste jaar is voor iedereen identiek en is dus ook geen differentiërende variabele. Opmerking over de afwijkingen van de geplande interventie De risicoprofielen waren gemaakt op basis van theorieën over factoren die studiesucces bepalen: uitstelgedrag, inzet, kennis van sociologie, zelfstandigheid. Omdat de risicoprofilen bij achtereenvolgende afnames van de vragenlijsten niet op dezelfde wijze zijn bepaald en omdat ook al snel bleek dat sommige zogenaamde risicostudenten zich uitstekend konden redden, en anderen uit dreigden te vallen, hebben we de risicoprofielen niet meer als leidend genomen in de begeleiding door de tutoren. Alle studenten hebben dus bijeenkomsten bijgewoond waarin risicofactoren besproken zijn. Achteraf is bij alle 139 studenten die sociologie zijn gaan studeren onderzocht of er een relatie is tussen het behaalde studiesucces en de scores in de digitale vragenlijst. Hierbij is een relatie gevonden tussen de score op academische werkhouding en het behaalde resultaat. In het komende jaar zal hier bij de opzet van interventies en de begeleiding specifiek aandacht aan worden besteed. Figuur 4.1: overzicht van de aantallen studenten in het studiekeuzeproces risicogroep Vragenlijst meeloopdag N=62 38 (61%) 4 24 (39%) Niet-risicogroep Vragenlijst facultaire introductie (N=110) SKG Gaat nu geen sociologie studeren 3 12 Geen SKG 4 Gaat in 2010 sociologie studeren (N=139) Interpretatie figuur 4.1 In figuur 4.1 is te zien hoeveel studenten op welk moment in het studiekeuzeproces besluiten geen sociologie te gaan studeren (over de 110 studenten die de vragenlijst tijdens de facultaire introductie in hebben gevuld is niet bekend hoe ze tot hun keuze zijn gekomen). Van de 62 aspirant-studenten die tijdens de meeloopdag de vragenlijst hebben ingevuld besluiten er uiteindelijk 33 geen sociologie 15

16 te gaan studeren. Van deze uitvallers hebben er 3 een studiekeuzegesprek gehad. Van de aspirant studenten (29) die wel sociologie gaan studeren na het invullen van de vragenlijst tijdens de meeloopdag, hebben er 12 een studiekeuzegesprek gehad. Quasi-experimentele groepen In tabel 4.1 staan de vergelijkingsgroepen weergegeven. Het gaat om de studenten die ingeschreven staan als eerstejaarsstudent bij Sociologie. Groep A bestaat uit studenten die tijdens de meeloopdag in het voorjaar van 2010 de vragenlijst hebben ingevuld. Na analyse bleken zij in de risicogroep te vallen, en daarom zijn ze uitgenodigd op een studiekeuzegesprek. Ze zijn ingegaan op deze uitnodiging. Groep B heeft ook tijdens de meeloopdag de vragenlijst ingevuld maar viel grotendeels niet in de risicogroep. Ze zijn niet op studiekeuzegesprek geweest. Vier studenten vielen wel in de risicogroep, maar zijn niet op studiekeuzegesprek geweest. Zij vallen ook in groep B. Groep C bestaat uit studenten die tijdens de meeloopdag geen vragenlijst hebben ingevuld, ook niet op de meeloopdag zijn geweest, maar wel sociologie zijn gaan studeren. Zij hebben de vragenlijst ingevuld tijdens de facultaire introductie. Tabel 4.1 Experimentele groepen (aantallen ingeschreven eerstejaars) aantal % A. vragenlijst bij meeloopdag & SKG B. vragenlijst bij meeloopdag, geen SKG C. vragenlijst bij facultaire introductie, geen SKG Totaal Opgemerkt moet worden dat we alle studenten (Groep A, B, C) intensief hebben begeleid. Activiteiten waren onder andere: tijdens de facultaire introductie hebben alle studenten de vragenlijst ingevuld SKG gesprekken na de poort met studenten met risicoprofiel Extra aandacht voor uitstelgedrag of planningsproblemen in tutorbijeenkomsten voor alle studenten Extra aandacht voor sociale binding door activiteiten met ouderejaars en tutoren Groep A (SKG) zijn dus net zo intensief begeleid als de studenten uit groep B (geen SKG) en groep C (die niet naar de meeloopdag zijn geweest maar wel tijdens de Facultaire introductie de vragenlijst heeft ingevuld). 16

17 1. Effectmeting Tabel 4.2 uitkomsten per groep Variabele Effect van studiekeuzegesprekken op studiesucces. Effect van studiekeuzegesprekken op de instroom. Operationalisatie Indicatoren die worden gebruikt om de variabele meetbaar te maken Minimaal 1 maar liefst zoveel mogelijk van de drie volgende indicatoren: Gemiddeld aantal behaalde studiepunten (EC s) Percentage afgegeven negatieve preadviezen en/of BSA s Percentage uitvallers en omzwaaiers Percentage niet starters (=kandidaten die een studiekeuzegespre k gevoerd hebben maar die uiteindelijk afzien van de opleiding) Benchmark Groep C is controlegroep (geen vragenlijst voor de poort, geen SKG) C: C: 16% C: 0% Uitkomst Groep A (vragenlijst voor de poort, SKG) Groep B (vragenlijst voor de poort) A: B: A: 0% B: 0% A: 0% B: 0% C: 0% A: 20% 2 B: 46% / Oordeel /+ Tabel 4.3: Aantal behaalde studiepunten en voorlopig positieve BSA s per quasi-experimentele groep N Aantal ECTS Voorlopig positief BSA (%) Voorlopig negatief BSA (%) Gestopt voor 1 februari Groep A Groep B Groep C* *Het verschil in behaalde ECTS tussen groepen A-C en B-C is statistisch significant met p<=0.01. Het verschil tussen groepen A-B is niet statistisch significant. 2 Zoals figuur 4.1 laat zien valt na het invullen van de vragenlijst voor de poort meer dan de helft van de studenten af, waarvan 5% eerst wel een studiekeuzegesprek heeft gehad. De overige studenten besluit na het invullen van de vragenlijst op de meeloopdag dat sociologie geen goede keuze is op dit moment. 17

18 Gemiddeld aantal studiepunten In blok 1 kan maximaal 15 ECTS worden behaald. Groep A heeft gemiddeld 15 ECTS gehaald, groep B heeft gemiddeld ECTS gehaald, groep C heeft statistisch significant minder punten gehaald dan de andere twee groepen, namelijk ECTS. Deze uitkomst laat zien dat studenten tijdens de meeloopdag de vragenlijst hebben ingevuld een grotere kans op een succesvol eerste blok hebben dan studenten die tijdens de facultaire introductie de vragenlijst invullen. Het verschil tussen groep A en groep B is niet statistisch significant. Percentage voorlopig BSA s Onder de quasi-experimentele groepen A en B is niemand met een voorlopig negatief BSA, onder de controlegroep C heeft 16% een voorlopig negatief BSA. Percentage uitvallers en omzwaaiers Er is niemand gestopt voor 1 februari (was 7%). Samenvattend: 1. We kunnen niet veel hard maken maar we weten op welke factoren de groepen verschillen en welke resultaten ze halen. Groepen A en B (met een ingevulde vragenlijst tijdens de meeloopdag en eventueel een studiekeuzegesprek) halen meer ECTS en minder voorlopig negetieve BSA s dan studenten die pas bij de FI week de vragenlijst invullen. Dit wijst in de richting dat het vroegtijdig afnemen van een vragenlijst tijdens een meeloopdag, en het houden van studiekeuzegesprekken, een positief effect heeft op het studiesucces. 2. Er zijn een aantal factoren waar we wel op geïntervenieerd hebben (indeling risicogroepen, begeleiding studenten, verschillende reacties van de omgeving) die we nu niet hebben kunnen analyseren op hun effect. 3. De risicofactoren die we van tevoren hadden ingeschat op basis van de literatuur blijken in het eerste jaar geen invloed meer te hebben. Dat kan betekenen dat onze begeleiding door de tutoren succesvol is geweest, maar dat weten we niet zeker door een gebrek aan een nul-meting. Het kan ook betekenen dat er naast deze risicofactoren ook andere factoren een rol spelen in het verklaren van het studiesucces. 18

19 2. Oordeel van deelnemer over nut studiekeuzegesprekken De kwalitatieve gegevens zijn op verschillende manier verzameld: Na ieder gesprek heeft de gespreksleider een aantal evaluatieve notities gemaakt over het nut van het gesprek, deze zijn gebruikt als input voor de evaluatie t.a.v. het oordeel van de deelnemers en de gespreksvoerders. Er is geen systematisch onderzoek gedaan naar de ervaringen rondom het invullen van de digitale test. Het invullen is contentieus gedaan en duurt ongeveer minuten. We hebben eerstejaars op informele wijze gevraagd wat ze van de vragenlijst vonden, en ze gaven aan het test-middel vragenlijst heel gewoon te vinden, de inhoud riep geen vragen op. Tijdens de SKG werd serieus antwoord gegeven op vragen over planning, uitstelgedrag en dergelijke die werden gesteld naar aanleiding van de vragenlijst. Met andere woorden: de uitkomsten van de vragenlijst werden niet openlijk in twijfel getrokken door degenen die de lijst hadden ingevuld. Positief: Deelnemers vonden het vooral prettig om al een ouderejaars van de opleiding te leren kennen, dat maakte de drempel de eerste weken van de studie lager. Deelnemers vonden het ook prettig om vragen te kunnen stellen over praktische zaken rondom studeren. De meeste deelnemers hadden al een goed beeld van de opleiding, zo geven de gespreksleiders aan in hun verslagen. Waarschijnlijk hebben de deelnemers zich nog eens extra verdiept in sociologie voordat ze naar het gesprek kwamen. Wij hebben de indruk dat de studiekeuzegesprekken eerder bijdragen aan een bewuste keuze voor sociologie, de wil om de studie te laten slagen lijkt te worden versterkt doordat dit succes ter discussie wordt gesteld. Een aantal deelnemers van vorig jaar is dit jaar getraind om zelf SKG te gaan voeren. Ze waren erg enthousiast over de aan hen geboden mogelijkheid en willen nu zelf aan jongerejaars dezelfde goede service bieden. Negatief: De deelnemers hadden tijdens het studiekeuzegesprek weinig vragen over sociologie omdat het bewustwordingsproces vooral tijdens de meeloopdag en het invullen van de vragenlijst had plaats gevonden. 19

20 3. Oordeel van gespreksvoerders over nut De data zijn op de volgende manier verzameld: Er is een vragenlijst rondgestuurd (van het Kohnstamm instituut) aan de gespreksleiders in het najaar van Deze zijn gebruikt als input voor de evaluatie t.a.v. het oordeel van de deelnemers en de gespreksvoerders. Tijdens de mid-term-review (najaar 2010) heeft reviewer Veenstra gesproken met twee gespreksleiders en toen zijn een aantal punten naar voren gekomen. Er is een gesprek gehouden met 2 andere gespreksleiders in februari 2011 toen we het format voor 2011 gingen bepalen: wat moest er anders? Wat kon hetzelfde blijven? Hieruit zijn ook punten ter verbetering naar voren gekomen. De gesprekken lijken vooral te leiden tot een versterking van het gevoel sociologie te willen studeren; niemand valt ook af na het studiekeuzegesprek, 3 studenten gaan nog niet aanstaand jaar maar volgend jaar sociologie studeren. Hieronder kort de mening van de gespreksvoerders: Dit had ik zelf wel willen hebben De meeste gesprekken gingen over sociologie Gesprekken hebben een positief effect op sociale inbedding Uitslagen van de vragenlijsten waren pas in een laat stadium beschikbaar voor de gespreksvoerders waardoor voorbereiding lastig was. Het plannen van de gesprekken in de zomervakantie was lastig. De training die de gespreksvoerders kregen was goed, vooral gericht op gesprekstechnieken. Er kan meer aandacht komen voor de inhoud van sociologie. 20

21 Deel 5: Procesevaluatie Doel: inzicht geven in hoe het arrangement heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do s & don ts van het uitgevoerde arrangement. Reflectie terug Gerealiseerd ontwerp Uitvoeringsproblemen Uitvoeringssuccessen Risicoprofielen Kosten Bijeffecten Er zijn een aantal afwijkingen van het plan geweest: De risicoprofielen zijn een aantal malen op een andere wijze berekend. De studiekeuzegesprekken zijn niet door tutoren maar door ouderejaars gehouden. De evaluatie zou zich in eerste instantie richten op een vergelijking van studenten in verschillende opleidingen, maar het leek zinniger om groepen studenten van sociologie met en zonder SKG te vergelijken. De vragenlijst is niet uitgevoerd in het programma aangeleverd door Active HRM maar in NetQ. Wat niet goed ging was het aanleveren van de vragenlijst door Active HRM; zij leverden geen kwaliteit. Daarom hebben we zelf veel energie gestoken in het ontwerpen van een goede vragenlijst. Verder waren er geen problemen. De inschrijfdatum is voor ons niet zo van belang omdat we de vragenlijst afnemen tijdens de meeloopdagen die al in het voorjaar zijn. Het probleem met onze aanpak is wel dat je een deel van de studenten niet bereikt voor de poort. Op tijd beginnen, roosters afstemmen, studiebegeleiding als verplicht aanmerken, SKG als verplicht noemen, nabellen studenten als ze zich niet inschrijven voor SKG. De risicoprofielen zijn een aantal keer aangepast omdat er eerst wel erg weinig studenten risico op uitval hadden. Na de FI week zijn de risicoprofielen aangepast op basis van de werkelijke studieresultaten. Die nieuwe profielen worden gebruikt om dit jaar mensen uit te nodigen voor SKG. Zie Bijlage Voordeel = Verhoogde zichtbaarheid van onze opleiding binnen de faculteit. Voordeel = bespreken en verbeteren doelen en activiteiten tutoraat eerste jaar. Wat waren de onverwachte nadelen? Het kost meer tijd dan we hadden gedacht. 21

22 Eindoordeel VOOR DE POORT Interventie 1: Informatie verzamelen door middel van digitale vragenlijst - Hoe ver in keuzeproces? - Motivatie - Keuze Utrecht - Competenties - Verwachting - Kenmerken/kwaliteiten - Interesses - Nevenactiviteiten - Beeld van opleiding/beroepen - Cijfers VWO/Wiskunde - Persoonlijke gegevens - Gegevens omgeving Tevens gesprekken met docenten en sociologiestudenten* Mechanisme 1: Zelfreflectie van de student wordt gestimuleerd (o.a. door het aangeven van kwaliteiten, competenties en motivatie). Mechanisme 2: De kennis van de kandidaat t.a.v. de opleiding sociologie en bijbehorende competenties en beroepsmogelijkheden vergroten. Mechanisme 3: Op basis van de verkregen informatie kunnen risicokandidaten worden bepaald. Mechanisme 4: Niet serieuze kandidaten kunnen worden uitgeselecteerd aan de hand van gegeven antwoorden in vragenlijst. * De ouderejaars sociologiestudenten zijn getraind door iemand van het Studie Keuze Centrum (J. Limvers). Outcome 1 (kandidaat): Heeft zelfinzicht. Outcome 2 (kandidaat): Heeft inzicht in de opleiding sociologie, een beter beeld van de inhoud en beroepsmogelijkheden. Outcome 3 (opleiding): Heeft inzicht in beeld van kandidaat over sociologie. Outcome 4 (opleiding): Heeft inzicht in kenmerken en risicofactoren van de kandidaat. Outcome 5 (opleiding): Heeft overzicht ontbrekende competenties van de kandidaat. Outcome 6 (opleiding): Heeft beschikking over betere kwaliteit van ingangsinformatie en krijgt meer inhoudelijke vragen op Meeloopdag. Gerealiseerd: ja Gerealiseerd: ja Gerealiseerd: ja Gerealiseerd: ja Gerealiseerd: ja Gerealiseerd: ja 22

23 VOOR DE POORT Interventie 2: Informatie verzamelen van omgeving - Motivatie - Competenties - Werkhouding - Kenmerken/kwaliteiten - Interesses - Match sociologie en kandidaat - Tijdsbesteding - Stimulering van thuis - Cijfers VWO/Wiskunde - Persoonlijke gegevens Mechanisme 1: Vergelijken zelfbeeld en beeld van omgeving op basis van vergelijkbare items van vragenlijst (motivatie, competenties, kenmerken etc.) Mechanisme 2: Klopt beeld van kandidaat met omgeving? Heeft de kandidaat een realistisch beeld van zichzelf als wordt gekeken naar mening van ouders, docenten, mentoren, vrienden etc? Outcome 1 (opleiding): Reëel beeld van kandidaat op basis van input door zowel kandidaat als omgeving van kandidaat. Outcome 2 (opleiding): Door antwoorden van zowel kandidaat als omgeving kan een duidelijk overzicht worden gemaakt van succes- en risicofactoren van de kandidaat. Gerealiseerd: ja Eindoordeel: Ja, al hebben we achteraf geconstateerd dat de indicatoren voor risico op uitval niet juist waren (zijn vervangen). Interventie 3: Versturen uitslag. Iedereen krijgt brief je lijkt goed te passen, welkom uitnodiging voor kennismakingsgesprek Mechanisme 1: Vergroten motivatie student, persoonlijke aandacht en advies. Outcome 1 (kandidaat) Binding met opleiding, persoonlijke aandacht en begeleiding indien nodig Gerealiseerd: ja Mechanisme 2: Reflectie bij kandidaat vergroot. Outcome 2 (kandidaat) Serieuzere overweging studiekeuze. Outcome 3 (opleiding): Zicht op risicogroep, wie komen er opdagen? Outcome 4 (opleiding): Verbeterde kwaliteit studiekeuze. Gerealiseerd: ja Risicogroep valt uit na vragenlijst en meeloopdag OF (andere verklaring) gemotiveerde studenten komen naar meeloopdag OF reflectie is vergroot bij groep die meeloopdag bezoekt waardoor ze besluit geen sociologie te gaan studeren OF risico-indeling klopt nog niet helemaal. Gerealiseerd: ja 23

24 VOOR DE POORT Interventie 4: Studiekeuzegesprek met risico-kandidaat Mechanisme 1: In een persoonlijk gesprek verwachtingen, risico s en succesfactoren uitwisselen. Outcome 1 (kandidaat) Heeft duidelijk beeld van de inhoud, perspectieven en verwachtingen van de opleiding sociologie Gerealiseerd: ja Mechanisme 2: Door middel van persoonlijk begeleidingsgesprek over verwachtingen en mogelijkheden, vergroten van binding met de opleiding Outcome 2 (kandidaat) Kandidaat maakt beter gefundeerde studiekeuze Gerealiseerd: ja Outcome 3 (opleiding): Verbeterde kwaliteit van instroom van kandidaten Gerealiseerd: ja Outcome 4 (opleiding): Vermindering studieuitval Gerealiseerd: ja 24

25 NA DE POORT Interventie 5: Aangepaste begeleiding van student tijdens het eerste jaar van sociologie Mechanisme 1: Strakke begeleiding voor mensen die een steuntje in de rug nodig hebben en al van te voren zijn aangemerkt als risico kandidaat Mechanisme 2: Eerdere uitval niet geschikte kandidaten Outcome 1 (kandidaat) Mogelijkheid tot tijdige andere keuze (i.v.m. 1 februariregeling) Outcome 2 (kandidaat) Binding met de opleiding/wordt tijdig herinnert Gerealiseerd: Had gekunt maar niemand is gestopt. Gerealiseerd: ja Mechanisme 3: Minder grote gaten (eerst lieten we ze naar ons komen, nu actiever.) Betere anticipatie, risico s zijn eerder duidelijk. Outcome 3 (kandidaat) Mogelijkheid tot het uiten van twijfels en vragen tijdens de individuele gesprekken Niet echt gelukt: alle studenten worden actiever benaderd in de les als tutor problemen vermoed. Outcome 4 (opleiding): Duidelijk zicht op risicogroep, mogelijkheid tot ingrijpen Gerealiseerd: ja Outcome 5 (opleiding): Meer tijdige studie-stakers Gerealiseerd Nee (geen studiestakers) Outcome 6(opleiding): Beter studiegedrag Gerealiseerd Ja, betere resultaten. Outcome 7(opleiding): Vermindering studie-uitval Gerealiseerd Ja, betere resultaten. 25

26 Reflectie vooruit Lessons learned Verbeteringen Do s Don ts Als je niet weet met wie je in zee gaat loop je kans op een teleurstelling. Les: doe navraag over de persoon met wie je zaken gaat doen. Dit heeft betrekking op de uitbesteding van de digitale test. Vragenlijsten in laten vullen bij inschrijving Studielink zodat alle studenten deze al voor de studie invullen, aangezien we een verband vermoeden tussen het moment van het invullen van de vragenlijst en het studiesucces. We laten dit m.i.v. dit jaar doen voor sociologie-studenten (nieuwe interventie). Als dat succesvol blijkt ook voor andere opleidingen bij FSW. We zoeken nog naar de juiste indicatoren voor de risicoprofielen Inschrijfdatum naar voren: late inschrijvers hebben laag studiesucces maar komen niet op meeloopdag of SKG Huur een goede uitvoerend projectleider in Tijdens meeloopdagen vragenlijsten in laten vullen leidt tot interessante gesprekken en groot aandeel niet-starters. Het kan zijn dat dit effect komt door de meeloopdag en het invullen van de vragenlijst. Het is niet duidelijk wat de vragenlijst zelf hier aan bij draagt. Studenten gebruiken als gespreksleiders: drempel is laag, zorgt voor binding, is goedkoop Zorg dat je tegenstanders mee krijgt Zorg voor zichtbare resultaten en zichtbaarheid van de resultaten Te weinig mensen aanstellen zodat je mensen te veel taken hebben. Nog verder Schaalbaarheid Overdraagbaarheid Studiekeuzegesprekken worden dit jaar weer gehouden, gefinancierd door faculteit en opleiding. Steun is goed vooral door zichtbaar betere studieresultaten. Dit arrangement kan prima elders worden ingezet. 26

27 BIJLAGE 1 uniek element aan project Sociologie: aandacht voor omgeving: Unieke aanpak Sociologie: aandacht voor omgeving Omgeving Ouders Decaan of mentor Vrienden Student Zelfinzicht & beeld van de opleiding STUDIEKEUZE Opleiding Kenmerken opleiding Kenmerken beroepen Bijlage 2: Link naar de vragenlijst 27

28 Bijlage 3: Schematisch overzicht van de stappen in het studiekeuzeproces 28

29 Bijlage 4: Schema Meeloopdag Tijdens de ontmoeting met studenten en docenten wordt de digitale vragenlijst ingevuld. Programma Ontvangst bij ingang Wentgebouw, Sorbonnelaan College Families: Generaties en demografische veranderingen' door dr. Anne Rigt Poortman Ontmoeting met studenten en docenten, Ruppert-gebouw computerzaal Rondleiding Uithof Campus Dagje Studeren Het Dagje Studeren vangt aan met het college Families: Generaties en demografische veranderingen ' in het Went-gebouw, zaal Blauw vanaf uur. Het Went-gebouw is het grote witte vierkante gebouw aan het begin van de Uithof. Je wordt daar bij de ingang opgewacht door studenten sociologie. Het college wordt verzorgd door dr. Anne Rigt Poortman. Aansluitend is er een ontmoeting met studenten en docenten in het Ruppert-gebouw, zaal 038. Als afsluiting is er een rondleiding over de Uithof Campus. 29

30 Bijlage 5: Kostenoverzicht Kostensoort Toelichting Uren Eenmalige kosten Eenmalige kosten voor de ontwikkeling van SKG (62 studenten doen mee aan meeloopdagen). Uren Ontwikkelen aanpak, materiaal Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc. 200 Out-ofpocket Aanschaf van ICT en tools Kosten van aanschaf van software, assessments etc Vaste kosten Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren Organisatie Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc. Kantoorkosten e.d. Huur van ruimtes, apparatuur e.d. pm 95 Variabele kosten Uren Out-ofpocket Out-ofpocket Trainen gespreksvoerders Voorbereiding per gesprek/kandidaat Kosten die wel afhankelijk zijn van het aantal gesprekken (N=15) of kandidaten Aantal uren dat besteed is voor het trainen van docenten,slb-ers, studenten, alumni en andere gespreksvoerders Totaal aantal uren Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden Gesprek zelf Tijd voor gesprek 15 1 Afronding Tijd voor invoeren gegevens en nabereiding 15 1 Totaal Totale tijd besteed aan gesprekken Licentiekosten en catering Uren per kandidaat 3 Totale Kosten per kandidaat voor licenties/ catering etc per kandidaat 3 bij groepsgesprekken dus delen door het # deelnemers 30

31 Bijlage 6: Definities van gehanteerde begrippen Arrangement Kandidaat Student De poort Niet starter Switcher 5 Niet herinschrijver 6 Doorstromer Het geheel van activiteiten waaraan een kandidaat wordt onderworpen, gericht op het optimaliseren van de studiekeuze van de kandidaat Potentiële student: dit kan zijn iemand met belangstelling, bezoeker open dag, inschrijver bij Studielink Ingeschreven en toegelaten bij de instelling, heeft voldaan aan alle verplichtingen en start daadwerkelijk in de week van 1 september met de studie De week van 1 september 4 waarin de studie start Student die wel is ingeschreven/toegelaten bij de instelling maar niet deelneemt aan onderwijs en tentamens, dus feitelijk niet start bij de opleiding Een student die wisselt van opleiding (kan zijn binnen/buiten de instelling; binnen/buiten HBO of WO Een student die in het studiejaar (t-1) nog wel was ingeschreven bij de opleiding, maar op de peildatum in het studiejaar (t) niet meer. Kan zijn: Tijdelijk of permanent Gedwongen (BSA) of eigen initiatief (al dan niet na negatief pre-advies) Niet her-inschrijver kan zijn: Switcher: vervolgt andere opleiding, binnen of buiten de instelling Afstromer vervolgt opleiding (of andere opleiding, dan ook switcher) op lager niveau: WO -> HBO, HBO -> MBO; kan zijn vertraagd of niet vertraagd Opstromer: vervolgt opleiding (of andere opleiding, dan ook switcher) op hoger niveau: HBO -> WO; kan zijn vertraagd of niet vertraagd. Uitstromer Student vervolgt dezelfde opleiding. Kan zijn: Direct, onvertraagd Direct en vertraagd Indirect na tijdelijk studiestaken 4 Voor februari instroom lees: 1 februari 5 Of omzwaaier, wisselaar 6 Uitstroom 31