Proces- en resultaatevaluatie

Transcriptie

1 Proces- en resultaatevaluatie Studiestartgesprekken: het werkt! Een succesvolle HBO-carrière Penvoerende instelling: Hogeschool van Arnhem en Nijmegen Faculteit Economie en Management OW Datum: februari 2011 Dit project is tot stand gekomen met steun van SURF, de organisatie die ICT vernieuwingen in het hoger onderwijs en onderzoek initieert, regisseert en stimuleert door onder meer het financieren van projecten. Meer informatie over SURF is te vinden op de website (

2 Inhoudsopgave Inleiding... 3 Samenvatting Algemene beschrijving Opzet Doel De te behalen resultaten Belangrijkste te behalen resultaten Resultaten die gemeten worden gedurende en na afloop van de projectperiode Nevenresultaat Beoogd effect en eindresultaat Match bestaande Studiestartgesprek-methode Resultaatevaluatie Effectmeting Effect op gemiddeld aantal behaalde studiepunten Preadviezen na een half jaar Effect op percentage uitvallers en omzwaaiers Effect op percentage niet starters Oordeel van deelnemer over nut Oordeel van gespreksvoerders over het nut van de gekozen aanpak Procesevaluatie Reflectie terug Eindoordeel Reflectie vooruit Nog verder Cross-Case Analyse Bijlage 1: Kostenoverzicht

3 Inleiding Project Studiestartgesprekken: het werkt! Een succesvolle hbo-carrière! De faculteit Economie en Management (FEM) van de Hogeschool van Arnhem en Nijmegen (HAN) heeft in het kader van het onderzoek studiestartgesprekken: het werkt! Een succesvolle hbocarrière met 98 aanmelders van 3 economische opleidingen individuele studiestartgesprekken gevoerd. De resultaten, het proces en de evaluatie naar het effect van studiestartgesprekken voor de poort staan in deze proces- en resultaatevaluatie beschreven. 3

4 Samenvatting De Faculteit Economie en Management (FEM) van de Hogeschool van Arnhem en Nijmegen (HAN) heeft de afgelopen twee jaar op bescheiden schaal ervaring opgedaan met studiestartgesprekken voor de poort. Om te beoordelen of deze gesprekken effectief zijn hebben we vanaf maart 2010, 98 individuele studiestartgesprekken gevoerd met specifiek geselecteerde aanmelders. Opzet Tijdens een individueel studiestartgesprek richten we ons op de leerling of student die naar het hbo wil. We informeren en bereiden de potentiële student voor op de opleiding, in het bijzonder op het propedeusejaar en het studeren aan het hbo in het algemeen. Nadruk wordt gelegd op: wat de student kan verwachten tijdens het propedeusejaar, welke studievaardigheden van belang zijn en wat de succesfactoren zijn voor het behalen van het (propedeuse)diploma. In totaal maken 623 personen deel uit van het onderzoek. Het gaat om aanmelders voor een van de volgende opleidingen: Communicatie (CO), Commerciële Economie (CE) of Management Economie en Recht (MER). De aanmelders zijn onderverdeeld in drie groepen: twee experimentele groepen en één controlegroep. Voor de zomervakantie 2010 zijn 206 aanmelders uitgenodigd voor een studiestartgesprek. Van deze personen zijn er 98 op gesprek geweest. Dit is de experimentele groep 1. Van deze personen zijn 108 personen niet op de uitnodiging ingegaan, dit is de experimentele groep 2. Groep 3 is de controlegroep. Dit zijn aanmelders die in september 2010 zijn gestart als student aan een van bovengenoemde opleidingen en niet zijn uitgenodigd voor een studiestartgesprek. Controlegroep 3 bestaat uit 417 personen. Belangrijkste te behalen resultaten Met de gekozen opzet streven we ernaar dat door middel van studiestartgesprekken voor de poort, het percentage uitvallers tijdens het propedeusejaar vanwege verwachtingsproblemen minder wordt. Studenten die een studiestartgesprek hebben gehad, zijn goed geïnformeerd over de inhoud en opzet van het 1 e semester van het propedeusejaar en weten welke studievaardigheden daarbij van belang zijn. Tevens weten ze welke studievaardigheden voor hen persoonlijk verder aandacht nodig hebben. Er is hen door de studieadviseur geadviseerd welke sterke en (verder) te ontwikkelen studievaardigheden meegenomen kunnen worden in de studieloopbaanbegeleiding. Beoogd effect en eindresultaat Het rendement van de propedeuse van de experimentele groep 1 neemt toe in vergelijking met de experimentele groep 2 en de controlegroep. Het uiteindelijke rendement kan pas worden gemeten na twee jaar. Belangrijkste conclusies van de resultaten Aantal behaalde studiepunten De studenten die op studiestartgesprek zijn geweest scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen. Uitval Er zijn verschillen in uitval. De groep die een studiestartgesprek heeft gehad scoort beter dan de twee andere groepen, maar het verschil is niet groot genoeg om significant te zijn. Dus is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. Pre-advies Als we het studiesucces tijdens het eerste half jaar afmeten aan het type adviesbrief dat elke student krijgt na het eerste semester, dan doen de studenten die op gesprek zijn geweest het 4

5 duidelijk beter dan de anderen. Van de studenten die op gesprek zijn geweest krijgt 63% een positieve brief. Van de studenten uit de andere twee groepen krijgt maar 40% een positieve brief. Oordeel studenten die een studiestartgesprek hebben gehad Allereerst is duidelijk dat de opzet van de propedeuse helder is geworden voor bijna alle studenten. Voor veel personen heeft een studiestartgesprek zijn waarde wel, maar voor een ruime minderheid van de respondenten heeft het studiestartgesprek onvoldoende meerwaarde gehad. De organisatie en de communicatie t.a.v. studiestartgesprekken zijn als goed beoordeeld door 80 tot 90 % van de respondenten. Oordeel studieadviseurs Het is goed mogelijk dat door de gekozen opzet niet de studenten spreken waarvan we denken dat zij juist een studiestartgesprek kunnen gebruiken: - Aanmelders die niet reageren op de mail (en mogelijk minder gemotiveerd zijn) - Aanmelders van allochtone afkomst reageerden minder t.o.v. de autochtone aanmelders. Ons vermoeden is dat nu in de meeste gevallen de enthousiaste gemotiveerde aanmelders reageren. 1. Algemene beschrijving 1.1 Opzet Het onderzoek is uitgezet onder nieuwe studenten (aanmelders) bij de FEM. De doelgroep die benaderd is voor de gesprekken ziet er als volgt uit: Aanmelders met een vooropleiding havo of mbo Aanmelders voor de voltijd variant van de opleidingen met relatief de meeste instroom en uitval: Communicatie (CO), Commerciële Economie (CE) en Management Economie en Recht (MER). Het geldt voor aanmelders voor de locatie Arnhem en Nijmegen De studenten hebben het voornemen om te starten in september 2010 Tijdens het onderzoek wordt gewerkt met twee experimentele groepen en één controlegroep. De experimentele groepen bestaan uit de aanmelders die zijn uitgenodigd voor een studiestartgesprek en op gesprek komen en een groep die wordt uitgenodigd en daar niet op ingaan. De controlegroep bestaat uit de rest van de aanmelders voor de opleiding CE, CO of MER voltijd. Om conclusies te kunnen trekken over het effect van de aanpak is het van belang om de groep studenten die de nieuwe aanpak ondergaan (experimentele groep 1) te vergelijken met de experimentele groep 2 en de controlegroep, die de aanpak niet ondergaan. In de opzet van het onderzoek is een systematische steekproef benoemd. Deze steekproef wordt gebruikt voor het selecteren van de deelnemers voor de gesprekken. 1.2 Doel De FEM van de HAN heeft de afgelopen twee jaar op bescheiden schaal ervaring opgedaan met studiestartgesprekken voor de poort. Om te beoordelen of deze gesprekken effectief zijn hebben we vanaf maart 2010, 98 studiestartgesprekken gevoerd met specifiek geselecteerde aanmelders (experimentele groep). Tijdens een individueel studiestartgesprek richten we ons op de leerling die naar het hbo wil. We informeren en bereiden de potentiële student voor op de opleiding, in het bijzonder op het propedeusejaar en het studeren op het HBO in het algemeen. Nadruk wordt gelegd op: wat de student kan verwachten tijdens het propedeusejaar, welke studievaardigheden van belang zijn en wat de succesfactoren zijn voor het behalen van het (propedeuse)diploma. Met de beschreven aanpak denken we de student beter voor te bereiden op de voorgenomen studie aan één van onze opleidingen en in het bijzonder op het propedeusejaar en hopen daarmee studie-uitval in de propedeuse te verminderen. Met het onderzoek willen we het effect van de aanpak meten op het rendement in de propedeuse. 5

6 1.3 De te behalen resultaten Deze paragraaf bevat een uitwerking met de te behalen resultaten. De uitwerking van deze resultaten is onderverdeeld in verschillende subparagrafen Belangrijkste te behalen resultaten Het streven is om met behulp van studiestartgesprekken de verwachtingen over de opleidingen meer realistisch te maken, zodat de uitval vermindert. Daarnaast is het de bedoeling dat deelnemers aan de studiestartgesprekken meer studiepunten behalen en daardoor niet uitvallen. In de ideale situatie zijn studenten die een studiestartgesprek gehad hebben goed geïnformeerd over de inhoud en opzet van het 1 e semester van het propedeusejaar en weten zij welke studievaardigheden ingezet moeten worden om goede resultaten te behalen. Verder hebben zij voor zichzelf vastgesteld welke studievaardigheden verder ontwikkeld moeten worden. De studieadviseur vervult hierin een adviserende rol. Naar aanleiding van het gesprek geeft de student bij de eigen studieloopbaanbegeleider aan welke sterke en (verder) te ontwikkelen studievaardigheden hij nog heeft Resultaten die gemeten worden gedurende en na afloop van de projectperiode Gedurende de looptijd van het project wordt het volgende gemeten: Voorlopig rendement na een 0,5 jaar, februari 2011: Hoeveel studenten uit de experimentele groep zijn nog binnen in vergelijking met de controlegroep Vergelijking van het aantal behaalde studiepunten tussen de controlegroep en de experimentele groep Resultaten van de tentamens, het aantal studiepunten Aantal pre-adviezen Na afloop van de projectperiode zullen de volgende resultaten gemeten worden: Aantal deelnemers dat de propedeuse binnen 1 jaar behaald heeft (september 2011) Aantal deelnemers dat binnen 2 jaar de propedeuse heeft behaald (september 2012) Het aantal uitvallers en omzwaaiers (na 0.5, 1 en 2 jaar) Bovenstaande resultaten zullen steeds vergeleken worden met de resultaten uit de controlegroep Nevenresultaat Naast de cijfermatige uitkomsten hebben we ook de tevredenheid van zowel de studieadviseurs als de deelnemers aan de studiestartgesprekken gemeten. Conclusies die op basis van deze metingen getrokken kunnen worden zijn: Advies projectleider aan de hand van uitkomsten en conclusies interviews met de studieadviseurs. Tevredenheid studiestartgesprek meten bij de experimentele groep na de 1e tentamenperiode, omstreeks december Extra bijgekomen: Analyse van de registratieformulieren. De registratieformulieren vermelden gegevens van de afspraken met de aanmelders die zijn uitgenodigd voor een studiestartgesprek Beoogd effect en eindresultaat Het rendement in de propedeuse van de experimentele groep neemt toe in vergelijking met de controlegroep. Het rendement van de propedeuse meten we via: het aantal studenten dat na 0.5 jaar nog studeert aan de opleidingen die deel hebben genomen aan het onderzoek het aantal behaalde studiepunten Gedurende de looptijd van dit project kunnen we alleen uitspraken doen over het rendement na 0.5 jaar. Het echte rendement wordt pas zichtbaar naar twee jaar en zal gemeten worden, maar valt buiten de looptijd van het project. 6

7 Een overzicht van het totaal aantal metingen ziet er als volgt uit: Van februari 2010 februari 2011 Meting tussentijds rendement na 0,5 jaar (februari 2011). Onderstaande looptijd valt buiten de officiële projectperiode van SURF Van februari 2011 september 2012: Meting tussentijds rendement na 1 jaar (september 2011). Meting uiteindelijke rendement propedeuse binnen 2 jaar gehaald (september 2012). 2. Match bestaande Studiestartgesprek-methode Met de opzet zoals beschreven in het startdocument sluiten we aan bij de aanpak van het project Boeien en Binden! van de Fontys Hogescholen. Wij hebben zowel een aantal doelen als delen van de aanpak overgenomen: Ook wij zien als belangrijke oorzaak van vroegtijdige uitval verkeerde verwachtingen en een verkeerd beeld van de opleiding en willen dit tijdig rechtzetten door de student in individuele gesprekken preventief aandacht te geven en juiste informatie te verschaffen voor de poort Wij hebben net als Boeien en Binden gekozen voor een persoonlijk gesprek waardoor we kunnen voorzien van informatie op maat en kan worden ingegaan op specifieke, individuele vragen De focus ligt vooral op het verminderen van studie-uitval in het eerste jaar en aldus het verhogen van het rendement in de propedeuse Naast bovenstaande argumenten hebben we de volgende overeenkomsten: Verkeerde verwachtingen en beeld van een studie in een vroeg stadium vaststellen en wegnemen Structuur van het gesprek: Er is een gespreksprotocol beschikbaar Nadruk ligt op een open communicatieve houding: welkom bij onze opleiding Bevestigen van de studiekeuze Sociale binding door persoonlijk gesprek Verschillen in aanpak Het onderzoek Een succesvolle hbo carrière is uitgevoerd door studieadviseurs en bewust niet door slb-ers. Voordeel hiervan, de studieadviseurs zijn gemotiveerd en ervaren in het voeren van deze gesprekken Bij het onderzoek Een succesvolle hbo carrière laten we in het intakeformulier voorafgaand aan het gesprek de aanmelder zijn/haar eigen studievaardigheden beoordelen Naast het centrale gesprek met de slb-er werden er door Boeien en Binden driehoeksgesprekken georganiseerd, individueel of in een groepje. Overeenkomsten in aanpak Een vragenlijst in laten vullen door de student met als doel zijn/haar interesses, motieven en verwachtingen die samenhangen met de studiekeuze te verwoorden + sterke en zwakke kanten van de student. Gekozen voor een persoonlijk gesprek waardoor we kunnen voorzien van informatie op maat en kan worden ingegaan op specifieke, individuele vragen. Het volgende komt enigszins overeen, maar is iets anders aangepakt: Boeien en Binden gaf aan het eind van het kennismakingsgesprek een TOP en een TIP. Een TOP staat voor een compliment over wat er uit spring, een sterk punt van de aanmelder. Een TIP staat voor wat vraagt aandacht, wat is een risicofactor? Wij benoemden de sterke kwaliteiten en de minder sterke kanten, risicofactoren van de aanmelder. Er werd geadviseerd deze 7

8 bespreekbaar te maken bij de slb-er, 80% van de geënquêteerde studenten heeft dit ook gedaan. Schriftelijke informatie uitgedeeld. Starten met een persoonlijke benadering Er is niet geselecteerd naar risicoprofiel In het gesprek verwijzen naar de introductieweek, in het bijzonder startdata i.v.m. vakantieplanning. De projectleider van Een succesvolle hbo-carriere heeft contact gehad met de projectleider van het project Boeien en Binden om ervaringen uit te wisselen. Er is over de volgende onderwerpen informatie uitgewisseld: Ervaringen met opkomst n.a.v. de uitnodiging voor een individueel gesprek Bij Boeien en binden kregen de studenten een persoonlijke uitnodiging en als ze niet reageerden nog een mail. Over het algemeen was de opkomst erg goed. De opleidingen die deelgenomen hebben waren kleine opleidingen waar je kennis opdoet voor een meer specialistisch beroep. Studenten kiezen hier over het algemeen bewuster voor. Studenten voelden zich vereerd om uitgenodigd te worden voor een gesprek. Aan het project Een succesvolle hbo carrière deden grote economische opleidingen mee waarbij minder duidelijk is voor welk beroep je wordt opgeleid. De opkomst was ongeveer 50%. Vrijblijvendheid deelname studiestartgesprek De opkomst bij boeien en binden was over het algemeen goed. Studenten konden niet verplicht worden om te komen. Er was sprake van kleine aantallen. Het kwam voor dat studenten niet op kwamen dagen of zich ziek meldden. Dit was lastig voor de betrouwbaarheid van het onderzoek omdat ze kleine aantallen overhielden. Er werd wel een aankondiging gestuurd waarbij de student al kon zich dat hij/zij was ingedeeld. Dit maakte het voor de student wel lastiger om weg te blijven omdat ze konden lezen dat er al gerekend werd op zijn/ haar komst, aldus de projectleider. Bij Een succesvolle hbo carrière kreeg de student ook een aankondiging en een uitnodiging en werd vervolgens via mail of telefonisch herinnerd als hij/zij niet reageerde. Resultaten t.a.v. uitval en rendement Bij Boeien en Binden was het lastig om kwantitatief iets te kunnen zeggen over de uitval en het rendement. Dit i.v.m. de kleine aantallen waarbij het onderzoek moest worden uitgevoerd. Hier kon de projectleider geen duidelijke uitspraken over doen. Welk resultaat is het meeste bijgebleven Het resultaat wat de projectleider van Boeien en Binden het meeste bij is gebleven was dat het goed was om gebruik te maken van studieloopbaanbegeleiders en ouderejaars studenten. De studieloopbaanbegeleiders maken in een vroeg stadium kennis met de student en de ouderejaars konden goed vertellen over hun ervaringen t.a.v. de studie. Evaluatie: Boeien en Binden heeft gebruik gemaakt van studieloopbaanbegeleiders en ouderejaarsstudenten en driehoeksgesprekken gevoerd. Dit is voor de meer specialistisch gerichte opleidingen die hebben deelgenomen. De TOP en de TIP en het benoemen van kwaliteiten en risicofactoren komt enigszins overeen en willen we voor de toekomst ook deel uit laten maken van het studiestartgesprek. Dit is laagdrempelig en concreet voor de student. Je geeft een positief iets mee en een suggestie. Boeien en Binden en Een succesvolle hbo carrière hebben beiden niet geselecteerd naar een specifiek risicoprofiel, dit is iets waar in de toekomst veel meer rekening mee gehouden kan worden. Niet elke student hoeft in aanmerking te komen voor een studiestartgesprek. 8

9 9

10 3. Resultaatevaluatie Onze doelpopulatie bestaat uit studenten met vooropleiding havo of mbo, die zich hebben aangemeld voor de richtingen CO, CE of MER van de gemeenschappelijke propedeuse (A-cluster). Ons doel is om na te gaan of van de experimentele groep 1 studenten die een studiestartgesprek hebben gehad minder uitvallen dan de studenten uit de andere groepen. En of deze studenten meer studiepunten halen dan studenten uit de andere groepen. Mocht dit het geval blijken te zijn, dan is dat een ondersteuning voor de bewering dat het studiestartgesprek een positieve uitwerking heeft op het studieresultaat van de student. Daarbij zijn we ons er goed van bewust dat een positieve samenhang niet automatisch impliceert dat dit alleen door de studiestartgesprekken veroorzaakt. Andere variabelen die wij niet onder controle kunnen houden kunnen ook een rol spelen. En ook kan er via de uitnodiging tot een gesprek een selectiemechanisme in werking gezet zijn, waarbij vooral de meest gemotiveerde studenten op de uitnodiging zijn ingegaan, en de minder gemotiveerde studenten de uitnodiging hebben afgeslagen. Betere resultaten na een half jaar voor de studenten die op gesprek zijn geweest dan voor de anderen is dus zeker geen sluitend bewijs voor het succes van het startgesprek. 10

11 3.1 Effectmeting In onderstaande tabel volgt een korte samenvatting van de belangrijkste resultaten en conclusies. Een toelichting met meer details volgt in de paragrafen daarna. Variabele Operationalisatie Benchmark Resultaten Controlegroepen: Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in februari nog actief zijn (n=49) Groep 3. Studenten die niet zijn uitgenodigd en in september begonnen zijn aan de opleiding en februari nog actief zijn (n=284) Effect van studiestartgesprekken op studiesucces. Gemiddeld aantal behaalde studiepunten (EC s) Gemeten februari 2011 Groep 2. 43% 22,5 ec of meer Groep 3. 39% 22,5 ec of meer Van groep 3. heeft 20% minder dan 7,5 ec Uitkomst onderzoeksgroep Groep 1. Studenten die uitgenodigd zijn voor een gesprek en zijn gekomen en in februari nog actief zijn (n=59) Groep 1. 63% 22,5 ec of meer Toelichting resultaten vindt u in Oordeel ++ De studenten die op studiestartgesprek zijn geweest (groep 1) scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen Preadviezen na een half jaar Groep 2. 43% positief Groep 3. 39% positief Groep 1. 63% positief Toelichting resultaten vindt u in De studenten die op gesprek zijn gekomen krijgen veel vaker een positieve brief dan de andere twee groepen. Percentage uitvallers en omzwaaiers Groep 2. 35% uitval Groep 3. 31% uitval Groep 1. 25% uitval Toelichting resultaten vindt u in Studenten uit groep 1 vallen wel minder uit (10% minder uitval), maar dit verschil is niet 11

12 signifcant te noemen. Effect van studiestartgesprekken op de instroom. Percentage niet starters Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen (n=108) Groep 2. 30% niet gestart volgens plan Toelichting resultaten vindt u in Groep 1. Studenten die uitgenodigd zijn voor een gesprek en op gesprek zijn geweest (n=98) Groep 1. 20% niet gestart volgens plan Eindoordeel: ++ Van de personen die een studiestartgesprek hadden beginnen er beduidend meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2. 12

13 We hebben naast de analyses voor onze totale doelpopulatie een aparte analyse gemaakt voor de Communicatie(CO)-studenten. Het gaat hierbij om aanzienlijk kleinere aantallen studenten die voor een gesprek zijn uitgenodigd. Daardoor geven de onderzoeksresultaten voor deze subgroep veel minder duidelijke verschillen dan we bij het totaalonderzoek vonden. In onderstaande tabel volgt een korte samenvatting van de belangrijkste resultaten en conclusies voor de CO-studenten afzonderlijk. Een toelichting met meer details volgt in de paragrafen daarna. Opleiding Communicatie Variabele Operationalisatie Benchmark Resultaten Controlegroepen: Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in februari nog actief zijn (n=10) Groep 3. Studenten die niet zijn uitgenodigd en in september begonnen zijn aan de opleiding en februari nog actief zijn (n=58) Effect van studiestartgesprekken op studiesucces. Gemiddeld aantal behaalde studiepunten (EC s) Gemeten februari 2011 Groep 2. 70% 22,5 ec of meer Groep 3. 33% 22,5 ec of meer Uitkomst onderzoeksgroep Groep 1. Studenten die uitgenodigd zijn voor een gesprek en zijn gekomen en in februari nog actief zijn (n=19) Groep 1. 63% 22,5 ec of meer Toelichting resultaten vindt u in Oordeel + De studenten die voor een studiestartgesprek zijn uitgenodigd (groepen 1 en 2) scoren wat studiepunten betreft beter dan de controlegroep (niet significant door de kleine aantallen) 13

14 Preadviezen na een half jaar Groep 2. 70% positief Groep 3. 33% positief Groep 1. 63% positief Toelichting resultaten vindt u in De studenten die voor een gesprek zijn uitgenodigd krijgen veel vaker een positieve brief dan de controlegroep. Percentage uitvallers en omzwaaiers Groep 2. 31% uitval Groep 3. 36% uitval Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen en in september zijn gestart (n=25) Groep 3. Studenten die niet zijn uitgenodigd en in september zijn gestart (n=206) Groep 1. 26% uitval Groep 1. Studenten die uitgenodigd zijn voor een gesprek in september zijn gestart (n=32) Toelichting resultaten vindt u in Studenten uit groep 1. vallen wel minder uit maar dit verschil is niet signifcant. Effect van studiestartgesprekken op de instroom. Percentage niet starters Groep 2. 35% niet gestart volgens plan Groep 2. Studenten die zijn uitgenodigd maar niet zijn gekomen (n=23) Groep 1. 30% niet gestart volgens plan Groep 1. Studenten die uitgenodigd zijn voor een gesprek en op gesprek zijn geweest (n=34) Toelichting resultaten vindt u in Eindoordeel: + Van de personen die een studiestartgesprek hadden beginnen er meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2. Door de kleine aantallen is dit verschil niet significant. 14

15 3.1.1 Effect op gemiddeld aantal behaalde studiepunten Bij bestudering van het effect van een studiestartgesprek op het aantal behaalde studiepunten, blijven alleen de studenten over die in februari 2011 nog actief zijn als student bij een van de opleidingen uit onze doelpopulatie. Een eerste overzicht geeft: Behaalde studiepunten * Type student binnen het experiment (aantallen)* status februari 2011 status februari 2011 Type student binnen het experiment controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan actief Behaalde studiepunten Totaal Totaal Voor de volledigheid: het A-cluster van de propedeuse is onderverdeeld in vier studie-eenheden van elk 7,5 credits. Zolang binnen een eenheid niet alles gehaald is, worden er geen studiepunten gegeven. Vandaar dat de tabel maar vijf uitkomsten voor behaalde studiepunten laat zien. Verder is het mogelijk om een extra taal te kiezen. Die wordt verspreid over het hele eerste jaar aangeboden. Dus dit blok (van 5 credits) kun je na het eerste semester nog niet afgerond hebben. Dezelfde tabel, nu voor alleen de CO-studenten. Behaalde studiepunten * Type student binnen het experiment (aantallen) status februari 2011 Type student binnen het experiment controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan actief Behaalde studiepunten Totaal Totaal 15

16 Behaalde studiepunten * Type student binnen het experiment (percentages) Kolompercentages Type student binnen het experiment controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan Behaalde studiepunten 0 5% 2% 2% 4% Totaal % 8% 4% 12% 15 42% 27% 51% 41% % 41% 29% 25% 30 18% 22% 14% 18% Totaal 100% 100% 100% 100% We zien dat er significante verschillen zijn tussen de drie groepen (Chi kw.=19.4, sig.=0,014). Kijken we naar de kolompercentages en naar de grafiek, dan zien we dat de studenten die op gesprek zijn geweest meer studiepunten halen dan de anderen. Binnen de studiestartgesprekgroep haalt meer dan 60% alle of ten minste 22,5 van de 30 studiepunten. Wat verder opvalt, is dat er binnen de controlegroep relatief veel studenten zijn (bijna 20%) die geen of maar 7,5 studiepunten hebben behaald. De vraag is of de vooropleiding nog een rol van betekenis speelt bij het aantal behaalde studiepunten. We hebben een generalized linear model m.b.v. SPSS doorgerekend. Dan blijkt dat de variabele type student binnen het experiment wel een verklarend effect heeft op het behaalde aantal studiepunten, maar de vooropleiding niet. Havisten hebben iets meer studiepunten dan mbo-ers, maar dit verschil is niet significant. 16

17 Wanneer we ons beperken tot alleen de CO-studenten dan worden de verwachte aantallen per cel een stuk kleiner en is een chikwadraattoets niet langer uitvoerbaar (9 cells (60.0%) have expected count less than 5. The minimum expected count is 46. Zoals de CO-variant van de grafiek laat zien, doen de CO-studenten die voor een gesprek zijn uitgenodigd het wel beter dan de studenten uit de controlegroep, maar het verschil tussen de experimentele groepen 1 en 2 (met resp. 19 en 10 studenten) is hier niet terug te zien. Dezelfde tabel, nu voor alleen de CO-studenten. Behaalde studiepunten * Type student binnen het experiment (kolompercentages) status februari 2011 Type student binnen het experiment controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan actief Behaalde studiepunten 0 7% 5% Totaal % 11% 9% 15 50% 26% 30% 43% % 47% 50% 32% 30 9% 16% 20% 11% Totaal 100% 100% 100% 100% Conclusies: 1. De studenten die op studiestartgesprek zijn geweest scoren wat studiepunten betreft duidelijk beter dan de andere twee groepen. 2. De verschillen in behaalde studiepunten tussen havisten en mbo-ers zijn gering, maar ha- 17

18 visten doen het iets beter. 3. Beperken we ons tot de CO-studenten, dan doen degenen die voor een gesprek zijn uitgenodigd het wel beter dan de studenten uit de controlegroep, maar het verschil tussen de experimentele groepen 1 en 2 (met resp. 19 en 10 studenten) is hier niet terug te zien. (Door de kleine aantallen kan een chikwadraattoets hier niet gebruikt worden.) Preadviezen na een half jaar Na een half jaar studeren wordt voor iedere student een eerste balans opgemaakt van de studieresultaten. Elke student krijgt naar aanleiding hiervan een brief met een voorlopig studieadvies. Als iemand minder dan 22,5 studiepunten heeft behaald, dan is het advies negatief verwoord en wordt de student dringend aangeraden om contact op te nemen met zijn of haar studieloopbaanbegeleider om de situatie door te spreken en te zoeken naar verbeteringen. Als iemand 22,5 studiepunten of meer heeft behaald, dan is het advies positief verwoord en is er op dat moment geen reden tot ongerustheid. Wij hebben onderzocht welke brieven de studenten uit de 3 groepen hebben ontvangen in februari Daarbij zijn we vooral benieuwd naar de experimentele groep 1, de studenten die een studiestartgesprek hebben gehad. Doen zij het beter dan de anderen? Hieronder de resultaten: adviesbrief * Type student binnen het experiment Controlegroep Type student binnen het experiment is op gesprek gekomen is niet op uitnodiging ingegaan Totaal adviesbrief negatief % 37.3% 57.1% 56.9% positief % 62.7% 42.9% 43.1% Totaal % 100.0% 100.0% 100.0% De conclusie is helder. Er zijn overduidelijk verschillen tussen de drie groepen (chikw.=11,12; sig.=0,004). Dezelfde tabel, nu voor alleen de CO-studenten. adviesbrief * Type student binnen het experiment Type student binnen het experiment controlegroep is op gesprek gekomen is niet op uitnodiging ingegaan Totaal adviesbrief negatief % 36.8% 30.0% 56.3% positief % 63.2% 70.0% 43.7% Totaal % 100.0% 100.0% 100.0% 18

19 De conclusie is weer dat er overduidelijk verschillen zijn tussen de drie groepen (chikw.=8,56; sig.=0,014). De controlegroep doet het duidelijk slechter dan de studenten die uitgenodigd zijn voor een gesprek. En het is ook meteen duidelijk uit de kolompercentages van de kruistabel waar dat verschil in zit. De studenten die op gesprek zijn gekomen, krijgen veel vaker een positieve brief dan de andere twee groepen. Opmerking: als we havisten en mbo-ers vergelijken als het gaat om het type brief, dan blijkt dat er geen verschil is. Conclusie: Als we het studiesucces tijdens het eerste half jaar afmeten aan het type adviesbrief dat elke student krijgt na het eerste semester, dan doen de studenten die op gesprek zijn geweest het duidelijk beter dan de anderen. Van de studenten die op gesprek zijn geweest krijgt 63% een positieve brief. Van de studenten uit de andere twee groepen krijgt maar 40% een positieve brief. Beperken we ons tot alleen de CO-studenten, dan krijgen de studenten die voor een gesprek zijn uitgenodigd veel vaker een positieve adviesbrief dan de studenten uit de controlegroep. Het verschil tussen degenen die wel en die niet op gesprek zijn gekomen na de uitnodiging zien we niet terug Effect op percentage uitvallers en omzwaaiers De onderstaande tabel geeft de uitval na een half jaar studie aan. Type student binnen het experiment * status februari 2011 Actief status niet actief Totaal controlegroep % 31.2% 100.0% is op gesprek gekomen is niet op uitnodiging ingegaan 74.7% 25.3% 100.0% % 34.7% 100.0% Totaal % 30.8% 100.0% Conclusie: Kijkend naar de rijpercentages ontstaat de indruk dat de groep die op gesprek gekomen is het beste scoort ten aanzien van uitval. Dit verschil is niet significant (chikw.=1,7, sig.=0,434). Dus een verschil in uitval kunnen we niet toeschrijven aan studiestartgesprekken. 19

20 Dezelfde tabel, nu voor alleen de CO-studenten. Type student binnen het experiment * status februari 2011 actief status niet actief Totaal controlegroep % 25.7% 100.0% is op gesprek gekomen is niet op uitnodiging ingegaan 68.8% 31.3% 100.0% % 36.0% 100.0% Totaal % 27.4% 100.0% De conclusie voor de subgroep van de CO-studenten is hetzelfde als voor de totale groep. Er zijn geen significante verschillen (chikw.=1,46, sig.=0,482). Een verschil in uitval kunnen we ook hier niet toeschrijven aan studiestartgesprekken. Eerste conclusies: 1. 31% van de studenten (vooropleiding havo of mbo) die in september 2010 gestart zijn met een opleiding CE, CO of MER is binnen één semester weer vertrokken. 2. De verschillen in uitval tussen de drie besproken groepen zijn niet significant. Er is geen reden om te zeggen dat de ene groep minder uitval laat zien dan de andere. In het bijzonder is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. 3. Voor CO studenten geldt dat de uitval in het eerste semester 27% is. Ook hier zijn er geen significante verschillen tussen de studenten die een startgesprek hebben gehad en de anderen. Maar dit is niet het einde van het verhaal! Er zijn namelijk meer variabelen in het spel. De vooropleiding (HAVO of MBO) speelt waarschijnlijk een rol bij het succes in het eerste semester van de studie. En we weten dat de totale instroom meer havisten bevat dan mbo-ers, maar dat we bij ons experiment een quota steekproef hebben genomen, om te zorgen dat we bij elke combinatie van vooropleiding en gekozen richting een minimaal aantal studenten in ons experiment hebben. Daardoor is onze experimentele groep qua vooropleiding niet gelijk aan de controlegroep. Dit maakt de analyse ingewikkelder. We moeten dus gaan kijken naar twee verklarende variabelen met status in februari (actief/niet actief) als gevolg. Een generalized linear models analyse in SPSS met de status in februari 2011 als dependent en met de variabelen experiment en vooropleiding als factoren levert de benodigde analyse. We vinden geen nieuwe verbanden. Verdere conclusies: 1. De vooropleiding HAVO of MBO maakt in onze doelgroep (CE, CO en MER) geen verschil met betrekking tot uitval in het eerste semester van de studie. 2. Kijken we naar de combinatie van vooropleiding en type student in ons onderzoek, dan blijken er ook geen noemenswaardige verschillen te zijn. In het bijzonder is niet vastgesteld dat de studenten die een studiestartgesprek hebben gehad minder uitval vertonen dan de andere studenten. Dit geldt ook voor havisten en voor mbo-ers afzonderlijk. 20

21 3.1.4 Effect op percentage niet starters Hier kunnen we alleen de experimentele groep 1 (met gesprek) vergelijken met de experimentele groep 2 (uitgenodigd, maar geen gesprek). Groep 1: de studenten die op gesprek zijn gekomen. Status in september 2010 Gestart volgens plan % Niet gestart volgens plan % Totaal % Status in februari 2011 Actief % 74.7% Niet actief % 25.3% Uit doelgroep verdwenen % Waarvan 10% niet actief op de FEM Waarvan 9.4% actief op de FEM, maar niet volgens de onderzoekscriteria Totaal % We zien dat bijna 20% van groep 1 niet gestart is met de opleiding die ze van plan waren toen ze voor de zomervakantie op gesprek kwamen. Dit heeft verschillende oorzaken. Zo zijn een aantal studenten wel actief aan de FEM, maar niet in het A-cluster van de propedeuse. Sommige hebben een andere richting gekozen binnen de FEM. Deze studenten zijn uit de doelgroep verdwenen, dus formeel uitvallers maar ze zijn niet uitgevallen. Het percentage studenten dat wel op gesprek is geweest maar in september 2010 niet aan de FEM studeerde is 10%. Van de 79 studenten die wel gestart zijn, is 25% binnen een half jaar uitgevallen. Dezelfde tabellen, nu voor alleen de CO-studenten Status in september 2010 Gestart volgens plan 24 70,6% Niet gestart volgens plan 10 29,4% Totaal % Status in februari 2011 Actief 19 55,9% 79,2% Niet actief 5 14,7% 20,8% Uit doelgroep verdwenen 10 29,4% Totaal % Groep 2: de studenten die zijn uitgenodigd voor een gesprek, maar die niet op de uitnodiging zijn ingegaan. Status in september 2010 Gestart volgens plan 75 69,4% Niet gestart volgens plan 33 30,6% Totaal % 21

22 Status in februari 2011 Actief % 65.3% Niet actief % 34.7% Uit doelgroep verdwenen % Waarvan 20% niet actief op de FEM Waarvan 10,6% actief op de FEM, maar niet volgens de onderzoekscriteria Totaal % 100% We zien dat ruim 30% van groep 2 niet gestart is met de opleiding die ze van plan waren toen ze de uitnodiging voor een gesprek kregen. Het percentage studenten uit de experimentele groep 2 dat in september 2010 niet aan de FEM studeerde is 20%. Van de 75 studenten die wel gestart zijn, is 35% binnen een half jaar uitgevallen. Dezelfde tabellen, nu voor alleen de CO-studenten Status in september 2010 Gestart volgens plan 15 65,2% Niet gestart volgens plan 8 34,8% Totaal % Status in februari 2011 Actief 10 43,5% 66,7% Niet actief 5 21,7% 33,3% Uit doelgroep verdwenen 8 34,8% Totaal % Conclusies: 1. Van de personen die een studiestartgesprek hadden beginnen er beduidend meer ook daadwerkelijk aan de geplande studie dan de experimentele groep 2. Dit verschil is significant (Fisher exact eenzijdige sig. = 0,046). 2. Onder de starters met gesprek is de uitval kleiner, dan bij de experimentele groep 2. Dit verschil is niet significant (Fisher exact eenzijdige sig. = 0,14). 3. Wanneer we ons beperken tot de CO-studenten, dan is er geen verschil tussen de personen die wel of geen gesprek gehad hebben, wat betreft starten in september met de geplande opleiding (Fisher exact eenzijdige sig. =0.443). Onder de starters met gesprek is de uitval kleiner, dan bij de experimentele groep 2. Dit verschil is niet significant (Fisher exact eenzijdige sig. = 0,31) 3.2 Oordeel van deelnemer over nut Er is een online evaluatie-enquête verstuurd naar de personen die een studiestartgesprek hebben gehad. Van de 98 studenten die op gesprek zijn geweest, zijn er uiteindelijk 79 met een opleiding aan de FEM zijn begonnen. 19 personen zijn iets anders gaan doen. Dus: 5 van de 19 personen (26%) die iets anders zijn gaan doen, hebben de enquête toch ingevuld. 56 van de 79 studenten (71%) die in september aan de FEM zijn begonnen, hebben de enquête ingevuld. 22

23 De belangrijkste resultaten van deze enquête worden hieronder weergegeven. Van de 5 personen die wel een gesprek hebben gehad niet zijn gestart met een opleiding aan de FEM, daarvan heeft 1 op grond van het gesprek iets anders gekozen en 1 persoon heeft besloten dat de HAN te ver weg was. Dit is daardoor ook een succesvol gesprek. Vraag 21: Kun je kort toelichten waarom je van mening bent veranderd? Onze conclusie Het was niets voor mij, ik houd meer van creatief bezig zijn. Ik heb besloten een half jaar te gaan werken. Nu begin ik februari 2011 met de opleiding communicatie aan de HAN. Omdat de HAN te groot voor mij was en ik op een andere school wel de zelfde opleiding doe, maar omdat dat dichter bij is. Ik moet voor de HAN 3 keer overstappen en dat kostte mij te veel tijd! omdat ik gezakt ben sport gezondheids management leek me leuker Succesvol Enigszins succesvol Succesvol Jammer Succesvol Het gaat om een klein aandeel, maar de indruk is wel dat voor de afhakers het studiestartgesprek van nut is geweest. Wat vonden de 56 studenten die in september 2010 begonnen zijn aan een opleiding van het gesprek? Vraag 6: Tijdens het gesprek ben ik geïnformeerd over de volgende factoren die van belang zijn voor mijn studiesucces: helemaal oneens oneens eens helemaal eens De lessen voorbereiden en volgen Goed kunnen plannen en prioriteiten stellen Totaal 14.3% 32.1% 42.9% 10.7% 100.0% % 19.6% 51.8% 19.6% 100.0% Initiatief nemen % 26.8% 50.0% 12.5% 100.0% Sturen van je eigen studieloopbaan % 30.4% 51.8% 8.9% 100.0% Doorzettingsvermogen % 17.9% 53.6% 19.6% 100.0% Motivatie % 16.1% 51.8% 23.2% 100.0% Zelfkennis % 28.6% 48.2% 14.3% 100.0% De meesten zijn tevreden, maar een royale minderheid van meer dan 30% vindt bij vier van de zes aspecten dat de informatieve waarde van het studiestartgesprek onvoldoende is geweest. Vraag 12: Door het gesprek heb ik inzicht gekregen in welke mate ik de volgende vaardigheden beheers: helemaal oneens oneens eens helemaal eens Jezelf kunnen motiveren Totaal 7.4% 40.7% 50.0% 1.9% 100.0% Initiatief nemen % 29.6% 51.9% 11.1% 100.0% 23

24 Kunnen organiseren % 38.9% 44.4% 9.3% 100.0% Kunnen plannen % 37.0% 50.0% 5.6% 100.0% Prioriteiten stellen % 35.8% 49.1% 7.5% 100.0% Kunnen samenwerken % 35.2% 46.3% 11.1% 100.0% Kunnen concentreren % 45.3% 41.5% 5.7% 100.0% Zelfstandig kunnen studeren % 31.5% 53.7% 7.4% 100.0% Deze uitslag geeft te denken. Meer dan 40% van de respondenten vindt bij alle aspecten van vraag 12 dat inzicht in eigen studievaardigheden door het studiestartgesprek onvoldoende is bevorderd. Een van de bedoelingen van het studiestartgesprek was om het inzicht in tekorten in de eigen studievaardigheden te bespreken met de slb-er. Uit de antwoorden op vraag 13 blijkt dat dit gelukt is. Vraag 13: Mijn minder sterke studievaardigheden heb ik bespreekbaar gemaakt tijdens het kennismakingsgesprek met mijn studieloopbaanbegeleider. Aantal Percentage Ja Nee Totaal Vraag 14: Het studiestartgesprek heeft voor mij een meerwaarde gehad ten aanzien van de volgende aspecten: helemaal oneens oneens eens helemaal eens Opzet propedeuse Totaal 5.6% 14.8% 53.7% 25.9% 100.0% Inhoud propedeuse % 22.6% 54.7% 15.1% 100.0% Factoren succesvolle studievoortgang % 26.9% 57.7% 7.7% 100.0% Eigen studievaardigheden % 31.5% 55.6% 3.7% 100.0% Dit bevestigt het beeld van de eerdere antwoorden. Allereerst is duidelijk dat de opzet van de propedeuse helder is geworden voor bijna alle studenten. Voor veel personen heeft een studiestartgesprek zijn waarde wel, maar voor een ruime minderheid van de respondenten heeft het studiestartgesprek onvoldoende meerwaarde gehad t.a.v. 3 aspecten van de 4 aspecten. 24

25 Vraag 16: Zou een studiestartgesprek verplicht moeten zijn voor nieuwe studenten? Aantal Percentage Nee, maar wel mogelijk als de student het wil Ja, maar alleen voor studenten die geen voorlichtingsactiviteiten hebben bezocht Ja, voor iedereen Ja, maar alleen voor... a Nee, een studiestartgesprek heeft geen zin Totaal a : maar alleen voor: die er interesse in hebben mbo-studenten studenten die op het nippertje geslaagd zijn en niet volledig achter de studiekeuze staan. Deze tabel geeft een duidelijk antwoord op de vraag of de studenten een verplicht gesprek nodig vinden. Dat vinden ze niet. Uit deze enquête blijkt dat als we een verplicht studiestartgesprek in deze vorm gaan invoeren, dit voor een groot aantal studenten geen meerwaarde zal hebben. Wat vonden de respondenten van de organisatie van het gesprek? Dat kwam aan bod in vragen 17, 18 en 19. De organisatie en communicatie is goed beoordeeld door 80 tot 90 % van de respondenten. Vraag 20: Wat vond je van de wijze waarop de studieadviseur het gesprek heeft gevoerd?, uitgesplitst naar gesprekspartner Over het algemeen waren de studenten tevreden. De feedback en de kritiekpunten zijn door de eindverantwoordelijke van het project met de studieadviseurs besproken. 3.3 Oordeel van gespreksvoerders over het nut van de gekozen aanpak De volgende onderdelen zijn geëvalueerd met de gespreksvoerders: Materiaal dat is gebruikt voor de studiestartgesprekken Hoe vond je het materiaal om mee te werken? Als we hetzelfde onderzoek opnieuw zouden doen, had je dan wijzigingen/aanvullingen t.a.v. het materiaal? Antwoord: Het draaiboek was met name in het begin handig omdat er veel handelingen bij kwamen kijken. Zodra gewend/ervaren was dit niet meer nodig. Flyer vonden studenten leuk om mee te krijgen. Konden ze de informatie nog een rustig nalezen. Studiegids was handig om bij de hand te hebben. Een schema over de opzet van het onderwijsprogramma was handig om te gebruiken. Interviewformulier werd gebruikt als interview checklist om op het einde na te lopen of alles wel verteld had. Bij veel gesprekken op 1 dag is dat erg nuttig! De voorbereiding voor het houden van de gesprekken: Je hebt een training gesprekstechnieken gehad en een toelichting voor het gebruiken van de documenten in het draaiboek. Hoe zou je deze beoordelen? Antwoord: Duidelijk om een toelichting te krijgen over hoe de documenten te gebruiken en waarvoor precies. De training gesprekstechnieken gaf inzicht in je eigen houding als gespreksleider. We kregen tips als hoe ga je zitten, welke houding neem je aan. Hoe stel je de vragen. Hiervoor werd de STAR methode (Situatie, Taken, Actie, Resultaat) besproken. Dit was zinnig. Als we hetzelfde onderzoek opnieuw zouden doen, zou je dan wijzigingen/aanvullingen hebben t.a.v. de voorbereiding? 25

26 De training gesprekstechnieken werd gegeven door een studieadviseur. Zij zegt het volgende; Bij opnieuw een training zou ik de focus graag meer leggen bij de gespreksinhoud en gespreksvaardigheden i.p.v. bij de procedure zoals nu uiteindelijk het zwaartepunt kwam te liggen. De projectleider zou de administratieve handelingen meer uit handen geven, zodat ze het proces nog beter kan begeleiden. Over het algemeen wel tevreden over het verloop. Afspraken plannen en administratieve werkzaamheden Hoe verliep het maken van de afspraken met de aanmelders. Voor het inplannen van de afspraken heeft iedere studieadviseur haar eigen manier gevonden. Bijvoorbeeld: 3 data met tijden / keuze laten aan de aanmelder. De aanmelder geeft aan wanneer hij/zij kan Per uitnodigen met een datum. Je stelt een datum vast. Als de aanmelder niet kan, dan stel je nieuwe data voor in overleg met de aanmelder Het plannen van afspraken, registreren, lijsten van aanmelders selecteren neemt veel tijd in beslag. De verschillen in aanpak voor het plannen van de afspraken heeft geen invloed gehad op het beoogde aantal gesprekken dat de studieadviseur zou doen. Iedere studieadviseur heeft aan haar aantal geplande gesprekken voldaan. Intakeformulier De volgende opmerkingen zijn geformuleerd t.a.v. het intakeformulier: De formulering van de vragen opnieuw bekijken als er nieuwe studiestartgesprekken gevoerd gaan worden voor februaristart. Soms krijg je antwoorden van aanmelders waaruit blijkt dat de vraag niet begrepen is Invullen van het intakeformulier is al erg goed om zich bewust te maken Misschien aanmelders uitnodigen voor een gesprek a.d.h.v. hoe ze het intakeformulier hebben ingevuld Meer over het B-cluster en opbouw opleiding + inhoud verwerken in het studiestartgesprek? Prettige gesprekken. Wel steeds hetzelfde verhaaltje, kan eentonig zijn. Prettig als er vragen van de aanmelder komen Werkvormen- type lessen niet in het intakeformulier opnemen? Overzicht toevoegen opleidingen/instituten. Overzicht opbouw opleiding toevoegen Doelgroep aanmelder De volgende opmerkingen zijn geformuleerd t.a.v. de doelgroep aanmelders: Allemaal gemotiveerde aanmelders die reageren Het is opvallend dat aanmelders met een buitenlandse naam niet tot slecht reageren Andere doelgroep bereiken voor een studiestartgesprek Overig De studieadviseurs hebben regelmatig te horen gekregen van de personen die op gesprek zijn geweest dat ze het fijn vonden om te worden uitgenodigd en dat ze het een nuttig gesprek vonden. Conclusies en aanbevelingen Wat kunnen we tot nu toe zeggen over de gesprekken: Het vermoeden is dat we nu in mindere mate de doelgroep spreken waarvan we denken dat zij juist een studiestartgesprek kunnen gebruiken Administratieve handelingen rondom de studiestartgesprekken verminderen voor de studieadviseurs Intakeformulier bijstellen wanneer we nieuwe studiestartgesprekken gaan voeren met de aanmelders voor de februaristart 26

27 4. Procesevaluatie In deze paragraaf volgt de procesevaluatie. In onderstaande tabel staat een korte evaluatie/reflectie over de genoemde punten tot nu toe. Daarnaast wordt aangegeven hoe de punten in de toekomst geëvalueerd zullen worden. 4.1 Reflectie terug Gerealiseerd ontwerp Een aantal zaken is anders gegaan dan in de eerste opzet beschreven stond. Het gaat om de volgende zaken: Er was sprake van een experimentele groep en één controlegroep. Later is de groep die niet heeft gereageerd op de uitnodiging voor een studiestartgesprek als controlegroep toegevoegd aan het onderzoek naar de effectmetingen. Studenten zijn per benaderd voor een afspraak en telefonisch De steekproef is niet door iedereen gebruikt. Als er een korte lijst met aanmelders werd aangeleverd kwam het voor dat de studieadviseur alle aanmelders een uitnodiging stuurde In plaats van 100 aanmelders hebben 98 aanmelders een gesprek gehad Uitvoeringsproblemen Wat was moeilijk of ging niet goed? Het administratieve gedeelte van het project kost erg veel tijd (aanmelders selecteren, aankondiging onderzoek versturen, uitnodigingen versturen, gespreksformulieren invoeren, afspraak maken, registratieformulier bijhouden). Dit was meer dan vooraf de verwachting was. Het selecteren van aanmelders gebeurde vanuit het centrale studentensysteem. Je moest o.a. van meerdere opleidingen de juiste selecties maken, zorgen dat je niet dezelfde aanmelders een nieuw aankondiging stuurde en bijhouden wie nog niet had gereageerd. Dit vergde vele handelingen en een zeer accurate werkwijze. Het meest moeilijk was het krijgen van aanmelders met het juiste profiel (de zwakkere student). De aanmelders die op gesprek geweest zijn, vielen allemaal in de categorie gemotiveerde aankomend student en hadden vaak al meerdere voorlichtingsactiviteiten bijgewoond Daarnaast was het krijgen van respons over het algemeen niet altijd even gemakkelijk. Wat wel opvalt, is dat aanmelders vaak in één keer reageren (er hoeft geen herinnering gestuurd te worden). Op verstuurde herinneringen komt bijna nooit reactie De inschrijfdatum van 1 oktober heeft geen invloed. Studenten kunnen op 1 oktober niet meer beginnen met de studie, omdat ze dan al teveel verplichte lessen gemist hebben in de propedeuse Uitvoeringssuccessen Organisatie d.m.v. draaiboek, registratieformulieren, enquêtes was goed We hebben op veel gebieden een goede projectorganisatie gehad. Er zijn groepsleden aangesteld met specifieke expertise die ingezet konden worden voor het project. Er was veel committent en draagvlak voor het project bij het 27