Relatie intake - studiesucces Opleiding S&B cohort 2009 Relatie intake - studiesucces November 2010 Beleidsdienst: Rutger Kappe, Margo Pluijter 0
Inhoudsopgave De inhoudsopgave van de resultaatevaluatie ziet er als volgt uit: 1.0 Inleiding pag. 2 Schematisch overzicht van context opleiding Sport en Bewegen 2.0 Samenvatting resultaten in tabelvorm pag.3 3.0 Effect op studiesucces pag.4 3.1 studie-uitval percentages cohorten 2006-2009 pag.4 3.2 studiesucces van cohorten 2008 en 2009 pag.5 3.3 relatie intakevariabelen en studiesucces pag.5 3.4 relatie intakevariabelen en studie-uitval pag.7 3.5 aanvullende analyse: man-vrouw verschillen pag.9 1
1.0 Inleiding In oktober 2010 zijn prestatiegegevens van studenten verzameld die in de periode augustus/september 2009 aan de INHolland intakeprocedure hebben deelgenomen. Deze rapportage in het kader van de nameting van het SURF project Studiekeuzegesprekken, wat werkt?! betreft uitsluitend studenten van de opleiding Sport en Bewegen van de locatie Haarlem. Van deze studenten zijn na 1 jaar de volgende prestatie-indicatoren verzameld: status (actief, uitgevallen, BSA), ECTS1 (aantal behaalde credits), GPA1 (gemiddeld studiecijfer). Deze gegevens zijn dezelfde als waarover gerapporteerd is in het kader van het SURF project. In de resultaatevaluatie wordt gerapporteerd over de relatie tussen scores op de digitale intake en studieprestaties na 1 jaar van studenten bij de opleiding Sport en Bewegen. Voor de analyses zijn gegevens beschikbaar van 110 studenten. Van deze studenten zijn scores op de digitale intake en prestatiegegevens na 1 jaar verzameld. Van de 110 studenten zijn er 87 na 1 jaar studie nog altijd bij de opleiding ingeschreven (79%). Voor de herinschrijvers voor jaar 2 wordt in deze notitie de term actieve studenten gebruikt. Van de totale groep zijn 23 studenten gestopt met de opleiding binnen 1 jaar (21%). School School of Health Haarlem Opleidingen Sport en bewegen Geen specifieke toelatingseisen Locatie Haarlem Aanmeldingen 110 Algemene kenmerken van de studenten grotendeels autochtonen binnen deze opleiding vooropleiding havo/mbo gemiddelde leeftijd 17 jaar Datum instroom September 2009 Gemiddeld Propedeuserendement Opleiding (instroomaantal): na 1 jaar %, na 2 jaar % Sport en bewegen (66): na 1 jaar 14%, na 2 jaar 61% (Cohort 2006) Gemiddeld percentage uitvallers Specifieke risicogroepen Bijzonderheden Zwaarder wegende componenten binnen het digitaal assessment voor de School of Health Sport en bewegen: na 1 jaar 27,3%, na 2 jaar 33,3% (Cohort 2006) Digitaal assessment vindt in de introductieweek plaats Met alle studenten is een gesprek gevoerd onafhankelijk van de uitslag van het digitale assessment, nl het 1 e SLB gesprek in periode 1. Weging capaciteiten exclusie, componenten Weging competenties plannen & organiseren telt zwaarder mee samenwerken, mondeling communiceren, analyseren 2
2 Samenvatting in tabelvorm Variabele Operationalisatie Norm Uitkomst Oordeel Effect van gehele intakeprocedure op studie uitval Percentage uitval na 1 jaar Daling van het uitvalpercentage na 1 jaar Positief, sprake van daling ten opzichte van het langdurig gemiddelde en ten opzichte van voorgaand cohort. ++ Voor het cohort 2009 is de uitval in absolute termen 6.3% gedaald ten opzicht van cohort 2008. Effect van gehele intakeprocedure op studietempo en studiecijfers in jaar 1 Studietempo in termen van behaald aantal ECTS en studiecijfers in termen van gemiddeld cijfer van de behaalde studieonderdelen Toenamen van het aantal ECTS tussen cohort 2008 (pilot intake) en cohort 2009 (intake) Lichte stijging van het aantal behaalde ECTS in jaar 1 + Studenten van het cohort 2009 behalen gemiddeld meer ECTS dan studenten van het voorgaande cohort. Relatie tussen intakevariabelen en studiesucces variabelen Relatie studentkenmerken en aantal behaalde ECTS na 1 jaar studie en gemiddeld studiecijfer. Enige significante verbanden Enkele significante verbanden tussen competenties en studietempo. De risicoscore hangt samen met studietempo. +/- Studentkenmerken hebben beperkte voorspellende waarde voor studietempo en geen voorspellende waarde voor studiecijfers 3
3 Relatie intake en studiesucces variabelen In de volgende paragrafen worden de resultaten weergegeven van de analyses naar de relatie tussen de scores op de intake en studieprestaties in jaar 1. 3.1 studie-uitvalpercentage 3.2 studietempo (ECTS) en cijfers (GPA) cohorten 2008 en 2009 3.3 relatie intakevariabelen en studiesucces 3.4 relatie intakevariabelen en studie-uitval, inclusief aanvullende analyse vrijwillige studiestakers versus uitval vanwege BSA 3.5 aanvullende analyse: man-vrouw verschillen 3.1 Studie-uitvalpercentage na 1 jaar Bij deze effect analyse is gebruikt gemaakt van gegevens uit de accreditatiedatabase van de Hogeschool. Uitvalpercentages over een periode van vier jaar zijn achterhaald inclusief het uitvalpercentage in het studiejaar 2009-2010 (cohort 2009). Variabele Effect van gehele intakeprocedure op percentage studie uitval Operationalisatie Percentage uitval na 1 jaar studie ten opzichte van voorgaande 1 e jaren. Norm Daling van het uitvalpercentage na 1 jaar Uitkomst Tabel 1 Uitvalpercentages S&B vanaf cohort 2005 Uitval percentage (%) Cohort 2005 (geen intake) 45.8% Cohort 2006 (geen intake) 27.3% Cohort 2007 (geen intake) 28.4% Cohort 2008 (pilot intake) 30.1% Cohort 2009 (intake) 23.8% De opleiding Sport en Bewegen is in studiejaar 2008-2009 (cohort 2008) gestart met de INHolland intakeprocedure. In dat jaar was de uitval 30.1% wat een daling was ten opzicht van het gemiddelde uitvalpercentage van de drie voorgaande jaren (34.1%). Voor het studiejaar 2009-2010 (cohort 2009) is het uitvalpercentage 23.8% wat een daling is ten opzicht van het vierjaars gemiddelde (32.9%) en een aanzienlijke daling ten opzichte van cohort 2008 (absoluut 6.3%). Het blijft overigens wel de vraag in welke mate de digitale intake en het gesprek bijgedragen hebben tot de daling van het uitvalpercentage. Het is denkbaar dat de intakeprocedure en daarmee de aandacht voor preventie van studie-uitval één van de oorzaken van de daling van het percentage uitvallers is. 4
3.2 Effect intakes op studietempo en cijfers van eerste jaars (cohorten 2008 en 2009) Bij deze effect analyse is gebruikt gemaakt van gegevens uit het student volgsysteem van de Hogeschool. Verzameld zijn de studieprestaties van 1 e jaars studenten van het cohort 2008, toen gestart is met de pilot intake en van het cohort 2009. Het was niet mogelijk om gegevens na 1 jaar studie van het cohort 2007 te achterhalen toen de opleiding nog niet met de huidige intakeprocedure werkte. Variabele Effect van gehele intakeprocedure op studietempo en studiecijfers van 1 e jaar studenten. Operationalisatie Aantal behaalde ECTS en het gemiddeld studiecijfers na 1 jaar studie van studenten in cohort 2008 en cohort 2009. Norm Lichte stijging van het aantal behaalde ECTS en GPA. Uitkomst De resultaten zijn weergegeven in de onderstaande tabel. Tabel 2 Verschillen in studiesucces tussen actieve en uitgevallen studenten Actief Uitgevallen 2008 2009 2008 2009 ECTS1 50 54 15 17 GPA1 6.9 7.0 7.0 6.8 N 73 87 32 23 Uit de tabel is af te lezen dat de studieprestaties van actieve studenten van cohort 2009 ten opzichte van cohort 2008 verbeterd zijn. Studenten van cohort 2009 behalen gemiddeld meer ECTS binnen een jaar (54) dan studenten van cohort 2008 (50). Voor het gemiddeld studiecijfer zijn er geen verschillen tussen de beide cohorten. 5
3.3 Relatie intakevariabelen en studiesucces Bij deze analyse is gebruikt gemaakt van gegevens naar aanleiding van het digitale intake instrument in combinatie met gegevens uit het student volgsysteem van de Hogeschool. In deze analyse is gekeken of bepaalde onderdelen van het intake assessment gerelateerd zijn aan studietempo, studiecijfers en studie-uitval. Onderzocht is of de scores op de capaciteitentest, motivatievragenlijst, leerstijlenvragenlijst, competentievragenlijst en het cijfer vooropleiding gerelateerd zijn aan de studiesucces variabelen. Op basis van de resultaten van de student op bovenstaande onderdelen van het intake assessment werd tevens een risicoscore berekend. Hoewel de risicoscore in eerste instantie bedoeld was om te bepalen welke studenten uitgenodigd worden voor een aanvullend intakegesprek, is in deze analyse ook gekeken of de risicoscore gerelateerd is aan studietempo na 1 jaar studeren. Variabele Relatie intake assessment en studietempo, studiecijfers en studie-uitval. Operationalisatie Correlatie tussen onderdelen uit het intake assessment (capaciteitentest, motivatievragenlijst, leerstijlenvragenlijst, competentievragenlijst, achtergrondvragenlijst, studiecijfers vooropleiding, de risicoscore en 1) het aantal behaalde ECTS na 1 jaar studeren, 2) studiecijfers en 3) uitval. Norm Significante correlaties tussen onderdelen digitale intake, risicoscore en het aantal ECTS. Uitkomst De analyses betreffende studietempo en studiecijfers is uitgevoerd met behulp van correlatieanalyse en de resultaten daarvan worden in de onderstaande tabel gepresenteerd. Tabel 3 Correlaties intakevariabelen en studietempo en cijfers ECTS1 GPA1 Intellect.18 -.08 Extrinsieke motivatie -.07 -.16 Intrinsieke motivatie.02.05 Prestatiemotivatie -.06 -.09 Zelfvertrouwen -.02 -.07 Betekenisvolle leerstijl -.15.00 Reproductiegerichte leerstijl.01.04 Toepassingsgerichte leerstijl -.16 -.11 Cijfer vooropleiding.15.09 Risicoscore -.20*.03 n= 102 Er zijn geen significante correlaties gevonden voor intellect, motivatie, leerstijlen. Tevens zijn er geen significante correlaties gevonden voor de competentiebeoordelingen met uitzondering van een negatieve correlatie tussen contact leggen, mondeling communiceren en ECTS1. De risicoscore bleek significant te correleren met het aantal behaalde ECTS (-.20, p=.04). 6
Oordeel Onverwacht zijn er geen significante verbanden gevonden tussen onderdelen van het intake assessment en het aantal ECTS na 1 jaar studeren. De risicoscore was wel significant gecorreleerd met het aantal ECTS, echter de sterkte van het verband met een correlatiecoëfficiënt van.20 is beperkt. Er zijn geen significante verbanden gevonden tussen de testscores uit de digitale intake en het gemiddeld behaalde studiecijfer in jaar 1. Ook de competentiebeoordelingen en de risicoscore bleken niet samen te hangen met het gemiddeld studiecijfer. Deze uitkomst voor studiecijfers is niet geheel onverwacht aangezien studiecijfers binnen het hoger onderwijs een kleine spreiding hebben en veelal rond het cijfer 7 gecentreerd zijn. De kans dat men vervolgens significante verschillen vindt met behulp van een dergelijk criterium is zeer gering. 3.4 Relatie intakevariabelen en studie-uitval Bij deze analyse is gebruik gemaakt van gegevens naar aanleiding van het digitale intake instrument in combinatie met gegevens uit het student volgsysteem van de Hogeschool. In deze analyse is gekeken of bepaalde onderdelen van het intake assessment gerelateerd zijn aan studie-uitval. Onderzocht is of de scores op de 1) capaciteitentest, motivatievragenlijst en leerstijlenvragenlijst, 2) competentievragenlijst, 3) achtergrondvragenlijst en 4) opleidings- en beroepskeuze gerelateerd zijn aan studie-uitval. Op basis van de resultaten van de student op bovenstaande onderdelen van het intake assessment werd een risicoscore berekend. Hoewel de risicoscore in eerste instantie bedoeld was om te bepalen welke studenten uitgenodigd worden voor een aanvullend intakegesprek, is in deze analyse ook gekeken of de risicoscore gerelateerd is aan studie-uitval na 1 jaar studeren. De gegevens van 110 studenten, uit de instroom van september 2009, die het digitale assessment hebben gemaakt, zijn voor deze analyse gekoppeld aan prestatiegegevens (peildatum 10 oktober 2010). Van de 110 studenten waren er 87 na 1 jaar studie nog actief (79%) en waren 23 studenten gestopt met de opleiding binnen 1 jaar (21%). In de eerste analyses worden de scores van actieve versus uitgevallen studenten met elkaar vergeleken. In paragraaf 2.2.5.1 worden de scores van actieve studenten, studiestakers en BSA uitval vergeleken. Drie uitvallers (2 studiestakers, 1 BSA) bleken ingeschreven te staan bij een andere opleiding en zijn in feite studieswitcher. De groep is echter te klein om zinvolle analyses mee te kunnen doen. Variabele Relatie intake assessment en studie-uitval na 1 jaar. Operationalisatie Scores van actieve en uitgevallen studenten zijn met elkaar vergeleken met behulp van t-tests voor onafhankelijke steekproeven (2 zijdig) op het gebied van: a. studieprestaties b. scores op tests en vragenlijsten NOA c. achtergrondsituatie d. opleidings- en beroepskeuze en zoekstrategie Norm Er werden verschillen tussen studiestakers en actieve studenten verwacht. 7
Uitkomst 1 a. Studenten die zijn uitgevallen hebben, zoals verwacht, minder ECTS behaald en een iets lager gemiddeld studiecijfer. Uitgevallen studenten behaalden 17 ECTS ten opzichte van 54 ECTS voor actieve studenten. b. Er zijn geen verschillen in scores op de intelligentietest, motivatievragenlijst of leerstijlenvragenlijst tussen actieve en uitgevallen studenten. Wel zijn er enkele verschillen in de zelfbeoordelingen van de competenties: mondeling communiceren, analyseren, reflecteren en contact leggen. Opvallend is dat uitgevallen studenten zichzelf gemiddeld hoger beoordelen op deze competenties. Er blijken geen verschillen tussen actieve en uitgevallen studenten te zijn wat betreft de risicoscore alsmede het cijfer van de vooropleiding. c. Studenten die zijn uitgevallen lijken iets vaker een bijbaan van 12 uur of meer te hebben. Studenten met een lichamelijke beperking blijken iets vaker uit te vallen. d. Twee derde van de studenten vindt dat hij/zij een goed opleidingsbeeld heeft. Dat betekent dat één derde een minder goed beeld heeft van de opleiding waaraan zij beginnen. Verder blijkt dat maar één derde een goed beroepsbeeld heeft. Opvallend genoeg zijn er geen verschillen tussen actieve en uitgevallen studenten qua opleidings- of beroepsbeeld. Dit kan te verklaren zijn door het feit dat de opleiding Sport en Bewegen een relatieve nieuwe opleiding is. Studenten die open dagen bezoeken vallen significant minder frequent uit dan studenten die geen open dag bezocht hebben. Studenten die korter dan een maand hun studiekeuze bepaald hebben vallen iets vaker uit (ns). Oordeel Scores op het digitale intake assessment zijn weinig indicatief in het kader van de vraag of een student een verhoogd risico loopt op uitval bij de opleiding Sport en Bewegen. 3.4.1 Aanvullende analyse bij 3.4: vrijwillige studiestakers versus uitval vanwege BSA In deze analyse zijn kenmerken en prestaties van vrijwillige studiestakers en uitvallers vanwege BSA met elkaar vergeleken. Van de 110 studenten waren er 87 na 1 jaar studie nog actief (79%) en waren 23 studenten gestopt met de opleiding binnen 1 jaar (21%). Van de 23 studenten zijn er 14 vrijwillig gestopt (13%) en 9 studenten vanwege een BSA (8%). Onderzocht is of er verschillen zijn tussen actieve studenten, vrijwillig gestopte studenten en studenten die onvrijwillig vanwege een BSA gestopt zijn. Tabel 4 Verschillen in studiesucces tussen vrijwillige en BSA uitval Vrijwillige uitval BSA ECTS1 5 26 GPA1 6.9 6.7 N 14 9 a. Vrijwillige studiestakers die doorgaans vroegtijdig (voor februari) hun studie staakten hebben, als logisch gevolg van het moment van staken, minder ECTS behaald dan studenten die later in de opleiding vanwege een BSA hun studie zijn gestaakt (5 versus 26 ECTS). Vrijwillige studiestakers behaalden gemiddeld iets hogere cijfers van stakers vanwege BSA (6.9 versus 6.7). b. Tussen studiestakers en BSA uitvallers zijn geen significante verschillen gevonden in testscores op de NOA digitale intake, de risicoscore of het cijfer voor de vooropleiding. Hoewel niet significant valt op dat BSA uitvallers over iets mindere intellectuele capaciteiten beschikken maar meer zelfvertrouwen hebben en gemotiveerder zijn. 1 uitgebreide tabel met alle resultaten is op te vragen bij de auteurs 8
c. Er zijn verschillen in de achtergrondsituatie van studiestakers en stakers vanwege BSA geconstateerd. d. Er zijn weinig verschillen tussen studiestakers en studenten die vanwege een BSA uitvallen wat betreft opleidingsbeeld en zoekstrategie. Enige opvallende resultaten zijn, dat: 1) vrijwillige studiestakers een beperkter beeld van de opleiding hadden voordat zij de opleiding startten. 2) vrijwillige studiestakers meer twijfelden over hun studiekeuze ten opzichte van studenten die uitgevallen zijn vanwege een BSA. 3.5 Aanvullende analyse: man-vrouw verschillen Aanvullend is onderzocht of er verschillen zijn tussen mannen en vrouwen qua studiesucces en kenmerken die in de intake onderzocht werden. Het cohort 2009 van de opleiding Sport en Bewegen bestond uit 110 studenten, waarvan 72 mannen (65%) en 38 vrouwen (35%). In het eerste studiejaar is een vergelijkbaar percentage mannen en vrouwen uitgevallen (22% versus 18%). Opvallend is echter dat vrouwen ten opzichte van mannen vroege studiestakers zijn (16% versus 11%) en dat vrouwen nagenoeg niet vanwege een BSA uitvallen (2%) en mannen daarentegen wel (11%). Aantal Percentage Man 72 Actief na 1 jaar 56 78% Studiestaker (vroeg) 8 11% BSA (laat) 8 11% Vrouw 38 Actief 31 82% Studiestaker (vroeg) 6 16% BSA (laat) 1 2% Verder blijken er kleine verschillen te zijn in studieprestaties in jaar 1 tussen mannen en vrouwen. Vrouwen behalen iets meer ECTS (49) dan mannen (47) en halen gemiddeld iets hogere studiecijfers (7.2) dan mannen (6.9). 9