Resultaat- en procesevaluatie SKG3 Studiekeuzegesprekken

Transcriptie

1 Resultaat- en procesevaluatie SKG3 Studiekeuzegesprekken ten behoeve van cross case analyse Pilot intake assessment binnen Domein Techniek, Ontwerpen en Informatica van Hogeschool Inholland Auteur/Projectleider: Mirjam Winkelmolen Instelling: Hogeschool Inholland, Domein Techniek, Informatica en Ontwerpen Locatie: Rotterdamseweg 141, Delft Telefoonnummer: Versie: 1.1 Delft, 31 maart 211

2 Resultaat- en procesevaluatie. Algemene beschrijving De opzet van het pilotproject Intake assessment van het Domein Techniek, Ontwerpen en Informatica (TOI) van Hogeschool Inholland is een combinatie van: een digitaal assessment (een webbased intaketest over capaciteiten, competenties, motivatie en achtergrondkenmerken) en daaropvolgend studiekeuzegesprekken (hierna startgesprekken of intakegesprekken genoemd). De gesprekken worden gevoerd met risicostudenten en niet-risicostudenten. Deze pilot wordt uitgevoerd om te kunnen beoordelen of dit geheel positief kan bijdragen aan het verhogen van het studierendement. Risico op uitval ligt binnen de verschillende techniekopleidingen onder andere in: onvoldoende beeld van opleiding en beroep, een te lichtvaardige studiekeuze, deficiënties op het gebied van taal en rekenen -ondanks de formele toelaatbaarheid- ondervinden. Het Domein TOI hoopt vooral de studie-uitval in het eerste jaar en studievertraging die wordt opgelopen in het eerste jaar d.m.v. het intake assessment aan te pakken. De pilot wordt vooral ingezet om ervaring op te doen met het organiseren van intake assessments binnen een aantal techniekopleidingen (aangezien het Domein TOI voor het eerst meedoet met de inzet van de intakemethode), en met name om ervaring op te doen met het voeren van intakegesprekken door studieloopbaanbegeleiders. De pilot is uitgevoerd bij een aantal specifieke studentengroepen waar vooral risico op uitval is geconstateerd in de voorgaande studiejaren en die ruimte hebben om te experimenteren met een nieuwe aanpak om studieuitval terug te dringen. Dit zijn: de mbo-instroom van de opleidingen Luchtvaarttechnologie en scheepsbouwkunde, de duale instromers Scheepsbouwkunde 1, de Nederlandstalige instroom in de Engelstalige Luchtvaarttechnologie-opleiding, de deeltijdinstroom bij Werktuigbouwkunde, Elektrotechniek en Technische Bedrijfskunde en de voltijdinstroom van de opleiding Business Engineering. 1. Resultaatevaluatie De resultaatevaluatie bestaat uit: een kwantitatieve en een kwalitatieve meting. De kwantitatieve meting betreft een onderzoek naar het effect van de interventie, het intake assessment. Dit effect is gemeten aan de hand van uitkomsten op twee indicatoren voor studierendement: gemiddeld aantal studiepunten en het uitvalpercentage. Daarbij zijn nog aantal andere kwantitatieve analyses gemaakt om enkele gerelateerde vraagstellingen te kunnen beantwoorden. De kwalitatieve meting is een meting naar het oordeel van de deelnemer (de student) én de gespreksvoerder (de intaker). In de meting naar het oordeel van de intaker is de intaker ook bevraagd over het proces van het organiseren van de intake test en het startgesprek, ten behoeve van de procesevaluatie van deze eindrapportage. Voor de procesevaluatie zijn ook de intakecoördinatoren en de testleiders bevraagd naar hun mening over, de uitvoering van, het intake assessment. De kwalitatieve meting is uitgevoerd via een digitale vragenlijst bij studenten en via een vragenlijst in combinatie met een evaluatief gesprek c.q. interview bij intakers, testleiders en intakecoördinatoren. Naast de specifieke eisen van de resultaat- en procesevaluatie ten behoeve van SURF, is door de instelling in het projectvoorstel ook beschreven welke beoogde effecten worden nagestreefd. Deze staan beschreven punten c t/m h. Het behalen van deze doelstellingen wordt dus ook beoordeelt met gebruikmaking van de resultaten van de resultaat- en procesevaluatie van deze eindrapportage. 1 Omdat er geen studenten van de duale instromers Scheepsbouwkunde de intake test voor de poort heeft gemaakt (en dus ook geen gesprek voor de poort hebben gevoerd), wordt deze opleidingsgroep buiten de evaluatie gehouden. 2

3 Meting (a. en b: niet aan bod in resultaat- of procesevaluatie) Kwalitatief Kwalitatief Kwalitatief Kwalitatief (resultaat én Procesevaluatie) Kwalitatief (resultaat én Procesevaluatie) Kwalitatief (resultaat én Procesevaluatie) Kwantitatief Resultaat doelstellingen van Domein TOI in het projectvoorstel a. alle deelnemers van de digitale intake test hebben een individueel of groepsgesprek gehad over de resultaten van de intake test, waarbij minimaal 5% van die specifieke instroom (van de genoemde studentengroepen) een individueel gesprek in voorjaar/zomer 21 krijgen. b. er is ervaring opgedaan met de inbedding van het intake assessment in het onderwijsprogramma en dit is geëvalueerd. c. de meerderheid van de studenten ervaart de test(-afname) en het individueel gesprek (of anderszins bespreking van de rapportage) positief (op indicatoren als: nut en noodzaak, veiligheid, informatief, helderheid). Streefgetal bij onderdeel nut van het intake assessment is: 6% (gebaseerd op evaluatiegegevens (septemberinstroom 29) van het project intake assessment INHolland waarin staat: 6% van de studenten vindt de intake een (zeer) nuttig initiatief. 27% is hierover neutraal en 13% vindt het (zeer) onnodig. (respons 27%: 378 van 14)). d. 25% van de studenten geeft aan zich zekerder te voelen over de studiekeuze op basis van het intake assessment (test+gesprek) (streefgetal gebaseerd op evaluatiegegevens (septemberinstroom 29)) waarin staat dat 18% zich zekerder voelden). e. 25% van de studenten geeft aan een beter beeld te hebben van de opleiding en het beroep op basis van het intake assessment (test+gesprek) (geen streefgetal beschikbaar uit evaluatie septemberinstroom 29)). f. de meerderheid van de intakers ervaart het gesprek (in relatie tot de testuitslag) en de intakeprocedure (uitvoering van de intake assessment) positief (op indicatoren als: nut en noodzaak, helderheid, ondersteuning; inbedding in organisatie en onderwijsprogramma). g. de meerderheid van de slb-ers ervaart dat de input vanuit het intake assessment (test en gesprek) zorgt voor toegevoegde waarde (op indicatoren als: inzicht in de student, beeld van de student over opleiding en beroep). h. de intakecoördinatoren (coördinatie gehele intake assessment op locatie/per cluster) ervaren het intake assessment op de meeste punten (test, gesprek, vervolgtraject; o.b.v. intakeprocedure) als positief (op indicatoren als: nut en noodzaak, helderheid, inbedding in organisatie en onderwijsprogramma); i. de testleiders (voorbereiding en uitvoering digitale test) ervaren (de organisatie van) de digitale testafname op de meeste punten positief (op indicatoren als: ondersteuning, helderheid, inbedding in organisatie, technisch-functioneel); j. het uitvalpercentage in het eerste jaar is binnen de genoemde studentengroepen in studiejaar % lager in absolute zin in vergelijking met studiejaar 29-21; we geven hiervan een trend aangezien per 1 maart 211 nog niet alle uitval bekend is (dus voor SURF: tot 1 maart 211 en voor eigen organisatie tot einde studiejaar ). Uit het reeds genoemde INHolland-onderzoek (zie hoofdstuk 2) ligt de daling bij 3 opleidingen tussen de 4 en 8,5 procent in absolute zin (niet vergeleken met voorgaand studiejaar; maar vergeleken met gelijke opleiding op andere locatie). NB daarmee is de oorzaak-gevolg relatie, tussen interventie door intakes en de uitval, niet aangetoond. 1.1 Kwantitatieve evaluatie: effectmeting Om inzicht te krijgen in hoeverre het voeren van startgesprekken effect heeft op studiesucces, is gekeken naar het effect op deze twee indicatoren: het gemiddeld aantal behaalde studiepunten het percentage uitvallers Daartoe zijn de waarden op deze indicatoren bij de deelnemende opleidingen in dit project vergeleken met de waarden op de indicatoren van een controlegroep. Er zijn twee controlegroepen gebruikt: Controlegroep 1: een vergelijkbare studentengroep in studiejaar (cohort 29) Controlegroep 2: studenten uit studiejaar 21 die geen startgesprek hebben gehadt (cohort 21). 2 Controlegroep: er is nauwelijks beschikking over bruikbare controlegroepen in het huídig studiejaar (studenten in zelfde instroomcategorie die de test en het gesprek niet hebben gemaakt/gehad). Vandaar dat de controlegroep studenten in vergelijkbare onderwijsgroepen uit studiejaar betreft. Bijvoorbeeld: bij Scheepsbouwkunde is de controlegroep de mbo-instroom Scheepsbouwkunde 29-21; en bij Elektrotechniek is dat de instromende deeltijdstudenten Elektrotechniek Met studenten in de controlegroepen (vorig studiejaar) is geen intakegesprek gevoerd volgens de methode in dit project. 3

4 De onderzoeksgroep is in alle gevallen de studenten die in studiejaar een intakegesprek hebben gehad. Het betreft kleine aantallen, dus harde conclusies kunnen niet getrokken worden. Voor SURF (voor de cross case analyse door het Kohnstamm Instituut) is de effectmeting voor de opleiding Business Engineering voltijd apart belicht. Variabele Operationalisatie Benchmark Uitkomst Oordeel Effect van studiekeuzegesprekken op studiesucces 1. Gemiddeld aantal behaalde studiepunten (EC) Onderzoeksgroep: 1,1 +/- Norm oordeel goed : gemiddeld aantal behaalde EC in onderwijsperiode 1 van de pilotgroep (onderzoeksgroep) is gelijk of hoger dan die van controlegroepen (controlegroep 1: vergelijkbare controlegroep in hetzelfde jaar; controlegroep 2: zelfde opleiding in eerder jaar waarin geen studiekeuze gesprekken zijn gevoerd). Dit is niet gelijk of hoger aan controlegroep 1, maar wel hoger dan controlegroep Percentage uitvallers Norm oordeel goed : % uitval ligt bij de onderzoeksgroep lager, met een verschil van minimaal 5% 3, dan het % uitval in de controlegroep (controlegroep 1). Onderzoeksgroep: 19% Dit ligt lager, maar niet minimaal 5%, dan de uitval in de controlegroep. + / - Toelichting oordeel +/- op indicator 2: hoewel de doelstelling om bij een uitvalpercentage van minimaal 5% lager uit te komen in vergelijking met voorgaand studiejaar niet behaald is, is het toch zo dat de uitval 1% lager uitkomt, wat positief is. Of de lagere uitval te danken is aan intakes blijft onduidelijk omdat er niet gecontroleerd is voor andere invloedsfactoren en het gaat om kleine aantallen. Bovendien gaat het om een tussentijdse meting. Uitkomsten effectmeting indicator 1 Onderzoeksgroep: Gemiddeld aantal EC van studenten cohort 21 mét gesprek Controlegroep 1: Gemiddeld aantal EC van studenten cohort 29 zonder gesprek Aeronautical Engineering_NL natio 1,2 9,2 Business Engineering Voltijd 1,7 11,6 Elektrotechniek Deeltijd 15, 11,5 Luchtvaarttechnologie Voltijd_MBO 7,6 4,5 Scheepsbouwkunde Voltijd_MBO 5,6 12,5 Technische Bedrijfskunde Deeltijd 11,7 8,8 Werktuigbouwkunde Deeltijd 14,2 15, Totaal 1,1 1,4 3 niet bedoeld: procentueel 5% lager, maar in absolute zin minimaal 5% lager. NB Het betreft hier overigens een trend aangezien per 1 maart nog niet alle uitval van het huidige studiejaar bekend is. 4

5 De totale onderzoekgroep scoort gemiddeld iets lager (,3 EC) dan controlegroep 1: 1,1 resp. 1,4 studiepunten gemiddeld. Echter, de opleidingsgroepen Aeronautical Engineering Nederlandstalig (+1,), Elektrotechniek deeltijd (+3,5), Luchtvaarttechnologie voltijd_mbo (+3,1) en Technische Bedrijfskunde deeltijd (+3,1) van cohort 21 (studenten mét gesprek) scoren gemiddeld wel hoger dan de vergelijkbare controlegroepen uit cohort 29 (zie groene markering). Bij de opleiding Business Engineering voltijd zou de verklaring voor een lager gemiddeld kunnen zijn dat er mogelijk studenten gestart zijn naar aanleiding van de intakes 4 die in een ander geval misschien niet gestart zouden en die uiteindelijk wel hun studie staken (de slb-coördinator vermoedt dat studenten die gestopt zijn in het intakegesprek hun capaciteiten (vooropleiding MBO) maskeerden met het tonen van motivatie, maar er toch uiteindelijk op stuk zijn gelopen. Het (beter) monitoren van zwakke studenten na de start van de studie zou hier wellicht een positieve bijdrage aan kunnen leveren. Onderzoeksgroep: Gemiddeld aantal EC van studenten cohort 21 mét gesprek Controlegroep 2: Gemiddeld aantal EC van studenten cohort 21 zonder gesprek Aeronautical Engineering_NL natio 1,2 4,5 Business Engineering Voltijd 1,7 8,5 Elektrotechniek Deeltijd 15, 15, Luchtvaarttechnologie Voltijd_MBO 7,6 6,1 Scheepsbouwkunde Voltijd_MBO 5,6 3,8 Technische Bedrijfskunde Deeltijd 11,7 1, Werktuigbouwkunde Deeltijd 14,2 13,9 Totaal 1,1 8, De onderzoeksgroep scoort gemiddeld hoger dan controlegroep 1 (studenten uit de specifieke opleidingsgroepen zónder gesprek), namelijk gemiddeld 1,1 en 8, studiepunten. Dat is bijna 2 studiepunten hoger. Behalve Elektrotechniek deeltijd scoren alle opleidingsgroepen hoger dan hun controlegroep van cohort 21. Kanttekening: hieraan kunnen geen conclusies verbonden worden in termen van effectiviteit van het instrument aangezien het kleine aantallen betreft en het peilmoment ervoor zorgt dat cohort 29 in verhouding meer studiepunten heeft kunnen behalen (vanwege meer studietijd tot nu toe) en er ook in verhouding meer studiepunten geregistreerd kunnen zijn. Van cohort 21 kan het voorkomen dat nog niet alle cijfers van de herkansingen zijn ingevoerd (wanneer studenten bijvoorbeeld nog een werkstuk moeten inleveren). De situatie is naar schatting pas per 1 augustus van het huidige studiejaar echt goed in beeld. 4 Binnen cohort 21 zijn in totaal 1 van de 28 studenten gestopt per 1 februari. Daarvan zijn 7 studenten die hebben deelgenomen aan de intakes, waarvan 4 studenten een startgesprek voor de poort hebben gehad. Gestopte studenten kunnen de gemiddelde scores omlaag halen. 5

6 Uitkomsten effectmeting indicator 2 Onderzoeksgroep cohort 21 Controlegroep cohort 29 uitval tot 1/3 instroom uitval% uitval tot 1/3 instroom uitval % Aeronautical Engineering voltijd % % Business Engineering voltijd % % Luchtvaarttechnologie voltijd % % Scheepsbouwkunde voltijd % % Technische Bedrijfskunde deeltijd 14 % % Werktuigbouwkunde deeltijd 4 2 1% % Elektrotechniek deeltijd 1 % 13 % totaal uitval % % NB Onderzoeksgroep cohort 21: de vroege uitval (tot 1 februari) is: 49 studenten; relatieve uitval 19%. Controlegroep cohort 29: de vroege uitval (tot 1 februari) is 33 studenten. Dan is de relatieve uitval 14%. Het uitvalpercentages (uitvalcijfers van jaar 1 tot 1 maart van het desbetreffende studiejaar) van de onderzoeksgroep is 1% lager dan dat percentage in controlegroep 1. Dit verschil is echter zo klein dat het verschil niet significant is. Andersom, bij de opleiding Business Engineering voltijd is het zo dat de uitval in het huidige studiejaar veel hoger is dan die in voorgaand studiejaar, namelijk: 36% tegenover 17%. Een verklaring hiervoor is niet te geven. Aanvullende metingen Onderscheid gesprek, intaketest, geen gesprek of test: Cohort 21 gemiddeld aantal EC Gesprek voor de poort 1,1 Alleen intaketest, geen gesprek* 6,7 Geen test of gesprek 8,7 (=non-responders) * deze groep komt alleen voor bij de opleidingsgroepen Aeronautical Engineering Nederlandstalig, Business Engineering voltijd, Luchtvaarttechnologie voltijd_mbo en Scheepsbouwkunde voltijd_mbo. Studenten mét een gesprek voor de poort scoren gemiddeld hoger dan studenten die alléén een intaketest hebben gemaakt, respectievelijk gemiddeld 1,1 EC tegenover gemiddeld 6,7 EC. Die laatste groep betreft alleen studenten uit de opleidingsgroepen Aeronautical Engineering Nederlandstalig, Business Engineering voltijd, Luchtvaarttechnologie voltijd_mbo en Scheepsbouwkunde voltijd_mbo. Wanneer je daarom de groep mét gesprek beperkt tot deze opleidingsgroepen, dan is het gemiddeld aantal studiepunten van die groep 8,6. Dus ook op basis van die vier opleidingsgroepen kan worden gesteld dat de studenten mét gesprek gemiddeld hoger scoren. Opvallend is dat studenten die alléén een intaketest hebben gemaakt (maar geen gesprek voor de poort hebben gehad) lager scoren dan studenten die zonder enige deelname aan intakes zijn gestart. Een verklaring zou kúnnen zijn dat de non-responders zelf inschatten dat het voor hen niet noodzakelijk is om een test en gesprek voor de start van de studie aan te gaan gezien hun capaciteiten, competenties en motivatie en ervan uitgaan toch redelijk goed te gaan scoren of voldoende zicht hebben op hun inhoudelijke studiekeuze. In de volgende tabel kan je zien hoe dit beeld is per afzonderlijke opleidingsgroep: 6

7 Cohort 21 gemiddeld aantal EC Aeronautical Engineering_NL nationaliteit 5,2 Gesprek voor de poort 1,2 Alleen intaketest, geen gesprek 4,4 Geen test of gesprek (=non-responders) 4,5 Business Engineering Voltijd 9,4 Gesprek voor de poort 1,7 Alleen intaketest, geen gesprek 9,3 Geen test of gesprek (=non-responders) 7,4 Elektrotechniek Deeltijd 15, Gesprek voor de poort 15, Geen test of gesprek (=non-responders) 15, Luchtvaarttechnologie Voltijd_MBO 7,2 Gesprek voor de poort 7,6 Alleen intaketest, geen gesprek 5, Geen test of gesprek (=non-responders) 7, Scheepsbouwkunde Voltijd_MBO 4,4 Gesprek voor de poort 5,6 Alleen intaketest, geen gesprek 5,2 Geen test of gesprek (=non-responders) 2,9 Technische Bedrijfskunde Deeltijd 11,5 Gesprek voor de poort 11,7 Geen test of gesprek (=non-responders) 1, Werktuigbouwkunde Deeltijd 14, Gesprek voor de poort 14,2 Geen test of gesprek (=non-responders) 13,9 In de opleidingsgroepen Aeronautical Engineering-nederlandstaligen en Luchtvaarttechnologie mbo-instroom scoren de studenten de non-responders hoger dan studenten met alleen een test. Bij Business Engineering voltijd en Scheepsbouwkunde voltijd_mbo scoren de studenten met alleen een test wel hoger dan de nonresponders. Ondanks dat het gaat om kleine aantallen en harde conclusies zeker niet te trekken zijn, lijkt het erop dat de mogelijkheid bestaat dat alleen een test afnemen geen positief effect heeft en dat het startgesprek toegevoegde waarde oplevert. Stoppers en niet-starters (van intake groep): Kijken we naar de onderzoeksgroep en daarbinnen de studenten die aan intakes hebben deelgenomen dan zien we het volgende: van de 96 deelnemers die een intaketest hebben gemaakt zijn 15 deelnemers gestopt. Voor de verschillende opleidingen geldt: Specifieke opleidingsgroepen Gestopt waarvan: Gesprek voor de poort Scheepsbouwkunde mbo-instroom 2 1 Luchtvaarttechnologie mbo-instroom 4 4 Aeronautical Engineering Nederlandstalig 1 Werktuigbouwkunde deeltijd 1 1 Elektrotechniek deeltijd Technische bedrijfskunde deeltijd Business engineering voltijd 7 4 totaal 15 1 Daarvan hebben 1 studenten een intakegesprek voor de poort gehad. 7

8 En, van de 96 deelnemers die een intaketest hebben gemaakt zijn in totaal 9 deelnemers niet gestart (niet ingeschreven per 1 oktober). Voor de verschillende opleidingen geldt: Specifieke opleidingsgroepen Niet gestart waarvan: Gesprek voor de poort Scheepsbouwkunde mbo-instroom Luchtvaarttechnologie mbo-instroom 1 1 Aeronautical Engineering Nederlandstalig 3 1 Werktuigbouwkunde deeltijd 1 Elektrotechniek deeltijd 1 1 Technische bedrijfskunde deeltijd 3 2 Business engineering voltijd totaal 9 5 Daarvan hebben 5 studenten een intakegesprek voor de poort gehad. Relatie risicoscore en studiepunten: Wanneer we gegevens studenten met een risicoscore (6 of hoger) en studenten (lager dan 6) relateren aan het gemiddeld aantal behaalde studiepunten dan zien we voor de gehele controlegroep studenten met een risicoscore gemiddeld 9, EC scoren en studenten onder de risicoscore gemiddeld iets lager: 8,9 EC gemiddeld. Dat is dus op basis van deze aantallen een zeer minimaal verschil, waarbij kan worden aangetekend dat de studenten waarvan je zou verwachten dat ze het gemiddeld beter doen (de niet-risicogroep) toch lager scoren dan de risicogroep. Binnen de opleidingsgroepen Luchtvaarttechnologie mbo-instroom en Scheepsbouwkunde voltijd_mbo zien we wel dat de niet-risico studenten hoger scoren gemiddeld. Een mogelijke verklaring (ondanks dat de resultaten niet betrouwbaar zijn vanwege de lage aantallen) zou kunnen zijn dat studenten met een risicoscore beter gestart zijn doordat zij meer zelfinzicht hebben gekregen en een groot deel van hen een gesprek voor de poort heeft gehad en daardoor wellicht meer gemotiveerd om op hun deficiënties te letten en hun studie beter te plannen (o.a.) en om goede resultaten te halen. Het kan ook betekenen dat de risicoscore een minder goede voorspeller is voor studiesucces dan gedacht c.q. verwacht. Dat vergt nader onderzoek. Risicoscore 6 (= risico ) Risicoscore < 6 (= niet-risico ) gemiddeld aantal EC gemiddeld aantal EC Aeronautical Engineering _NL natio 9, 7,1 Business Engineering Voltijd 1,1 1,1 Elektrotechniek Deeltijd 15, 15, Luchtvaarttechnologie Voltijd_MBO 6,7 7,7 Scheepsbouwkunde Voltijd_MBO 1,3 7,1 Technische Bedrijfskunde Deeltijd 12,5 1,8 Werktuigbouwkunde Deeltijd 14,3 14, totaal 9, 8,9 8

9 1.2 Kwalitatieve evaluatie: oordeel studenten en intakers Aanpak evaluatie oordeel studenten Aan het einde van de eerste onderwijsperiode en bij aanvang van de tweede onderwijsperiode zijn studenten bevraagd via een online evaluatie 5. De vragenlijst (zie bijlage 1) is alleen gestuurd naar studenten die een digitale intake test hebben gemaakt (én per 1 oktober stonden ingeschreven) en dus een individueel gesprek of (bij ideale omstandigheden) een groepsgesprek hebben gehad. De vragenlijst is gestuurd aan 138 studenten en ingevuld door 29 studenten. Dat is een respons van 21%. De respons per onderzoeksgroep staat in de tabel 1. De lage respons bij sommige opleidingen heeft onder andere te maken met het feit dat er ook andere onderwijsevaluaties in die tijd zijn gehouden: evaluatie onderwijsperiode 1, het aansluitonderzoek en bij Luchtvaarttechnologie en Scheepsbouwkunde en de evaluatie van pilot weblectures. Studenten en docenten (namens hen) gaven aan dat ze overvraagd zijn. De uitslagen zijn niet representatief voor alle deelnemers en voor de werkelijke studentenpopulatie, maar de resultaten kunnen wel een indicatie geven over de ervaringen en meningen van studenten over de digitale test en het intake gesprek. Bedenk bovendien dat de mogelijkheid bestaat dat vooral studenten die positief staan tegen over de intakes ook eerder geneigd zijn om mee te werken aan de evaluatie i.t.t. studenten die minder positief zijn. Onderzoeksgroep o Luchtvaarttechnologie voltijd, mbo-instroom o Aeronautical Engineering, NL-talige instroom o Scheepsbouwkunde voltijd, mbo-instroom o Scheepsbouwkunde duaal o Business Engineering voltijd o Elektrotechniek deeltijd o Technische Bedrijfskunde deeltijd o Werktuigbouwkunde deeltijd respons (absoluut en relatief) 1 (5.9%) 2 (6.5%) 1 (6.7%) 9 (32.1%) 2 (18.2%) 1 (76.9%) 4 (17.4%) uitgenodigd voor online evaluatie niet uitgezet indiv. startgesprek gevoerd voor 1 sept ja nee nee ja (3x), nee (6x) ja ja nee (2x) 29 (21%) Tabel 1 Evaluatie studenten uitgenodigd en respons i.c.m. startgesprek gevoerd bruikbare respons*: ja: 16x nee: 12x na intaker-info**: ja: 2x nee: 8x Voetnoten bij tabel * 1 vrouw (Business Engineering) en 28 mannen; 1 student Werktuigbouwkunde geeft aan geen test te hebben gemaakt. De resultaten zijn gebaseerd op respons van 28 studenten. ** Waarvan overigens van 12 x nee : 2 studenten Werktuigbouwkunde, 1 student Business Engineering en 1 student Scheepsbouwkunde_mbo zeggen géén gesprek te hebben gehad i.t.t. registratie door de intaker. Eén student Luchtvaarttechnologie zegt wél een gesprek te hebben gehad i.t.t. registratie door intaker Conclusie ervaringen studenten Zijn de beoogde effecten uit het projectvoorstel die betrekking hebben op de studentkant nu bereikt? In het projectvoorstel zijn de beoogde effecten in punt a, b en c geformuleerd. Via een vragenlijst zijn studenten bevraagd (zie bijlage 1). De resultaten van de volledige evaluatie is te lezen in bijlage 3 (resultaten oordeel studenten). Aan de hand van de uitkomsten uit de studentevaluatie (n=28) is de voorzichtige conclusie te trekken dat de deze doelstellingen door middel van het intake assessment (test en startgesprek) zijn behaald. Voorzichtig, omdat de respons op de evaluatie bij studenten niet voldoende groot is om betrouwbare conclusies te trekken. Hieronder is dat per doelstelling uitgewerkt. De evaluatieresultaten geven wel een indicatie over de drie doelstellingen. 5 Binnen het Domein Techniek, Ontwerpen en Informatica is dit de eerste keer geweest dat studenten zijn uitgenodigd voor het invullen van een online evaluatie op afstand. 9

10 Doelstelling A: meerderheid studenten ervaart de test(-afname) en het individuele gesprek positief 6 Nut test(afname): ongeveer 3% van de studenten vindt de testafname leuk en 6% is hierover neutraal. Ook een derde van de studenten zag (vooraf) veel nut in het maken van de test, en ongeveer 6% is hierover neutraal. (n=28). 3.3 Zag je er van tevoren het nut van in om de digitale intake test te maken? zeer veel veel neutraal weinig helemaal niet Tabel 3, n = Nut gesprek: 5% van de studenten het startgesprek nuttig of zeer nuttig. En ongeveer een derde van de respondenten die er na afloop van de test geen, weinig of een beetje behoefte aan hadden, zegt achteraf het gesprek toch als (zeer) nuttig hebben ervaren. 5.4 In hoeverre vond je het nuttig om een startgesprek te hebben met de intaker over de uitkomsten van de intake test? zeer nuttig nuttig neutraal nutteloos volkomen nutteloos Tabel 21, n = Nut initiatief intake assessment: de meeste studenten (ca. 78% van de respondenten) geeft aan dat zij het initiatief van de opleidingen om een digitale intake test en een startgesprek vroegtijdig te organiseren nuttig tot zeer nuttig vinden. Streefgetal bij indicator nut van het intake assessment was 6%. 6.2 Wat vind je van het initiatief vande opleiding om vroegtijdigeen intake test enstartgesprek aan te bieden? zeer nuttig nuttig neutraal onnodig zeer onnodig Tabel 29, n = Wanneer je de neutrale groep meerekent, zou je kunnen stellen dat de doelstelling is behaald. De meerderheid van de studenten beschouwt de test niet als negatief en dus als positief. En aangezien de helft het gesprek als nuttig heeft ervaren en de meeste respondenten (bijna 8%) zegt positief te zijn over het initiatief van de opleidingen om een digitale intake test en een startgesprek vroegtijdig te organiseren (en maar 2 van de 28 studenten dit onnodig vindt), geeft dit een positief beeld over zowel test als gesprek. Gerelateerde resultaten: Informatief en helder rapport en resultaten: de meerderheid vindt het rapport voldoende duidelijk of is daarover neutraal en men is veelal tevreden over de hoeveelheid informatie in het rapport. Verder herkent 6 Op indicatoren als nut, noodzaak, veiligheid, informatief en helderheid. 1

11 de helft van de studenten zich voldoende in de beschrijving over hun capaciteiten en competenties en 4% herkent zich voldoende in de beschrijving over motivatie en leerstijl. Noodzaak gesprek: de meerderheid (54%) van de respondenten heeft veel of een beetje behoefte aan een startgesprek. Veiligheid gesprek: bijna 9% van de studenten heeft er geen moeite mee om resultaten uit de test met iemand van de opleiding te bespreken. Doelstelling B: 25% van de studenten geeft aan zich zekerder te voelen over de studiekeuze 7 In de evaluatie is de mate van zekerheid over de studiekeuze van de studenten gepeild naar aanleiding van de test(resultaten) en naar aanleiding van het startgesprek. Na de test(resultaten): 21% van hen geeft aan dat ze zich iets of veel meer zekerder voelden. De meerderheid geeft aan dat het geen invloed heeft. (n=28) Na het gesprek: 28% geeft dat ze zich iets zekerder of veel zekerder voelen over hun studiekeuze naar aanleiding van het startgesprek. De meerderheid geeft aan dat het geen invloed heeft. (n=18). Deze twee peilingen samengenomen, zou je voorzichtig kunnen concluderen dat op basis van deze gegevens studenten zich iets zekerder zijn gaan voelen over hun studiekeuze door het intake assessment, hoewel de grote groep die duidelijk aangeeft dat het geen invloed heeft ook niet te verwaarlozen is. Een erg kleine groep is zich iets onzekerder door zijn gaan voelen. Mogelijk is dat het gevolg van het afschrikeffect van de uitslag en het gesprek. Daarnaast, in vergelijking met de cijfers van het hogeschoolbrede onderzoek bij de septemberinstroom (18% is zich zekerder gaan voelen) van 29 liggen de cijfers in de pilot bij het domein TOI hoger. Doelstelling C: 25% van de studenten geeft aan een beter beeld te hebben van opleiding en beroep 88 Deze doelstelling is gepeild naar aanleiding van het gevoerde gesprek (en niet op basis van alléén de testresultaten). Beeld opleiding en beroep: 38% geeft dat ze een beter beeld hebben gekregen van de opleiding. Ditzelfde geldt voor hun beeld over het beroep. De meerderheid geeft aan dat het startgesprek hierop geen invloed heeft. Het heeft in geen geval geleidt tot een minder goed beeld van opleiding en beroep. Op basis van deze gegevens kan gesteld worden dat de doelstelling bereikt is Aanpak evaluatie oordeel intakers Aan de intakers in dit pilotproject is een vragenlijst gestuurd waarin gevraagd wordt naar de mening van intakers over de startgesprekken, over de invloed ervan op studenten, over de uitvoering van de intakeprocedure en de ondersteuning vanuit de organisatie. Zie vragenlijst in bijlage 2. De vragenlijst is ingevuld door 7 intakers. Met de meeste intakers zijn de antwoorden op de vragenlijst in een gesprek ingevuld. Bij veel vragen werd er gevraagd een cijfer van 1 tot 1 te geven. Bij stellingen over hoe de student het beleeft heeft is een 5-punts schaal gebruikt. De intaker die bij de opleiding Luchtvaarttechnologie één startgesprek heeft gevoerd is niet bevraagd. Een aantal intakers hebben een dubbelrol binnen de pilot (intakecoördinator of testleider) en met hen is tegelijkertijd de uitvoering van de intakes geëvalueerd (=procesevaluatie). Die resultaten zijn in deel 2 Procesevaluatie beschreven, inclusief de procesevaluatie bij intakers. 7 Door het intake assessment (intake test en startgesprek). 11

12 1.2.4 Resultaten van oordeel van intakers Vooraf: Alle intakers geven aan dat de startgesprekken in (mei), juni, juli en in augustus vlak voor de start van studiejaar hebben plaatsgevonden (uitkomst vraag 8). Oordeel over Startgesprek Startgesprekken: nut en noodzaak Nut startgesprekken met risicostudenten 9 gem. cijfer 8,4 (n=4) (scores: 2x een 8, 9, 7, 1) Noodzaak startgesprekken met risicostudenten : gem. cijfer 6,8 (n=5) (scores: 7, 2x een 8, 5, 6) Nut startgesprekken met niet-risico studenten : gem. cijfer 7 (n=5) (scores 2x een 8, 6, 1, 3) Noodzaak startgesprekken met niet-risico studenten : gem. cijfer: 3,6 (n=5) (scores: 3, 4, 2x een 5, 1) Twee intakers geven scores voor startgesprekken met zowel risico- en niet-risicostudenten (vinden het lastig onderscheid te maken), namelijk: voor nut een gemiddeld cijfer 7,5 en voor noodzaak een gemiddeld cijfer 7. Toelichting van intakers bij startgesprekken met risicostudenten: Studenten ervaren het ook zo (red: dat het nuttig en noodzakelijk is). Maar noodzakelijk is het minder: zonder het gesprek zouden ze níet gedoemd zijn te mislukken, ook al omdat studieloopbaanbegeleiding een vangnet kan zijn. Een lagere score op noodzakelijk bij één opleiding heeft te maken met de selectieve doelgroep (mbo-instroom): zij hebben toch al een goed beeld hebben van de opleiding en beschikken over zelfkennis. Maar zeker als nuttig ervaren, vooral vanwege de meerwaarde die het gesprek ook biedt (o.a. binding ). Toelichting van intakers bij startgesprekken met niet-risicostudenten: Het is een soort van werkverschaffing als je gesprekken met niet-risicostudenten voert. Toelichting algemeen: Het is nuttig omdat de test en het startgesprek de start van het studiejaar voor de docent en intaker heel veel makkelijker. Dit omdat er een betere binding is met de studenten en ze sneller naar je toekomen in de eerste periode. Bovendien hebben zij een beter beeld van de opleiding. Ze hebben de opleidingslocatie al een keer gezien. En wat opvalt is dat sommige studenten tijdens de testafname al hun verhaal willen vertellen. Daarnaast is het moment van de digitale testafname een goed moment om kennis te maken op informele wijze (student-docent en studenten onderling). Noodzakelijk is het alleen voor risicostudenten. De niet-risicostudenten komen er ook wel zonder test of gesprek. En ook over noodzakelijkheid: binnen onze opleiding beginnen deeltijdstudenten vaak zeer geïnformeerd en gemotiveerd aan de studie. Zij hebben mogelijke gevaren zelf al goed ingeschat. Ik vind het nuttig en noodzakelijk, maar lang niet zoals hiermee plaatsvindt. Samengevat: intakers vinden het dus zeker nuttig om startgesprekken te voeren met zowel beoogde risico- als niet-risicostudenten. De noodzaak hiervan scoort bij beoogde risicostudenten redelijk, maar bij nietrisicostudenten onvoldoende. Meerwaarde zit in de vroegtijdige binding tussen docent/slb-er/intaker en student en studenten onderling en het beeld wat zij hebben van de opleiding (bij testafname en voeren van gesprekken in het schoolgebouw). Bij specifieke doelgroepen (mbo-instroom, deeltijdstudenten) kán de noodzaak minder hoog zijn omdat zij meer gemotiveerd voor de studie kiezen en risico s mogelijk al hebben ingeschat. Startgesprekken: helderheid De intakers scoren gemiddeld een cijfer 7 op de vraag of startgesprekken op heldere wijze gevoerd konden worden (twee keer een 6, twee keer een 7, twee keer een 8). Toelichting op helderheid gesprek: Soms te privacy gevoelige informatie, hoewel dit ook goed kan liggen aan het type student (deeltijdstudent). 9 Onder risico-student is in de vragenlijst verstaan: de student die op de intaketest hoger scoorde dan 6. 12

13 Rapporten waren duidelijk. Er waren niet veel studenten die de uitkomst níet begrepen, waardoor het gesprek op een heldere wijze te voeren was. Het op heldere wijze voeren van het gesprek gaat goed: je ziet onmiddellijk aan de testresultaten of ze iets weten over het beroepenveld, of ze weten hoe zelfstandig ze moeten zijn voor de studie. Ondanks dat het veelal een helder gesprek is, loop je wel soms tegen onverwachte antwoorden aan met als gevolg dat je dan even de regie kwijt kan raken en je daarop geneigd bent zelf te gaan praten. Dit kan extra aandachtspunt zijn in de scholing van intakers (oefenen met gespreksvoering). De helderheid van het gesprek is ook afhankelijk van het ontwerp van de intake test: Door de vraagstelling gaven sommige studenten een negatief antwoord op een vraag die juist voor technische studenten als redelijk positief te waarderen is. Meer specifiek: bij de vraag over beeld van de opleiding kan een student negatief antwoorden, hoewel dat in werkelijkheid niet negatief hoeft te zijn bij de opleiding business engineering, omdat dat juist een generalistische opleiding is. Gerelateerd aan helderheid van het gesprek: met half uur redt je het niet, liever een gesprek in 45 minuten tot een uur. Over meerwaarde startgesprek: - je kan ook ingaan op het feit dat er een direct verband is tussen studie en de beroepscarrière - je pikt ook meteen de dyslectische studenten er tussen uit - heel veel studenten geven aan dat het schort aan hun eigen planningsvaardigheden Samengevat: zeker doordat er een intakerapportage voorhanden is, is het gesprek zeker op heldere wijze te voeren: docenten hebben snel overzicht en studenten kennen de rapportage en begrijpen de uitslagen en weten waar het gesprek over kan gaan. Dat is niet in alle gevallen zo, aangezien bij een enkele opleiding de uitslag op een vraag anders geïnterpreteerd kan worden. En één intaker geeft aan dat de duur van het gesprek beter drie kwartier tot een uur kan zijn in plaats van een half uur. Mening over studentbeleving test en gesprek Over een aantal stellingen (zie bijlage 2, vraag 5) konden intakers hun mening geven op een 5-puntsschaal 1. De gemiddelde scores zijn te zien in Tabel 32. De intakers zijn het er zeer mee eens dat studenten: actief deelnemen aan het startgesprek De intakers zijn het er enigszins mee eens dat studenten: zich herkennen in de testuitslag van de intake test zicht hebben op ontbrekende kennis en vaardigheden die nodig zijn voor de opleiding de intake test en het startgesprek een nuttig instrument vinden De intakers zijn het er niet mee eens, maar ook niet mee oneens dat studenten: na het startgesprek een beter beeld hebben van de inhoud van de opleiding na het startgesprek een beter beeld hebben van het beroepenveld waarvoor de opleiding opleidt na het startgesprek een beter beeld hebben van de risicofactoren voor een succesvolle studieloopbaan door het startgesprek meer bevestigd zijn in dan zijn gaan twijfelen over de studiekeuze door de startgesprekken kritischer naar zichzelf kijken in relatie tot de studiekeuze/studieloopbaan door het startgesprek hun studiekeuze veranderd hebben Aanvullende opmerkingen: De Open Dagen zijn er (ook) voor het geven van een goed beeld van de opleiding. Het zicht krijgen of werken aan deficiënties daar dient ook de zomercursus wiskunde voor: je kan studenten na de testuitslag of tijdens het gesprek ook wijzen op de zomercursus (afhankelijk van de timing van test, gesprek en zomercursus). Het heeft pas echt zin als je de risico-studenten kan blijven monitoren. 1 1= zeer mee oneens, 2= enigszins mee oneens, 3= niet mee eens of oneens, 4=enigszins mee eens, 5=zeer mee eens 13

14 Intakers zijn van mening dat studenten 1, 2, 3, 4, 5, a. herkennen zich in testuitslag b. nemen actief deel aan gesprek c. hebben beter beeld opleiding na gesprek d. hebben beter beeld beroep na gesprek e. hebben beter beeld risicofactoren studieloopbaan f. hebben zicht op eigen deficienties g. zijn door gesprek meer bevestigd dan gaan twijfelen over h. zijn kritischer gaan reflecteren op eigen studiekeuze/-loopbaan i. hebben hun studiekeuze aangepast na gesprek j. vinden de test en gesprek nuttige instrumenten 1,3 2,6 2,6 3,3 3,4 3,3 3,9 3,9 4, 4,4 Tabel 32, n = 7 Oordeel over scholing en hulpmiddelen Nut interviewprotocol Intakers zijn bijna evenredig verdeeld over het gebruik van het interviewprotocol: drie intakers vinden het nuttig en vier vinden het niet of minder nuttig. Toelichting: Het is wel nuttig om elk gesprek met dezelfde uitgangspunten te kunnen voeren. Voor de vergelijkbaarheid van de resultaten is dit wel aan te bevelen. Het is niet nuttig omdat gesprekken ieder op hun eigen manier verlopen. De training met oefenen in gesprekken voeren is nuttig genoeg. Als je het interviewprotocol heel formeel zou volgen, dan maakt dat het gesprek erg statisch. Dat maakt het niet echt tot een gesprek. Echter, voor toekomstige intakers is het wel handig dat het erbij geleverd wordt, voor het geval een intaker behoefte heeft aan een leidraad. Nut handleiding intakegesprekken Bijna alle intakers vinden de handleiding intakegesprekken nuttig (n=6); één intaker vindt van niet. Toelichting: Je leest m 1x keer door en dan is het duidelijk. De training met daarin oefenen met gesprekken is ook erg nuttig. Hoewel het nut eenmalig is, toch nuttig gebruik van gemaakt. Mening over training intakegesprekken Over de Training intakegesprekken waren de intakers gemiddeld tevreden: gemiddeld cijfer 7 (n=6). Eén intaker is ingepraat door een getrainde collega en heeft dus geen mening. Toelichting: Bij cijfer 6: Eén ochtend waarin je én allerlei nieuwe informatie krijgt (hoewel al wel bekeken van te voren) én dan meteen aansluitend gesprekken oefent vind ik lastig. Ook omdat dit in de training samen met andere opleidingen werd gedaan. Het verloop was enorm tussen de 2 trainingsdelen. En de onvrede bij andere deelnemers was onprettig, wat zijn weerslag had op de training. Bij cijfer 7: Handig om alle neuzen dezelfde kant op te krijgen. Bij cijfer 8: omdat alles aan bod komt wat in de documenten terugkomt; en verder heel handig dat je gaat oefenen met het voeren van gesprekken. (dit is wel sterk opleidingsafhankelijk volgens de intakers) Bij cijfer 6: Heel goed om training te krijgen. Wel in een te klein/krap lokaal: je kan niet rondlopen. Liever in Delft: op de 4 e verdieping bij projecttafels, of in de boardroom, of extern. En in toekomst goed om er een teamhappening van te maken. Verder: liever (nog) meer oefenen in het kunnen staande kunnen houden van de gespreklijn (i.v.m. mogelijke onverwachte antwoorden van studenten en hoe daarop te reageren) en daarbij weer de feedback van collega s te krijgen. Toekomstige training: teamevenement en combineren met 14

15 bespreken van inbedding in onderwijs/slb en nut ervan bespreken. Toekomst training: ervaringsdeskundigen aan het woord. Bij cijfer 7: Handig om gezien te hebben. Omdat het dat concreter maakt. Je ziet van te voren de materialen waar je mee kan werken (ik kon niet aanwezig zijn bij oefenen gesprekken). Oordeel over ondersteuning bij uitvoering Ondersteuning vanuit eigen organisatie Intakers is gevraagd wat hun mening was over de ondersteuning vanuit verschillende hoeken binnen de eigen organisatie (zie tabel 33). Ze geven het management net een voldoende, het project / projectleider wordt erg gewaardeerd, de intakecoördinatoren binnen het cluster of de opleiding krijgen gezamenlijk gemiddeld een 7,5 en de ondersteuning door de testleiders op de eigen locatie was uitstekend. Toelichting: Vanuit management: Ik wist dat ik slb-er zou worden en had daar ook uren voor gekregen, alhoewel niet specifiek uren voor de start van het studiejaar. Het wordt wel gedragen, maar uren er voor krijgen is lastig. Dit was onvoldoende omdat er geen interesse werd getoond vanuit het management of gevraagd om terugkoppeling; de uren waren oké. Niet goed of slecht, niets gemist (2x). Vanuit intakecoördinator: sommige intakers waren zelf intakecoördinator en dus verder geen toelichting. Eén keer wordt aangegeven dat een intake coördinator de taak niet volledig op zich had genomen. Díe intakecoördinator geeft zelf aan dat dat correct is en dat het een drukke tijd in blok 4 betrof. Vanuit testleider: sommige intakers waren zelf testleider en dus verder geen toelichting. Algemene opmerking: Er was geen ondersteuning die past bij de wijze waarop er met deeltijd studenten gesprekken worden gevoerd. NB De subvragen zijn door minimaal 3 en door maximaal 6 intakers beantwoord met een cijfer. Sommige intakers waren nl. ook testleider en/of intakecoördinator en hebben zichzelf niet beoordeeld. En bij de subvraag ondersteuning door management is door twee intakers aangegeven dat zij het niet goed en niet slecht vonden en niets gemist hebben, maar konden dit niet uitdrukken in een cijfer. Ondersteuning vanuit eigen organisatie door 5, 5,5 6, 6,5 7, 7,5 8, 8,5 9, 9,5 1, management project(leider) intakecoordinator testleider 5,5 7,5 8,8 9,3 Tabel 33, n = 3 tot 6 Wat ging goed in de ondersteuning? De software van de digitale intake test was betrouwbaar. De training intakegesprek was nuttig (2x). Ook goed om dit in de toekomst nog een keer te herhalen (facultatief) ook al ben je intaker geweest. Koppeling met Loyalty-middag: intake test op die dag laten maken. Je niet alleen maar aan interviewprotocol houden tijdens het gesprek (wel handige leidraad) waardoor studenten opener werden (zeker bij verlegen en gesloten studenten). Studenten wilden ook graag op locatie komen voor het startgesprek (ondanks telefonische optie midden zomer). Verbetersuggesties voor ondersteuning rol intaker 15

16 Meer tijd nemen voor het startgesprek: 45-6 minuten in plaats van 3 min. Uitnodigen van studenten voor startgesprek door Onderwijs Service Center c.q. administratieve ondersteuner. En, dus niet aan intaker overlaten; onder andere ter bescherming van de intaker zelf (hoewel in eerste instantie wel het idee was van de bewuste intaker). (wordt meerdere keren genoemd) Intakers inroosteren voor startgesprekken in realistisch rooster. (wordt meerdere keren genoemd) Startgesprekken voor intaker achter elkaar laten plaatsvinden, zodat intaker in één keer door kan met voeren gesprekken. Het voeren van intakegesprekken moet door het hele team gedragen worden en dus het hele team betrekken. Deficiëntieprogramma s voor taal- en rekenproblemen aanbieden zodat beter verwijzen tijdens startgesprek (kan nu wel goed bij dyslexie, naar decaan). Oordeel over inbedding organisatorisch en in curriculum Inbedding intakes in organisatorisch opzicht De intakers oordelen gemiddeld over de huidige inbedding van intakes (test + gesprek) in de eigen organisatie een 5,8. Hoewel het gemiddelde positief is, scoort de meerderheid van intakers die een cijfer geeft negatief. De cijfers zijn: 3, 4, 5, 8 en 9 (n=5). Twee intakers vullen geen cijfer in en geven alleen een toelichting. Dezelfde vraag is aan de medewerkers gesteld in de rol van intakecoördinatoren (zie pagina ). Daaruit komt nog 1 extra score op dit punt, namelijk een 8. Toelichting: Hangt wel los van de rest van de organisatie van het onderwijs; dus beter om het iets meer een plaats te geven en te koppelen aan instroom (omdat het ook een PR-moment is). Het was niet in mijn takenplaatje opgenomen. Niet heel storend, want zo werkt het wel vaker, maar dit kan dus beter. Zeker bij toekomstige opschaling. En er waren wel (te) veel momenten gepland voor testafname in relatie tot een klein aantal studenten (de 1 e onderwijsperiode onderdeel SLB zou voor onze opleiding/deze doelgroep een goed idee (en aanvullend) zijn). Goed georganiseerd. Je kan het nu geen inbedding noemen, omdat het een pilot betreft: nog niet iedereen weet waar het over gaat en dus lastig om het organisatorisch op één lijn te krijgen, en zeker niet collega s die er niet bij betrokken waren. Desondanks (gezien het een pilot betrof): toch goed georganiseerd door intakecoördinator. En de koppeling met het Onderwijs Service Center is oké. Overdracht intakerapporten aan de SLB-er De intakerapporten (docentversies) en eventuele gespreksnotities zijn bij de opleidingen op verschillende manieren overgedragen de slb-ers. De wijze van overdracht is gebaseerd op de gangbare manier van samenwerken c.q. onderlinge communicatie. Dit zijn de reacties van de intakers: a. Ik ben zelf de SLB-er van de studenten en beschik dus al over de documenten. (2x geantwoord) b. Rapporten zijn via de Teamsite Intakes TOI aangeboden (3x), én is gecommuniceerd aan slb-ers door de slb-coördinator. (1x) c. Rapporten (en eventuele gespreksnotities) zijn uitgeprint en aan de SLB-er(s) overhandigd. (2x) d. Rapporten zijn g d naar SLB-ers, i.c.m. optie b. (1x) Opmerking van één intaker: de overdracht van gespreksnotities uit de startgesprekken hoef je niet te formaliseren bij een toekomstige opschaling. Dit gebeurt wel mondeling tussen slb-coach en intaker als zij eenmaal deze aanpak kennen. Het is hun verantwoordelijkheid. Koppeling intakes aan SLB of onderwijsprogramma en mening Over het algemeen kan gesteld worden dat de koppeling met het SLB- en onderwijsprogramma onvoldoende is gerealiseerd. Dit heeft ook tot gevolg dat sommige studenten die geen startgesprek hebben gehad geen individueel of groepsgesprek hebben gehad in de eerste of tweede onderwijsperiode over de intake-resultaten. Vier intakers hebben een cijfer gegeven, met als gemiddeld cijfer een 5,3 (drie keer een 6 en één keer een 3). Twee intakers geven aan dat het niet van toepassing is en één intaker verwart de vraag met vraag 9. 16

17 Op het moment van de afnames van de evaluatie (begin november) laten de meeste intakers weten dat ze er onvoldoende van op de hoogte zijn of dat er niet meer aan het vastgestelde SLB-programma kon worden gesleuteld toen het pilotproject intakes bekend was. Ook is het zo dat de koppeling met SLB vooruit geschoven wordt (naar blok 2) en niet duidelijk is of dat al iets heeft opgeleverd. Een intaker geeft aan dat er geen sprake is van koppeling omdat er geen SLB plaatsvindt in de deeltijdopleiding. Toelichting De intakers geven de volgende reacties: - Dit moet nog gebeuren. Op den duur moeten studenten een swot-analyse in het eerste jaar (o.b.v. de intake testresultaten) en werken aan hun eigen deficiënties (in de toekomst moet dit in de slbhandreiking verwerkt worden). Om het goed te koppelen aan doorverwijzing naar summercourses natuurkunde en wiskunde (t.b.v. 21+ toets en om deficiënties weg te werken) zou je het intakemoment naar voren moeten halen. Dat betekent vóór april (dus studenten die zich erg vroeg inschrijven kan je er op wijzen). Verder: het slb-programma is hernieuwd vastgesteld; dus lastig gebleken om eraan te sleutelen voor blok 1 koppeling met intakes. - Kan nog beter, ook omdat ook wordt gewerkt aan de inbedding van SLB in het programma. Gebeurt nog teveel op persoonlijke titel. Het slb-programmaa staat op dit moment nog in de evaluatie en wordt steeds meer op het curriculum geschreven. De inbedding in het slb-programma kan bij de volgende bijstellingsronde worden meegenomen. - Intakerapporten en ingevulde onderzoeksformulier (met aantekeningen intaker) zijn overgedragen aan de, enige, slb-er. Hier is een dossier van gemaakt. Doel was om er in blok 1 een vervolg aan te geven en dit voor studenten die geen startgesprek hebben gehad de uitslag in het eerste slb(groeps)gesprek te bespreken. Dit is niet gelukt vanwege drukte. Mogelijk in blok 2. Enerzijds is de overdracht naar slb en elkaar informeren over intakes goed gegaan. Anderzijds: het vervólg op intakes in sbl is niet gelukt en terugkoppeling slb-er naar intaker is niet gebeurd. Oorzaak kan zijn dat het nog onvoldoende is ingeburgerd en heeft in het specifieke geval ook te maken met afwezigheid door ziekte van intaker. - Een intaker geeft aan dat de koppeling er niet is. (red. : intaker is niet voldoende op de hoogte: er is vanuit het project afgestemd met de slb- coördinator om het te verweven in een schrijfopdracht). - Een intaker geeft aan dat koppeling met SLB er niet is. (red.: alle studenten hebben een gesprek gehad. Verder vervolg op die gesprekken binnen SLB is niet in onderwijsperiode 1 geregeld. Het plan was om dit in onderwijsperiode 2 in een schrijfopdracht (brief) te verweven, maar dat is niet gebeurd). - Onbekend bij intaker. (red.: studenten hebben een extra opdracht (naar keuze) meegekregen in bestaande slb-opdracht blok 2 (verschoven van blok 1 naar blok 2); en de rapporten aan de SLB-er(s) overhandigd zodat zij de inhoud mee kunnen nemen in gesprek in blok 2). Overige reactie: een intaker merkt op dat wanneer alle instromende studenten van een opleiding de test zouden doen, je als slb-coach makkelijker erop kan aanhaken omdat je weet dat alle studenten de test gemaakt hebben en er dus met zekerheid een uitslag is. In de pilot is het zo dat je als slb-coach eerst moet uitzoeken (of informatie over krijgen) wie zo n uitslag ter beschikking heeft, voordat je er in een gesprek naar kan vragen. Verder is het goed om de verantwoordelijkheid bij techniek-studenten bij de student zelf te leggen: zij kunnen er in het eerste slb-gesprek naar vragen wanneer zij daar behoefte aan hebben. Of, je verwerkt het in een slb-opdracht waarbij de student de keuze heeft om de resultaten te gebruiken. Oordeel toegevoegde waarden en adviezen Toegevoegde waarde Beter zelfinzicht bij studenten (over competenties en capaciteiten en karakter) voordat ze überhaupt beginnen aan de studie. Er ontstaat een vertrouwensband met de toekomstige slb-er. Wellicht minder uitval in het eerste onderwijsblok. Huidige situatieschets: in 29 waren er 7 of 8 deeltijdstudenten over aan het einde van het 1 e studiejaar (van de 18), 17

18 waarbij een behoorlijk aantal (6-7) in het 1e blok al was vertrokken. Nu bij de instroom van 21 is de groep nog compleet (1 afvaller door 21+ toets en 1 afvaller vanwege nieuwe functie in eigen werk). Stukje PR. Studenten voelen zich vóór de start van de studie al welkom en weten dat er (op een positieve manier) op ze gelet wordt; ze voelen zich geen nummer. De intake test plus gesprek kan een heel handig hulpmiddel zijn binnen de slb-leerlijn. Kennismaking student <-> docent voor de start van de studie: student heeft kans gekregen verhaal te vertellen en de opleiding leren kennen (kleine opleiding) waarbij ze weten dat ze docenten later in hun werkende leven nog tegen blijven komen. Tijdens afname digitale test hogerejaars studenten betrekken waardoor meteen contact met zittende studenten. Tijdens de intake test of het gesprek komt het belang van zelfstandig werken heel erg onder de aandacht. Meer inzicht over feit dat die leeftijdsgroep (voltijd instroom) onzeker is over wat ze te wachten staat bij een hbo-opleiding en de mogelijkheid de onzekerheid deels weg te nemen en om studenten op hun gemak te stellen. Ze hebben structuur nodig. Geeft studenten meer inzicht in hun verbeterpunten (die zij zelf vaak al kenden). Adviezen over toekomstige aanpak De nazorg aan studenten die geen gesprek krijgen kan beter: laten weten dat ze geen gesprek krijgen en waarom. ((red.: die optie werd aan intakecoördinatoren aangereikt via standaardbrief (=welkomstbrief), maar was door bewuste opleiding niet voor gekozen). Aanpak intakes inbedden in organisatie en onderwijsprogramma al vroeg bespreken: uiterlijk februari. Scenario: alleen studenten die boven de 6 scoren op startgesprek laten komen (ondanks dat het nuttig kan zijn voor student c.q. opleiding om met niet-risico-studenten een gesprek te voeren. Specifiek bij opleiding Luchtvaarttechnologie: nu zijn de klassen (groepen) van de opleiding ingedeeld volgens alfabet. Je zou de intake uitslagen kunnen gebruiken om een andere indeling te hanteren (naast indeling op woonplaats). Specifiek bij opleiding Luchtvaarttechnologie: studenten voor maken digitale test uitnodigen o.b.v. woonplaats zodat al band tussen studenten vooruitlopend op groepsindeling. Aanpak breder in team bespreken en wat je eraan kan koppelen (voor en tijdens studie). Vanuit 1 opleiding komt de mening dat men de docent op zijn eigen manier een startgesprek moet laten houden en dit niet koppelen aan een rigide proces (intaketest en resultaten) Conclusie oordeel intakers Zijn de beoogde effecten die in het projectvoorstel over het oordeel van de intakers bereikt? In het projectvoorstel zijn twee doelstellingen geformuleerd in punt f en g. De resultaten op de vragenlijst en aanvullend interview zijn hieronder per doelstelling uitgewerkt. Op basis van de bestaande onderzoeksresultaten kan je stellen dat de doelstelling is bereikt. Doelstelling F: de meerderheid van de intakers ervaart het gesprek en de uitvoering van het intake assessment (=proces) als positief 11 Over het gesprek: Ja, de meerderheid van de intakers ervaart het gesprek als positief. Dit blijkt uit de resultaten op vragen 1, 2, 3 en 5 van de vragenlijst: de gemiddelde scores op nut en noodzaak van het gesprek zijn 6 of hoger, behalve bij de noodzaak van gesprekken met niet-risicostudenten. Bovendien vinden álle intakers dat het gesprek op heldere wijze gevoerd kan worden, vooral doordat er een intakerapport is om het gesprek op te baseren. Men is overigens niet overwegend positief over het gebruik van de gespreksleidraad (interviewprotocol), maar dat is eerder een mening over een hulpmiddel bij het gesprek, dan over het gesprek zelf. De intakers zijn op alle gevraagde onderdelen neutraal of positief over de studentenbeleving van de (test) en het gesprek (mening intakers). 11 Op indicatoren als nut, noodzaak, veiligheid, informatief en helderheid. 18

19 Over de uitvoering: Om te kunnen beantwoorden of de meerderheid van de intakers de uitvoering van het intake assessment als positief ervaart is vooral het antwoord op vraag 9 van belang: de meerderheid scoort niet positief, maar niet alle intakers hebben dan ook een cijfer ingevuld. Gemiddeld cijfer is 5,8. Twee intakers geven de uitvoering een 8 en een 9. Op de ondersteuning die ze vanuit verschillende kanten bij de uitvoering hebben gekregen, scoren de meeste intakers positief (gemiddeld voor management, projectleider, intakecoördinatoren en testleiders hoger dan een 5,5 en als je naar de afzonderlijke cijfers kijkt, is er 4x een cijfer 5 uitgedeeld en alle andere cijfers zijn 6 of hoger). De vraag is of deze doelstelling gehaald is (vanuit het perspectief van de intakers-rol). De uitvoering kan beter, maar wordt ook op veel punten als positief ervaren. Doelstelling G: meerderheid slb-ers ervaart dat de input vanuit het intake assessment (test en gesprek) zorgt voor toegevoegde waarde 12 Dit is niet meer onderzocht aangezien de koppeling met SLB niet erg goed verlopen is en het daarom weinig zin heeft om de slb-ers hierover te bevragen. Bovendien waren een aantal intakers ook de slb-er (bij sommige opleidingen kwamen er geen anders slb-ers bij kijken) waardoor het oordeel van die personen al in de kwalitatieve meting is meegenomen. 12 Op indicatoren als inzicht in de student, beeld van de student over opleiding en beroep. 19

20 2. Procesevaluatie Het doel van de procesevaluatie is om inzicht te geven in hoe de opzet van studiekeuzegesprekken heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, alsmede de lessons learned en do s & dont s van de uitgevoerde opzet. Het proces van de pilot intakes binnen Domein TOI (project Studiekeuzegesprekken) is geëvalueerd in de kwalitatieve meting waarbij intakers zijn bevraagd (zie hoofdstuk 1) en daarnaast de intakecoördinatoren en testleiders (zie resultaten in bijlage 4). In onderstaande reflectie terug en een reflectie vooruit is de procesevaluatie samengevat: Reflectie terug Gerealiseerde opzet Uitvoeringsproblemen Uitvoeringssuccessen Risicoprofielen Bijeffecten Is het gegaan als gepland en waren er eventuele tussentijdse aanpassingen in de opzet? Het is overwegend gegaan zoals gepland. De evaluatie had wat sneller op de uitvoering plaats kunnen vinden. Zeker onder de uitvoerders. Bij Scheepsbouwkunde duaal hebben studenten een intaketest gedaan. De koppeling met het SLB is niet goed uit de verf gekomen. Er waren ook opleidingen waar de intakers al de SLB-er van de student waren. Gebeurt nog teveel op persoonlijke titel. Wat was moeilijk of ging niet goed? Met name: werkelijk beschikbare uren voor uitvoering bij medewerkers niet goed geregeld. Nazorg student (de niet uitgenodigd worden voor startgesprek) kan beter. Rollen: activiteiten en verantwoordelijkheden kunnen nog beter afgestemd worden. Koppeling met het slb-programma verliep niet soepel. SLB is al een lastig onderdeel in de curricula. Daarnaast: vanwege gebrek aan ervaring met intakes bij clusters moeilijk om inhoudelijk in te bedden. In hoeverre heeft de huidige inschrijfdatum van 1 oktober invloed gehad op het arrangement zoals beschreven in deel 3 en op de kwaliteit van de realisatie? Weinig invloed. Met aanmelders na de start van de studie zijn niet meer uitgenodigd voor een intake test (vooraf bepaald). Er blijven wel aanmelders in de zomer komen: met als gevolg activiteiten in de zomer voor de poort. Dataset compleet maken en data-analyse: inschatting tijdsbesteding aan lage kant. Wat was makkelijk of ging heel goed? De digitale testsoftware draait goed en het contact met de beheerder NOA. Het gebruik van de opzet en materiaal van het voorbeeld project. Het gebruik van de draaiboeken. Ervaring met uitvoering bij projectleider. Plan van aanpak was uitvoerbaar. Het gebruik van de projectteamsite: voor delen en verzamelen documenten. De training voor testleiders en intakers is goed ervaren. Intakers zijn enthousiast. Studenten komen goed afspraken intakegesprek na. Ondersteuning door de Onderwijs Service Centra. Is het risicoprofiel voor de kandidaten goed ingeschat? Dat zou nog een extra data-analyse voor nodig zijn om te beoordelen of de risicoscore gerelateerd is aan de studieresultaten (nu niet aangetoond o.b.v. periode1). Wat waren de onverwachte voordelen van dit arrangement (bv. verhoogde samenwerking tussen faculteiten, stafafdelingen e.d.)? Samenwerking over de clusters heen (testleiders werkten goed samen). Meer bekendheid bij andere medewerkers en managers dan bij de start van het project. 2

21 En, intakers geven aan (niet allemaal procesmatige nadelen): - beter zelfinzicht, eigen verbeterpunten, student - vertouwensband SLB-ers/docenten - stukje PR - wellicht minder uitval - studenten voelen zich welkom, en geen nummer - test + gesprek handig instrument binnen SLB - onzekerheid wegnemen - meer zicht bij docenten/slb-er op eigenschappen (onzekerheid) van instromende studenten Wat waren de onverwachte nadelen? Nadeel: werkdruk, maar was niet onverwacht. Bij sommige opleidingen veel afname moment digitale test tegenover klein aantal instromers. Reflectie vooruit Lessons learned Verbeteringen Do s Don ts Wat heeft u er van geleerd? Zie bij verbeteringen. Op basis van wat u nu weet, wat zou u volgende keer anders doen? Minder afname momenten digitale test bij klein aantal studenten. Opleidingen keuze laten maken uit scenario: voor de poort (alleen met risicostudenten), i.c.m. koppeling SLB of na de poort binnen SLB (goed slbinstrument). Vrijmaken van uren door intake-medewerkers nog beter afstemmen. In het voorjaar al beginnen met koppeling SLB maken (ook in handleidingen SLB): afstemming met SLB-coördinatoren. Intakes door managers periodiek op de agenda laten plaatsen. Nog beter intakers laten ondersteunen door Onderwijsservicecentra bij uitnodigen van studenten voor gesprekken (bij zeer kleine aantallen: door intaker mogelijk). Inroosteren intakers en testleiders voor afname intake test en voeren van gesprekken. Wat moeten anderen zeker doen? Ervaring op doen met intakes voor de poort. Zoveel mogelijk proberen om gesprekken met risicostudenten voor de poort in te bedden (i.t.t. na de poort). Intakers en testleiders goed trainen. Evalueren met intake-medewerkers en studenten (goede ervaringen mee). Binnen teams goed starten met doel van intakes: alle docenten informeren of ze nu mee doen aan intakes of niet. Alle neuzen dezelfde kant op krijgen. Management en intakemedewerkers binnen opleidingen aansporen om intakes tussentijds op de agenda te zetten. Goede koppeling creëren met deficiëntie-programma s en informeren van het decanaat over intakes (doorverwijzing goed regelen). Zorg voor 1 centrale testleider die de accounts beheert. Wat moeten anderen zeker niet doen? Niet met specifieke doelgroepen binnen een opleiding gaan werken: creëert onduidelijkheid bij het team en moeilijker te meten wat het effect is op studieresultaten e.d. Studenten bestempelen als risico-student : dat schrikt af en creëert geen band met studenten. Het gaat om de groei in hun ontwikkeling. Geen online evaluatie bij studenten (of inbedden in periodenevaluatie) vanwege lage respons. En als wel: niet gelijktijdig met periodenevaluatie en instroomonderzoek. 21

22 Nog verder Schaalbaarheid Overdraagbaarheid Hoe is het onderdeel te maken van de staande organisatie? Heeft u concrete plannen? Concrete plannen worden nu gemaakt. Binnen het Managementteam van het Domein TOI is besproken welke clusters (4 clusters binnen TOI) met welke opleidingsvarianten een vervolg geeft aan intakes en welke opleidingen dit voor het eerst gaan inzetten (2 komende studiejaren); binnen welk scenario (voor de poort of na de poort binnen SLB) en welke medewerkers hiervoor worden ingezet. Tot nu toe is afgesproken dat Cluster Technical Engineering mee doet met de opleiding Luchtvaarttechnologie voltijd (volledige instroom) en dat Cluster Engineering & Business mee doet met de opleidingsvarianten Werktuigbouwkunde deeltijd, Technische Bedrijfskunde deeltijd en Business Engineering voltijd. Cluster ICT is zich nog aan het beraden om op twee locaties (Alkmaar en Haarlem) het intake assessment in te voeren. In alle gevallen wordt intakes na de poort ingevoerd. Binnen het domein is nu 1 medewerkers getraind om voor de komende 2 jaar intakers te kunnen trainen en er wordt nog gezocht naar extra ondersteuning op dit punt. In hoeverre leeft het c.q. is er steun voor studiekeuzegesprekken binnen de organisatie? Is dit toe- of afgenomen door het project? De steun leeft bij de meeste projectmedewerkers. Zij willen graag meedoen aan een vervolg als zij er uren voor krijgen. De projectmedewerkers en managers onderschrijven de positieve ervaringen met intakes: het digitale testinstrument en de gesprek en alle meerwaarde die daaruit voortvloeit. De steun is door het project zeker toegenomen. De vraag is alleen of er voldoende budget is om medewerkers vrij te maken voor inzet in het voorjaar, zomer of het najaar. Zou dit arrangement ook door andere instellingen kunnen worden gebruikt? Welke elementen zijn moeilijk overdraagbaar omdat ze specifiek zijn voor uw instelling en waarom? Ja. Er is veel documentatie en ervaring. Het intake instrument is bij NOA af te nemen, ook door andere instellingen. De NOA-test die nu gebruikt wordt is op maat gemaakt voor Inholland. Maar de onderdelen waaruit deze bestaat kunnen ook door andere instellingen bij NOA worden afgenomen als intaketest. Geen elementen die moeilijk overdraagbaar zijn. 22

23 3. Kostenoverzicht Omdat het Domein TOI binnen de hogeschool INholland gebruik kon maken in SKG 3 van reeds ontwikkelde opzet en producten uit SKG 2 en 1 binnen de eigen onderwijsinstelling (voorbeeldproject) heb ik de kosten voor een aantal zaken niet ingevuld en verwijs ik naar overname Inholland-breed. Op basis van 1 studenten (96 hebben de intake test gemaakt) is de volgende raming gemaakt. Het uurtarief is hier 75 euro. Kostensoort Toelichting Uren Eenmalige kosten Eenmalige kosten voor de ontwikkeling van SKG Uren Ontwikkelen aanpak en materialen Aantal uren dat is besteed voor het maken van vragenlijsten, draaiboeken, protocollen etc. Geen kosten voor domein TOI. Overname uit voorbeeldproject inholland breed 13 Out-ofpocket Aanschaf van ICT en tools Kosten van aanschaf van software, assessments etc. Geen kosten voor domein TOI. Overname uit voorbeeldproject inholland breed 18 Vaste kosten Jaarlijkse kosten die niet afhankelijk zijn van het aantal gesprekken of kandidaten Uren Organisatie Uren voor projectmanagement, overleg, administratieve ondersteuning, management rapportages etc. Projectleider: 8 uur per week op halfjaarbasis (2wk*8=16) Intakecoördinatoren: 1 coördinatoren maakt 48 uur (voorbereiding en 13 VOOR SURF: deze kosten zijn niet bekend. Het hogeschoolbrede project heeft kostenoverzicht voor gehele opzet, inclusief de vaste en variabele kosten voor de fasen voorbereiding, scholing, uitvoering en evaluatie, maar geen onderscheid daarin voor het eenmalig ontwikkelen van zaken en aanschaf van ict en tools, anders dan bekend. 23

24 uitvoering) Testleiders: 1 testleider maakt 32 uur per testafname (voorbereiding en uitvoering). Out-ofpocket Kantoorkosten e.d. Huur van ruimtes, apparatuur e.d. Huur ruimtes: n.v.t Prints: (trainingsmateriaal, rapportages docenten, handleidingen): = 2 euro. Variabele kosten Kosten die wel afhankelijk zijn van het aantal gesprekken of kandidaten (op basis van ervaring met 1 studenten) Totaal aantal uren Uren per Totale per kandidaat kandidaat 14 Uren Trainen gespreksvoerders Aantal uren dat besteed is voor het trainen van docenten,slb-ers, studenten, alumni en andere gespreksvoerders 8 intakers * 6 uur = 48 uur plus: 3 testleiders * 6 uur = 18 uur Totaal = 66 uur 66 / 1 = 6½ uur per kandidaat Voorbereiding per gesprek/ kandidaat Tijd voor inplannen, opbellen, invoeren gegevens, voorbereiden Inplannen, voorbereiding door intakecoördinatoren en door testleiders: Opbellen en inplannen servicecentrum: 15 uur + 29/1 = 2 uren per student. (wanneer àlle studenten een gesprek krijgen) 14 bij groepsgesprekken dus delen door het # deelnemers 24

25 3 * 16 uur = 48 uur + 3 * 32 uur = 96 uur Voorbereiden gesprek: half uur per gesprek = 5 uren totaal. Totaal: 29 uren Gesprek zelf Tijd voor gesprek Half uur per gesprek = 5 uren totaal ½ uur per kandidaat Afronding Tijd voor invoeren gegevens en nabereiding (hier: alleen uren van de intaker. De uren van intakecoordinator en testleider staan hierboven) Kwartier per gesprek = 25 uren ¼ uur per kandidaat Totaal Totale tijd besteed aan gesprekken Afgerond naar boven: 1 uur totaal Afgerond naar boven: 1 per kandidaat Outofpocket Licentiekosten en catering Kosten per kandidaat voor licenties/ catering etc. Inholland heeft voor bepaalde tijd een onbeperkte licentie via NOA. Het Domein TOI betaald indirect. Dat is 3 euro per testaccount (= per student). Catering per student:,5 euro. 25

26 BIJLAGE 1 VRAGENLIJST STUDENTEN 26