OW Studiekeuzegesprekken: wat werkt? Praktijkbeschrijving. Intake assessment bij INHolland. Penvoerende instelling: Hogeschool INHolland

Transcriptie

1 Studiekeuzegesprekken: wat werkt? Praktijkbeschrijving Intake assessment bij INHolland Penvoerende instelling: Hogeschool INHolland Datum: 18 februari

2 Inhoudsopgave Inleiding... 4 Opzet... 4 Leeswijzer Context beschrijving Redeneerketen Diagnose Nadere toelichting diagnose Redeneerketen Operationalisering van het gekozen arrangement studiekeuzegesprekken Resultaatevaluatie Effect op studiesucces Samenvatting in tabelvorm deel 1: Effecten van intake op studiesucces Effect op studie-uitvalpercentages na 1 jaar Effect op studietempo Effect op studiesucces Effect op studie-uitval Effect van (studiekeuze/intake) gesprek Aanvullende analyses Oordeel betrokkenen Samenvatting in tabelvorm deel 2: oordeel van betrokken over intake Oordeel studenten Oordeel intakers Oordeel slb ers Oordeel intake coördinatoren Procesevaluatie Reflectie terug Gerealiseerd ontwerp

3 5.1.2 Uitvoeringssuccessen Uitvoeringsproblemen Inschatting risicoprofiel Kosten Bijeffecten Eindoordeel Reflectie vooruit Do s Don ts En verder Schaalbaarheid Overdraagbaarheid Spin-off effecten Scholing voor het voeren van intakegesprekken Programma training: Inhoud training Scholingsmateriaal Lessons learned Practice verbinding intake assessment met studieloopbaanbegeleiding (slb) Bijlagen Bijlage 1 Keuzes bij intake assessment hogeschool INHolland Bijlage 2 Uitgangspunten Bijlage 3 Rekenmodel kosten intakes voor Schools Bijlage 4 Procedure organisatie en uitvoering Bijlage 5 Uitval percentages cohorten 2002 t/m Bijlage 6 Screenshots teamsite project Bijlage 7 Randvoorwaarden Bijlage 8 Interviewprotocol

4 Inleiding In dit document is de praktijkbeschrijving opgenomen van het project intake assessment bij Hogeschool INHolland in het kader van de Surf tender Studiekeuzegesprekken: wat werkt?. In de zomer van 2008, in februari 2009 en in de zomer van 2009 heeft Hogeschool INHolland intake assessments gehouden. Inmiddels hebben al ruim 2000 studenten meegedaan aan een assessment. Het doel van het project intake assessment is om een intake te ontwikkelen die bijdraagt aan verbetering van het rendement door: een vroegtijdig moment van binding tussen student en opleiding; het vroegtijdig uitspreken van verwachtingen tussen opleiding en student; reflectie op de juistheid van de studiekeuze door de student; een aanzet tot zelfreflectie bij de student; een beeld van de capaciteiten van de student bij de student en de opleiding. Hiervoor is een intakeprocedure ontwikkeld die niet alleen gericht is op uitval vermindering. Het diagnose-instrument zal ook ingezet worden bij het opsporen van excellente studenten tbv Honours Programma s, en het zorgt voor een stevige start van de studieloopbaanbegeleiding. Opzet De intake procedure begint met een webbased digitaal assessment. De testen en vragenlijsten zijn ontwikkeld door een daar in gespecialiseerd bureau: NOA. Het digitaal assessment bestaat uit capaciteitentesten, een motivatie-leerstijltest, een competentievragenlijst en een vragenlijst achtergrondkenmerken. Per opleiding is van tevoren vastgesteld welke factoren bij die opleiding reden zijn voor uitval. Op basis daarvan is in het digitaal assessment een weging gemaakt per opleiding. Elke student heeft een schriftelijke rapportage van het assessment ontvangen. Met studenten die hoog scoren op factoren die risico vormen op uitval, is vervolgens een intakegesprek gevoerd door een studieloopbaanbegeleider van de opleiding. In dit gesprek kwamen onder andere (zekerheid van) studiekeuze, wederzijdse verwachtingen, beeld van het beroep, motivatie, capaciteiten en de huidige en benodigde competenties aan bod. Met de studenten die niet hoog scoren op risicofactoren, is het rapport besproken in een studieloopbaangesprek na de start van de studie. In bijlage 1 staan de procedure, de gemaakte keuzes en de visie op intake assessment uitvoerig besproken. Leeswijzer In deze rapportage zal achtereenvolgens een contextbeschrijving, redeneerketen en operationalisering van het arrangement van studiekeuzegesprekken worden gepresenteerd. Dit wordt gevolgd door een resultaatevaluatie waar het effect van het intake assessment op studiesucces, -tempo en -uitval en het oordeel van de betrokkenen wordt besproken. In hoofdstuk 5 komt de procesevaluatie aan de orde met daarin een reflectie terug en vooruit. Tot slot wordt de scholing voor het voeren van intakegesprekken toegelicht. 4

5 Gehanteerde begrippen Intake assessment: digitaal intake assessment (bestaande uit 4 subtesten) gevolgd door een intake gesprek met studenten die een risicoscore krijgen Uitval: De uitvalpercentages zijn bepaald op basis van de instroom eerste keer hogeschool. Per cohort wordt in cumulatieve percentages het aantal uitvallers gegeven. Alle studenten die in het studiejaar (dat van start ging op 1 september van het aangegeven jaar) definitief met de opleiding zijn gestopt en die, voordat ze aan de opleiding begonnen, bij geen enkele andere opleiding binnen hogeschool INHolland stonden ingeschreven zijn uitvallers. Een student die begint met een opleiding en dan omzwaait wordt als uitvaller gerekend. Zowel een omzwaaier (naar een andere INHolland opleiding) als een student die de hogeschool verlaat wordt als uitvaller geteld. Een student die is omgezwaaid naar een opleiding en vervolgens uitvalt wordt niet meegeteld. Intaker: de docent (meestal een ervaren SLB er) die het eerste gesprek (het intakegesprek ) voert met de student met een risicoscore Slb: studieloopbaanbegeleiding Slb er: studieloopbaanbegeleider Testleider: zorgt ervoor dat de testafname voorspoedig verloopt. Voert de operationele zaken uit tijdens de digitale afname en begeleidt de studenten hierbij. Intake coördinator: verantwoordelijk voor het hele intake proces bij de betreffende opleiding 5

6 1 Context beschrijving Dit hoofdstuk van de praktijkbeschrijving geeft inzicht in de context waarbinnen de pilot Studiekeuzegesprekken bij Hogeschool INHolland plaatsvindt. Het gaat hier om alle (nietbeïnvloedbare) contextvariabelen. Deze praktijkbeschrijving deel 1 beperkt zich tot de opleidingen van vijf Schools die met de pilot intake in september 2008 hebben meegedaan. Van deze groep studenten is het rendement na 1 jaar studie onderzocht. De onderzoeksresultaten staan beschreven in praktijkbeschrijving deel 4. De pilot betreft in totaal 348 studenten. Tijdens de nameting, najaar 2010, zullen de studieresultaten na 1 jaar van de instroom van september 2009 onderzocht worden. Van die instroom hebben 1467 studenten uit 13 verschillende Schools van INHolland een intake ondergaan. School Opleidingen Locatie Aanmeldingen Algemene kenmerken van de studenten binnen deze opleiding vooropleiding gemiddelde leeftijd Datum instroom Gemiddeld Propedeuserendement Opleiding (instroomaantal): na 1 jaar %, na 2 jaar % School of Economics Amsterdam/Diemen Cluster Finance: Opleiding Accountancy voltijd, deeltijd en duaal Opleiding Bedrijfseconomie voltijd, deeltijd en duaal Opleiding Financial Services Management voltijd, deeltijd, duaal Cluster Management: Opleiding voor Management, Economie en Recht voltijd, deeltijd en duaal Geen specifieke toelatingseisen Amsterdam/Diemen studenten multiculturele groep havo/mbo 17 jaar September Accountancy (36): na 1 jaar 31%, na 2 jaar 53 % Bedrijfseconomie (81): na 1 jaar 21%, na 2 jaar 43 %. Financial Services Management (29): na 1 jaar 21%, na 2 jaar 59% Management, Economie en Recht (101): na 1 jaar 24%, na 2 jaar 50 %. (Cohort 2006) Gemiddeld percentage uitvallers Accountancy: na 1 jaar 35,7%, na 2 jaar 40,5%. Bedrijfseconomie: na 1 jaar 47,6%, na 2 jaar 54,8% Financial Services Management: na 1 jaar 32,3%, na 2 jaar 41,9% Management, Economie en Recht: na 1 jaar 26,5%, na 2 jaar 42,2% (Cohort 2006) Specifieke risicogroepen Bijzonderheden Zwaarder wegende componenten binnen het digitaal assessment voor de School of Economics - A dam/diemen. (het digitaal assessment staat toegelicht in praktijkbeschrijving deel 3) assessment vindt in eerste studieweek plaats Cluster Finance Management Weging capaciteiten rekenvaardigheid rekenvaardigheid + beide taaltesten Weging competenties NB plannen & organiseren telt overal zwaarder mee analyseren, nauwkeurig en geordend werken, richten op de klant mondeling communiceren, schriftelijk communiceren, analyseren 6

7 School Opleidingen Locatie Aanmeldingen Algemene kenmerken van de studenten binnen deze opleiding vooropleiding gemiddelde leeftijd Datum instroom Gemiddeld Propedeuserendement Opleiding (instroomaantal): na 1 jaar %, na 2 jaar % School of Economics Den Haag Cluster Finance: Financial Service Management Cluster Marketing: Small Business en Retail Management Cluster Management: Personeel en arbeid Management Economie en Recht Bedrijfskundige informatica Alleen voltijd Geen specifieke toelatingseisen Den Haag 45 (april) multiculturele groep havo/mbo 17 jaar September Financial Service Management (30), na 1 jaar 83%, na 2 jaar 97%. Small Business en Retail Management onbekend Personeel en arbeid (39), na 1 jaar 31%, ns 2 jaar 46%. Management Economie en Recht (60), na 1 jaar 27%, na 2 jaar 40%. Bedrijfskundige informatica (13), na 1 jaar 31%, na 2 jaar 31%. (Cohort 2006) Gemiddeld percentage uitvallers Financial Service Management: na 1 jaar 13,5%, na 2 jaar 29,7% Small Business en Retail Management onbekend Personeel en arbeid: na 1 jaar 29,3%, na 2 jaar 39,0%. Management Economie en Recht: na 1 jaar 31,7%, na 2 jaar 51,7%. Bedrijfskundige informatica: na 1 jaar 50,0% na 2 jaar 50,0% Specifieke risicogroepen Bijzonderheden Zwaarder wegende componenten binnen het digitaal assessment voor de School of Economics - Den Haag (Cohort 2006) assessment vindt voor de start van de studie plaats Weging competenties NB Cluster Weging capaciteiten plannen & organiseren telt overal zwaarder mee analyseren, nauwkeurig en Finance rekenvaardigheid geordend werken, richten op de klant Marketing rekenvaardigheid + beide contact leggen met anderen, taaltesten samenwerken, analyseren Management mondeling communiceren, rekenvaardigheid + beide schriftelijk communiceren, taaltesten analyseren 7

8 School Opleidingen Locatie Aanmeldingen Algemene kenmerken van de studenten binnen deze opleiding vooropleiding gemiddelde leeftijd Datum instroom Gemiddeld Propedeuserendement Opleiding (instroomaantal): na 1 jaar %, na 2 jaar % Gemiddeld percentage uitvallers Specifieke risicogroepen Bijzonderheden Zwaarder wegende componenten binnen het digitaal assessment voor de School of Social Work School of Social Work Rotterdam en Den Haag Culturele & Maatschappelijke vorming Maatschappelijk werk & Dienstverlening Sociaal Pedagogische Hulpverlening Voltijd, Deeltijd Geen specifieke toelatingseisen Rotterdam en Den Haag Rotterdam 210 studenten Den Haag max. 90 studenten multiculturele groep HAVO NB MBO-ers voor verkort traject worden eruit gefilterd. Voltijd 17 jaar Deeltijd - onbekend September Culturele & Maatschappelijke Dienstverlening Den Haag (13), na 1 jaar 46%, na 2 jaar 54% Culturele & Maatschappelijke Dienstverlening Rotterdam (26), na 1 jaar 38%, na 2 jaar 46%. Maatschappelijk werk & Dienstverlening Den Haag (49) na 1 jaar 67%, na 2 jaar 69%. Maatschappelijk werk & Dienstverlening Rotterdam(115) na 1 jaar 68%, na 2 jaar 71%. Sociaal Pedagogische Hulpverlening- Den Haag (42): na 1 jaar 55%, na 2 jaar 69%. Sociaal Pedagogische Hulpverlening- Rotterdam (102): na 1 jaar 56%, na 2 jaar 63%. (Cohort 2006) Culturele & Maatschappelijke Dienstverlening Den Haag: na 1 jaar 48,8%na 2 jaar 58,8% Culturele & Maatschappelijke Dienstverlening Rotterdam: na 1 jaar 48,1%, na 2 jaar 55,6%. Maatschappelijk werk & Dienstverlening Den Haag: na 1 jaar 34,6%, na 2 jaar 40,4%. Maatschappelijk werk & Dienstverlening Rotterdam: na 1 jaar 31,1%, na 2 jaar 36,9%. Sociaal Pedagogische Hulpverlening- Den Haag: Na 1 jaar 34,1%, na 2 jaar 40,9%. Sociaal Pedagogische Hulpverlening- Rotterdam: na 1 jaar 33,0%, na 2 jaar 37,6%. (Cohort 2006) assessment vindt in de eerste studieweek plaats Weging competenties NB plannen & Weging capaciteiten organiseren telt overal zwaarder mee alle capaciteiten even zwaar plannen en organiseren, samenwerken, analyseren 8

9 School Opleidingen Locatie Aanmeldingen 100 Algemene kenmerken van de studenten binnen deze opleiding School of Communication, Media & Music Amsterdam Communicatie Voltijd Geen specifieke toelatingseisen Amsterdam vooropleiding havo/mbo gemiddelde leeftijd 17 jaar Datum instroom September Gemiddeld Propedeuserendement Communicatie (268): na 1 jaar 30%, na 2 jaar 63%. Opleiding (instroomaantal): na 1 jaar %, na 2 (Cohort 2006) jaar % Gemiddeld percentage uitvallers Communicatie: na 1 jaar 30,7%, na 2 jaar 37,1% (Cohort 2006) Specifieke risicogroepen Bijzonderheden assessment vindt in de introductieweek plaats Zwaarder wegende componenten binnen het Weging competenties NB plannen & Weging capaciteiten digitaal assessment voor de School of Comm., organiseren telt overal zwaarder mee Media & Music. beide taaltesten samenwerken School School of Health Haarlem Opleidingen Sport en bewegen Geen specifieke toelatingseisen Locatie Haarlem Aanmeldingen 100 Algemene kenmerken van de studenten binnen grotendeels vrouwen, grotendeels autochtonen deze opleiding vooropleiding havo/mbo gemiddelde leeftijd 17 jaar Datum instroom September Gemiddeld Propedeuserendement Opleiding (instroomaantal): na 1 jaar %, na 2 Sport en bewegen (66): na 1 jaar 14%, na 2 jaar 61% (Cohort 2006) jaar % Gemiddeld percentage uitvallers Sport en bewegen: na 1 jaar 27,3%, na 2 jaar 33,3%. (Cohort 2006) Specifieke risicogroepen Bijzonderheden assessment vindt in de introductieweek plaats Zwaarder wegende componenten binnen het Weging competenties NB plannen & Weging capaciteiten digitaal assessment voor de School of Health organiseren telt overal zwaarder mee exclusie, componenten samenwerken, mondeling communiceren, analyseren 9

10 2 Redeneerketen Het doel van dit hoofdstuk is inzicht te geven in de vooronderstellingen met betrekking tot de manier waarop de studiekeuzegesprekken zullen leiden tot het gewenste resultaat. Bij INHolland worden de studiekeuzegesprekken intakes genoemd. Deze term zal daarom regelmatig gebruikt worden. Er wordt begonnen met een diagnose. Daarin wordt expliciet gemaakt welk probleem we willen aanpakken en wat dat probleem volgens ons veroorzaakt. In het arrangement voor intakes bij INHolland zijn bepaalde activiteiten (interventies) georganiseerd. We veronderstellen dat ze tot een bepaald resultaat zullen leiden (outcome) omdat ze bepaalde processen triggeren (mechanismen). Deze staan als tweede beschreven. In bijlage 1 en 2 staan de door INHolland gemaakte keuzes en uitgangspunten bij het intake assessment beschreven. Het gaat om de onderliggende visie op intake, de gebruikte instrumenten en de functionele eisen aan een digitaal systeem. Deze is van invloed op de gekozen interventies. Het stuk is voor derden tevens bruikbaar om eigen keuzes tav intakes aan te spiegelen. 2.1 Diagnose Diagnose en referenties Aanleiding om bij INHolland intakes te houden is de wens om het rendement te verbeteren, onder andere door het terugdringen van de studie-uitval in het eerste jaar. Studenten hebben, zeker bij brede opleidingen, onvoldoende beeld van de beroepsmogelijkheden en de inhoud van de opleiding. De keuze voor de studie blijkt soms te lichtvaardig gemaakt: na minimale oriëntatie, of alleen omdat vrienden het gekozen hebben, wordt een studie gekozen. Ook blijken ze, ondanks hun formele toelaatbaarheid, deficiënties te hebben op het gebied van taal en rekenen. Daarnaast spelen problemen een rol die allochtone studenten ondervinden die behoren tot de eerste generatie studerenden in het hoger onderwijs. Zij hebben onvoldoende rolmodellen die een voorbeeld geven wat studeren in het hoger onderwijs inhoudt. Soms krijgen zij weinig support van hun familie, die deze voorbeelden ook niet heeft. Ook is hun netwerk om bijvoorbeeld stages te vinden kleiner. Naast het thema uitval vermindering, spelen twee andere thema s: - Er is behoefte aan een diagnose-instrument, dat ingezet kan worden bij het opsporen van excellente studenten tbv Honours Programma s. - Er is behoefte aan een instrument dat zorgt voor een stevige start van de studieloopbaanbegeleiding (slb). Het gekozen arrangement voor intakes heeft als doel om te interveniëren op alle drie de thema s. 10

11 2.2 Nadere toelichting diagnose Uitval verminderen Uitval binnen het hoger onderwijs is complex en de beslissing om te stoppen met een opleiding is doorgaans het resultaat van een combinatie van problemen (Hall, ). Redenen die vaak gegeven worden zijn verkeerde studiekeuze, academische moeilijkheden, aanpassingsproblemen, persoonlijke situatie. Het model van Tinto ( ) onderstreept het belang van persoonskenmerken en sociale factoren en binding. In het intake assessment komen deze aspecten aan de orde middels de diverse onderdelen van het assessment. Vervolgens worden deze aspecten vroegtijdig besproken in een aanvullend intakegesprek danwel in het eerste slb gesprek. Aangezien uitval een samenspel van factoren blijkt zal het onderzoeksmatig lastig worden om statistisch het effect aan te tonen van de diverse assessmentonderdelen (microniveau). Verwacht wordt echter dat wanneer opleidingen vroegtijdig risicostudenten indentificeren en de studenten de juiste interventies volgen, zij minder risico lopen om uit te vallen en rendementen daarmee toe zullen nemen. Stevige sart slb Slb programma s variëren sterk qua inhoud en kwaliteit. Het intake assessment geeft houvast en brengt allerlei relevante aspecten in beeld waarmee de slb er direct aan de slag kan. Hiermee neemt de effectiviteit en efficiency van slb als studieonderdeel toe. Daarnaast worden slb ers geschoold waarmee hun professionaliteit toeneemt. Tevens zorgt het intake assessment voor een vergroting van de aandacht voor studiesucces, -rendement en vermindering van uitval (meso-niveau). Excellentie opsporen Studenten die over meer kwaliteiten beschikken en daar niet op aangesproken worden en dus onvoldoende worden uitgedaagd lopen het risico op demotivatie, uitval en vermindering van hun studieprestaties. Het is dan ook zaak om deze studenten snel op te sporen en speciale programma s aan te bieden. Middels de diverse onderdelen van het intake assessment (bijvoorbeeld capaciteitentests, motivatie en leerstijlenvragenlijst) is het mogelijk de studenten te identificeren met veel potentieel, bv. voor honoursprogramma s of doorstroomtrajecten naar de universiteit. 2.3 Redeneerketen Interventie Korte beschrijving van de interventie Wat gaan we doen? Flyers Op open dagen worden flyers verspreid over het intake assessment Mechanismen Vooronderstellingen over onderliggende mechanismen die ervoor zorgen dat de interventie leiden tot de outcome. Antwoord op de vraag waarom werkt de interventie? Informeren van de student (voorkomen van afschrikeffect); Bewustmaken van de student Outcome Beschrijving van de te verwachten outcome (effecten) van de interventie: wat zijn de beoogde resultaten? Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment 1 Hall, J., (2001). Retention and Wastage in FE and HE. Scottish Council for Research in Education 2 Tinto, V., (1987). Leaving college: Rethinking the causes and cures of student attrition. Chicago, IL: University of Chicago Press 11

12 Intake is opgenomen in alle opleidingsbrochures Website Informatie over het intake assessment is voor de student beschikbaar gemaakt op het intra- en internet. Uitnodiging Alle nieuwe studenten worden na aanmelding uitgenodigd voor een webbased digitaal assessment. Opbellen Als digitaal assessment voor de introductieweek wordt georganiseerd worden alle studenten opgebeld om de schriftelijke uitnodiging te bevestigen Digitaal Assessment Het digitaal assessment vindt voor aanvang van de studie plaats dan wel direct na de poort (introductieweek). Onderdelen Digitaal Assessment Het digitaal assessment bestaat uit capaciteitentesten, motivatie en leerstijlen vragenlijst, competentievragenlijst, vragenlijst achtergrondkenmerken en cijferlijst VO Rapportages Rapportage resultaten digitaal assessment met feedback. (Er zijn 2 typen rapportages, 1 voor de student met begeleidende brief en 1 voor de slb er.) Informeren van de student (voorkomen van afschrikeffect); Bewustmaken van de student Interne en externe informatievoorziening; Verwijsfunctie voor diegenen die vragen hebben Vroege binding na gebleken interesse (aanmelding studielink); Bewustmaken van de student Informeren van de student (voorkomen van afschrikeffect en mogelijkheid tot vragen stellen); Binding Informatie verkrijgen uit test voor student en opleiding; Mogelijkheid tot switchen van studie; Vroege binding Uit onderzoek gebleken risicofactoren in kaart brengen Informatie verkrijgen uit test voor student en opleiding Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Meer instroom; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Hoger opkomstpercentage op afname dag digitaal assessment De verkregen informatie zorgt voor stevige start slb; Meer instroom binnen INHolland (student gaat mogelijk naar andere opleiding van INHolland); Verhoging kwaliteit door verbeterde studiekeuze Beeld van de risicofactoren tbv slb Levert risicoprofiel op; Zet studenten aan het denken (zelf-reflectie) 12

13 Brief Student met risicoprofiel krijgt uitnodiging voor intakegesprek student zonder risicoprofiel krijgt welkomstbrief Gesprek Studenten met een zgn. risicoprofiel worden uitgenodigd voor een intakegesprek. Het intakegesprek vindt plaats voor aanvang van de studie/in de eerste weken van periode 1. Studenten zonder zgn. risicoprofiel bespreken hun rapportage met hun studieloopbaanbegeleider in periode 1. Met studenten waar uit het profiel blijkt dat zij potentiële deelnemers zijn voor een Honours Programma, worden de mogelijkheden en selectiecriteria besproken. Interviewprotocol Voor het intakegesprek is een interviewprotocol gemaakt, waar onder andere het onderdeel afspraken in is opgenomen (bv doorverwijzing naar decaan) Binding Een vroegtijdig moment van binding tussen student en opleiding; Het vroegtijdig uitspreken van verwachtingen tussen opleiding en student; Reflectie op de juistheid van de studiekeuze door de student; Een aanzet tot zelfreflectie bij de student; Een beeld van de capaciteiten van de student bij de student en de opleiding; Test bespreken leidt tot reflectie; Vroegtijdig excellentie opsporen om studenten gemotiveerd te houden Eenduidige gespreksvoering; Gerichtheid op concrete afspraken Meer instroom binnen INHolland Betere begeleiding; Evt doorverwijzen 2 e lijns hulp/deficiëntie cursussen; Evt andere studie; Betere verwachtingen (beeld opleiding/beroep); Betere begeleiding leidt tot minder uitval; Verhoging kwaliteit opleiding in het algemeen; Stevige start slb Student zal gemaakte afspraken nakomen; Effectieve doorverwijzing 2 e lijns hulp/deficiëntie cursussen / etc 13

14 3 Operationalisering van het gekozen arrangement studiekeuzegesprekken In dit deel wordt het gekozen arrangement voor intakes geoperationaliseerd. Het doel is om de ontworpen aanpak voor intakes te beschrijven. Met wie? Wanneer? Soort student Het zal studenten betreffen die zich hebben ingeschreven voor een studie aan Hogeschool INHolland. Dit omdat het digitaal assessment enigszins is afgestemd op de opleiding waar de student zich voor heeft ingeschreven (d.w.z. de weging wat betreft competenties en capaciteiten). In de pilot betreft het voornamelijk voltijdstudenten Risicoprofielen Het digitaal assessment wordt gevolgd door een intakegesprek. Het intakegesprek wordt gehouden met de studenten die een zgn. risicoprofiel hebben, studenten zonder risicoprofiel bespreken hun rapportage met hun studieloopbaanbegeleider in periode 1. Sommige Schools kiezen ervoor om een intakegesprek te houden met alle studenten ongeacht of zij een risicoprofiel hebben. De onderdelen van het risicoprofiel staan toegelicht onder format. Maken risicoprofielen door middel van Initiatief voor gesprek Spreiding Duur Los of gekoppeld Een digitaal assessment dat bestaat uit: - Capaciteitentest (met specifieke weging voor de opleiding) - Competentievragenlijst (met specifieke weging voor de opleiding) - Motivatie/leerstijlentest - Vragenlijst achtergrondkenmerken Bij de samenstelling van de test is uitgegaan van de expertise van NOA op het gebied van uitvalproblematiek. Initiatief voor digitale test en gesprek ligt bij opleiding Het digitaal assessment resulteert in een rapportage waaruit blijkt op welke risico aspecten een student hoog scoort. Vervolgens worden deze studenten uitgenodigd voor een intakegesprek. Het digitale assessment vindt plaats zowel voor de poort als na de poort. Enkele schools kiezen verschillende momenten van afname zowel voor als na de poort om zoveel mogelijk studenten te bereiken. Andere Schools kiezen alleen voor afname na de poort (introductieweek), vaak om organisatorische redenen. Rond september instroom Van april tot en met september Tussen de digitale test en het gesprek zit minimaal een week. Afhankelijk van de aantallen studenten worden digitale testen op meerdere dagen georganiseerd, en de gesprekken eveneens. Digitale test duurt 1-1,5 uur. Gesprek duurt 0,5 uur In ongeveer de helft van de gevallen is de digitale test gekoppeld aan activiteiten in de introductieweek. Voor de poort is de afname soms gekoppeld aan andere studie/kennismakingsactiviteiten. Bij afname na 14

15 de introductieweek staat de digitale test in het lesrooster van de student. Hoe? Vorm De digitale test vindt in een groep plaats. (eigen opleiding, soms eigen klas) Het intakegesprek is een individueel gesprek met een slb er. Waartoe? Doel Een beeld geven van de capaciteiten van de student bij de student en de opleiding; Inzicht geven in de benodigde competenties bij de student, met een aanzet tot zelfreflectie bij de student; Deficiënties in kaart brengen en doorverwijzen en/of ondersteuning bieden om deze te repareren; Een vroegtijdig moment van binding tussen student en opleiding; Het vroegtijdig uitspreken van verwachtingen tussen opleiding en student; Vroegtijdig excellentie opsporen; Verbetering van het rendement. Wat? Inhoud Inhoud digitale test: zie hieronder. In het intakegesprek worden de scores uit het digitaal assessment besproken, die aanleiding vormden voor uitnodiging voor het intakegesprek. Daarnaast kunnen onderwerpen worden besproken die niet eenvoudig in een kwantitatieve score te vertalen zijn, maar wel relevant kunnen zijn voor het studieverloop. Format De digitale test is webbased, de student krijgt persoonlijke inlogcodes. Het rapport wordt per verzonden in pdf naar de student en naar de opleiding. De digitale test is opgebouwd met onderdelen die factoren zijn bij studie-uitval. Het intakegesprek volgt de volgorde van het scorerapport. De volgende onderdelen worden besproken: 1 Capaciteitentest (MCT H) In totaal maakt een student 5 subtests van de MCT-H: - Woordrelaties en Woordanalogieën (verbale vaardigheden) - Rekenvaardigheden (numerieke capaciteiten) - Componenten en Exclusie (logisch en ruimtelijk redeneren). Deze onderdelen wegen zwaarder of lichter afhankelijk van de opleiding. 2 Motivatie en leerstijlen (MLV H) De slb er bespreekt de scores op de motivatie-schalen en let daarbij op: - Zekerheid / vertrouwen - Intrinsieke motivatie - Extrinsieke motivatie - Prestatiemotivatie De scores op de leerstijlen worden wel opgenomen in het rapport, maar beïnvloed en niet of de student behoort tot een risicoprofiel. Deze kunnen interessant zijn voor de slb er om te bespreken bij extreme scores en om te bepalen of de voorkeursleerstijl past bij de gekozen 15

16 opleiding. 3 Competenties (CVL+) De scores op de competenties worden besproken. Een maximum van 3 competenties wegen zwaarder dan de andere competenties afhankelijk van de opleiding. Bij alle competenties leiden extreem hoge of lage scores tot feedback over sterke kanten en aandachtspunten in de rapportage. Voor iedere opleiding wordt de competentie Plannen & Organiseren van groter belang geacht. Deze competentie kan zich laten vertalen als Studiehouding en is een sterke, algemene voorspeller voor studiesucces. De scores op overige competenties worden wel opgenomen in het rapport, maar hebben geen invloed op de totaalscore, op basis waarvan een student kan worden uitgenodigd. 4 Achtergrondkenmerken Onderwerpen: - cijferlijst vorig school- of studiejaar; - beeld van de opleiding: over het algemeen blijkt een inaccuraat beeld van de opleiding de kans op uitval ernstig te vergroten, net als inaccuraat beroepsbeeld; - aantal uren per week werk naast de studie; - combinatie werk en studie; - zorg voor kinderen of andere familieleden; - lichamelijke beperkingen (bv. dyslexie); - mentale beperkingen. De volgende punten staan niet in de rapportage, maar worden wel tijdens het intakegesprek besproken: 5 Aanvullende onderwerpen (naar eigen inzicht van de slb er) - Zelfstandigheid & verantwoordelijkheid - Schulden - Verdovende middelengebruik - door student aan te dragen.. 6 Afsluitend geeft de slb er een samenvatting van het interview, noteert de samenvatting, het gegeven advies en de gemaakte afspraken. De slb er checkt of de student het hiermee eens is en noteert eventuele aanvullingen. Slb ers. Door wie? Gespreksvoerder Leeftijd leeftijd gespreksvoerder is gemiddeld 40 jaar. Voorafgeg Koppeling met Digitaal assessment aan door? Indien van toepassing: Doel Risicoprofiel maken van iedere student d.m.v. capaciteitentest, competentievragenlijst, motivatie en leerstijlentest, vragenlijst achtergrondkenmerken en cijferlijst VO. Gevolgd door een 16

17 Gevolgd door? In samenhang met? Inbedding in overige voorlichting Betaalbaarheid Werkproces Wat kost dat? Organisatie? assessment Actie van Eigenaar van het proces Training intakegesprek. - Opleiding: schriftelijk studieadvies, gegevens vastleggen voor slb, doorverwijzen voor ondersteuning en/of ondersteuning bieden. - Student: reflectiedossier aanleggen en zelf houden / inbrengen in de opleiding Voorlichting door middel van voorbereidende brief, inbedding in introductieweek of evt. andere bijeenkomsten zoals summerschool. inbedding in slb programma (evt digitaal portfolio) zie bijlage 3 kosten plaatje schools zie bijlage 4 Procesbeschrijving Schools ondersteund door project Training voor testleiders van 2 uur. De training is door NOA ontworpen en door INHolland verder op maat gemaakt. In deze training krijgen testleiders informatie over de gebruikte testen. Ze krijgen training voor de operationele zaken betreffende het digitaal assessment. En er wordt besproken hoe zij kunnen omgaan met een groep (potentiële) studenten die vaak nerveus zijn voor de digitale test. Testleiders zijn docenten of medewerkers met enige ICT feeling. Training van slb er voor het intakegesprek. Training van 1 dag of evt 1 dagdeel. De training is door NOA ontworpen en door INHolland verder op maat gemaakt. Zie hoofdstuk scholing voor uitgebreide informatie. 17

18 4 Resultaatevaluatie In deze resultaatevaluatie wordt gerapporteerd over de effecten van intake op studiesucces bij Hogeschool INHolland. Daarnaast wordt verslag gedaan van de oordelen van betrokkenen omtrent de intakeprocedure. De inhoudsopgave van de resultaatevaluatie ziet er als volgt uit: DEEL 1: Effecten van intake op studiesucces - Samenvatting in tabelvorm - Effect op studiesucces: a) studie-uitvalpercentages (participerende versus niet participerende opleidingen) b) studietempo c) studiesucces d) status (studie-uitval) e) effect van het gesprek f) aanvullende analyses (Havo/Mbo en man/vrouw verschillen) DEEL 2: Oordeel betrokkenen over het nut van intake - Samenvatting in tabelvorm - Oordeel betrokkenen: a) oordeel van studenten b) oordeel van intakers c) oordeel van slb er d) oordeel van school intake coördinatoren Aangezien binnen INHolland inmiddels meerdere malen de intakeprocedure uitgevoerd is (september 2008, februari 2009, september 2009) was het mogelijk om de analyses van deel 2 te baseren op meerdere steekproeven. De analyses in deel 1 zijn gebaseerd op gegevens van de uitvoering in september 2008 omdat van dat cohort de uitvalgegevens en studiecijfers na een jaar studeren al bekend zijn. Tijdens de nameting, najaar 2010, zullen de studieresultaten na 1 jaar studeren van de instroom van september 2009 onderzocht worden. 18

19 4.1 Effect op studiesucces Samenvatting in tabelvorm deel 1: Effecten van intake op studiesucces Variabele Operationalisatie Norm Uitkomst Oordeel Effect van gehele Percentage uitval na Daling van het Positief, sprake Positief, echter intakeprocedure op studie-uitval 1 jaar uitvalpercentage van daling na 1 jaar daling kan niet sluitend worden toegeschreven aan deelname aan intakeprocedure Effect van studentkenmerken 3 op studietempo Effect van studentkenmerken op studiesucces Effect van studentkenmerken op studie-uitval Relatie studentkenmerken en aantal behaalde ECTS na 1 jaar studie. Relatie studentkenmerken en gemiddeld studiecijfer na 1 jaar studie. Relatie studentkenmerken status van de student na 1 jaar inschrijving. Effect van gesprek Nut van het aanvullend intakegesprek. Significante correlaties Significante correlaties Enkele verschillen tussen studiestakers en actieve studenten > 75% terecht uitgenodigd Enkele significante verbanden tussen studentkenmerken en studietempo. De risicoscore blijkt onverwacht niet samen te hangen met studietempo. Enkele significante verbanden. De risicoscore blijkt onverwacht niet samen te hangen met studiecijfers. Geen verschillen 89% terecht uitgenodigd. Veel quick wins Studentkenmerken hebben beperkte voorspellende waarde voor studietempo Studentkenmerken hebben beperkte voorspellende waarde voor studiesucces Scores op digitale intake weinig voorspellend voor studieverloop in jaar 1 Gesprekken hebben meerwaarde voor risico studenten 3 Studentkenmerken zijn alle gegevens die over een student uit het intake assessment naar voren komen: capaciteiten, motivatie, leerstijl, competenties en achtergrondkenmerken. 19

20 4.1.1 Effect op studie-uitvalpercentages na 1 jaar Bij deze effect analyse is gebruikt gemaakt van gegevens uit de accrediatiedatabase van de Hogeschool. Uitvalpercentages van de afgelopen vijf jaar zijn achterhaald inclusief het uitvalpercentage in het afgelopen studiejaar waarin enkele opleidingen hebben deelgenomen aan de pilot intakeprocedure in september De intakeprocedure bestond uit een digitaal assessment en afhankelijk van het resultaat daarvan al dan niet een aanvullend gesprek. In deze paragraaf zullen de studie-uitval percentages van opleidingen die hebben deelgenomen aan de intakeprocedure worden vergeleken met dezelfde opleidingen op locaties waar niet is deelgenomen of met eerdere cohorten. (peildatum november 2009) Variabele Effect van gehele intakeprocedure op studie-uitval Operationalisatie Percentage uitval na 1 jaar van participerende opleidingen in jaar van deelname ten opzichte van: 1) voorgaande 1 e jaren 2) zelfde, niet participerende, opleiding op andere INHolland vestiging Norm 1) Daling van het uitvalpercentage na 1 jaar van participerende opleidingen ten opzichte van voorgaande jaren (zonder intake) 2) Sterkere daling ten opzichte van niet participerende opleidingen Uitkomst Er wordt onderscheidt gemaakt tussen opleidingen waarvan veel studenten deel hebben genomen aan de intakeprocedure (sport en bewegen, communicatie, bedrijfseconomie) en opleidingen waarvan enkele studenten hebben deelgenomen (SPH, MWD, CE, Accountancy). De opleidingen met een deelnemersaantal kleiner dan 10 zijn samengenomen met de opleiding die er het meest aan verwant was. Hieronder volgen de resultaten voor opleidingen waar een voldoende grote groep studenten heeft deelgenomen aan de intakeprocedure om zo een vergelijking mogelijk te maken met niet deelnemende opleidingen. In bijlage 5 zijn de gegevens opgenomen van alle participerende opleidingen aan de pilot intake Opleiding Sport en bewegen (driejaars) gemiddelde Cohort 2008 Percentage absoluut Percentage relatief Haarlem 34,1 30,1 4,0 12 De opleiding Sport en Bewegen (S&B) wordt alleen verzorgd op de locatie Haarlem. De gegevens van de opleiding Sport en Bewegen konden daarom alleen vergeleken worden met de eigen uitvalgegevens in voorafgaande jaren. In Haarlem had S&B over de afgelopen jaren een gemiddeld uitvalpercentage van 34,1%. Het uitvalpercentage voor cohort is 30,1%. Er is derhalve sprake van een absolute daling van 4% (relatief 12%). 20

21 Opleiding Communicatie (Vijfjaars) gemiddelde Cohort 2008 Percentage absoluut Participerend Diemen 29,1 24,2 4,9 17 Niet participerend Den Haag 23,3 22,6 0,7 3 Rotterdam 24,3 21,2 3,1 13 Percentage relatief De participerende opleiding Communicatie in Diemen had over de afgelopen jaren een gemiddeld uitvalpercentage van 29,1%. Het uitvalpercentage voor cohort is 24,2%. Er is derhalve sprake van een absolute daling van 4,8 (relatief 17 %). Bij de niet participerende opleidingen Communicatie (Den Haag, Rotterdam) is het uitvalpercentage eveneens gedaald. De daling is in absolute en relatieve termen minder groot dan bij de opleiding in Diemen. Opleiding Bedrijfseconomie (Vijfjaars) gemiddelde Cohort 2008 Percentage absoluut Participerend Diemen 48,0 39,5 8,5 18 Niet participerend Alkmaar 38,3 27,6 10,7 28 Haarlem 41,5 40 1,5 4 Rotterdam 42,5 52,9-10,4 24 Zaanstad 38, Percentage relatief Bij de participerende opleiding Bedrijfseconomie (BE) in Diemen ligt het gemiddeld uitvalpercentage over de afgelopen vijf jaar op 48%. Het uitvalpercentage voor het cohort is 39,5%. Er is derhalve sprake van absolute daling van 8,5% (relatief 18%). De gegevens van Bedrijfseconomie opleidingen op andere locaties een wisselend beeld zien. De opleiding BE in Alkmaar laat een sterke daling zien, BE in Haarlem een geringe daling en de opleiding BE in Rotterdam een sterke stijging. Oordeel Op basis van de gegevens van drie opleidingen met veel deelnemers aan de intakeprocedure kan geconcludeerd worden dat bij alle drie de opleidingen het uitvalpercentage tijdens het jaar van deelname aan de intakeprocedure ten opzichte van uitvalpercentages in voorafgaande jaren gedaald is. Dit is een positief resultaat. Vraag twee is of dit positieve effect toe te rekenen is aan deelname aan de intakeprocedure; digitaal intake assessment plus al dan niet gesprek. Deze vraag kan gedeeltelijk beantwoord worden door de cijfers van participerende met niet participerende opleidingen met elkaar te vergelijken. Op basis van die vergelijking kan geen definitief uitsluitsel gegeven worden omtrent het effect van de intakeprocedure. Bij de opleiding Communicatie was de daling van het uitvalpercentage bij de participerende opleiding sterker dan bij dezelfde opleiding op andere vestigingen. Bij de opleiding BE was er een sterkere daling van het uitvalpercentage te constateren bij een niet participerende vestiging (Alkmaar). Echter ten opzichte van Haarlem en met name Rotterdam is de behaalde reductie van uitval in Diemen van 18% fors. 21

22 4.1.2 Effect op studietempo Bij deze analyse is gebruikt gemaakt van gegevens naar aanleiding van het digitale intake instrument in combinatie met gegevens uit het studentvolgsysteem van de Hogeschool. In deze analyse is gekeken of bepaalde onderdelen van het intake assessment gerelateerd zijn aan studietempo. Onderzocht is of de scores op de 1) capaciteitentest, 2) motivatievragenlijst, 3) leerstijlenvragenlijst, 4) competentievragenlijst, 5) achtergrondvragenlijst en 6) studiecijfers vooropleiding, gerelateerd zijn aan het studietempo van de student. Op basis van de resultaten van de student op bovenstaande onderdelen van het intake assessment werd een risicoscore berekend. Hoewel de risicoscore in eerste instantie bedoeld was om te bepalen welke studenten uitgenodigd worden voor een aanvullend intakegesprek, is in deze analyse ook gekeken of de risicoscore gerelateerd is aan studietempo na 1 jaar studeren. Variabele Relatie intake assessment en studietempo Operationalisatie Correlatie tussen onderdelen uit het intake assessment (capaciteitentest, motivatievragenlijst, leerstijlenvragenlijst, competentievragenlijst, achtergrondvragenlijst, studiecijfers vooropleiding), de risicoscore en het aantal behaalde ECTS na 1 jaar studeren voor de totale groep (n=348). Gezien de kleine aantallen per school/opleiding zijn er geen aparte analyses op school/opleidingsniveau gedaan. Norm Significante correlaties tussen onderdelen digitale intake, risicoscore en het aantal ECTS. Uitkomst Correlatie analyse op de gegevens van de gehele steekproef van 348 studenten 4 toont de volgende significante verbanden met het aantal behaalde ECTS: cijfers vooropleiding, r=.22, p=.001, n=252 extrinsieke motivatie, r=.-16, p=.003, n=324 intelligentie, r=.13, p=.018, n=324 geslacht, r=.16, p=.004, n=335 consciëntieusheid, r=.34, p=.006, n=65 Er zijn geen significante verbanden gevonden voor: score op achtergrondgegevens, intrinsieke motivatie, prestatiemotivatie, zelfvertrouwen, leerstijlen en de competentiescore. Ook de risicoscore bleek niet samen te hangen met het aantal behaalde ECTS. Oordeel Zoals verwacht zijn er enkele significante verbanden gevonden tussen onderdelen van het intake assessment en het aantal ECTS na 1 jaar studeren. Studenten met hoge cijfers in het voortgezet onderwijs behalen meer ECTS in 1 jaar in het HO. Extrinsiek gemotiveerde studenten behalen relatief 4 Door missing data verschillen de aantallen waarop de correlaties zijn gebaseerd. De lage n bij consciëntieusheid wordt veroorzaakt doordat alleen studenten van de opleiding Sport en Bewegen aanvullend een persoonlijkheidsvragenlijst hebben ingevuld. 22

23 minder ECTS. Vrouwen behalen meer ECTS dan mannen en hebben dus een hoger studietempo. Consciëntieuze studenten (planmatig, georganiseerd) behalen meer ECTS dan hun minder consciëntieuze medestudenten. Dit laatste resultaat is gebaseerd op een additionele afname van een persoonlijkheidsvragenlijst bij een a selecte steekproef van 65 studenten van de opleiding Sport en Bewegen Effect op studiesucces Bij deze analyse is gebruikt gemaakt van gegevens naar aanleiding van het digitale intake instrument in combinatie met gegevens uit het studentvolgsysteem van de Hogeschool. In deze analyse is gekeken of bepaalde onderdelen van het intake assessment gerelateerd zijn aan studiesucces. Onderzocht is of de scores op de 1) capaciteitentest, 2) motivatievragenlijst, 3) leerstijlenvragenlijst, 4) competentievragenlijst, 5) achtergrondvragenlijst en 6) studiecijfers vooropleiding gerelateerd is aan het studiesucces van de student (gemeten in gemiddeld studiecijfer na 1 jaar studeren). Op basis van de resultaten van de student op bovenstaande onderdelen van het intake assessment werd een risicoscore berekend. Hoewel de risicoscore in eerste instantie bedoeld was om te bepalen welke studenten uitgenodigd worden voor een aanvullend intakegesprek, is in deze analyse is ook gekeken of de risicoscore gerelateerd is aan studiesucces na 1 jaar studeren. De gegevens van 348 studenten, uit de instroom van september 2008, die het digitale assessment hebben gemaakt, zijn voor deze analyse gekoppeld aan prestatiegegevens (peildatum 10 juli 2009). Variabele Relatie intake assessment en studiesucces Operationalisatie Correlatie tussen onderdelen uit het intake assessment (capaciteitentest, motivatievragenlijst, leerstijlenvragenlijst, competentievragenlijst, achtergrondvragenlijst, studiecijfers vooropleiding), de risicoscore en het gemiddelde van de studiecijfers op behaalde toetsen na 1 jaar studeren. Norm Significante correlaties tussen onderdelen digitale intake, risicoscore en het gemiddeld studiecijfer. Uitkomst Correlatie analyse op de gegevens van de gehele steekproef (n=348) toont de volgende significante verbanden met het gemiddeld studiecijfer: cijfers vooropleiding, r=.20, p=.002, n=236 intelligentie, r=.15, p=.007, n=301 extrinsieke motivatie, r=.-20, p=.000, n=301 reproductieve leerstijl, r=.-11, p=.049, n=301 geslacht, r=.16, p=.006, n=312 Er zijn geen significante verbanden gevonden voor: score op achtergrondgegevens, intrinsieke motivatie, prestatiemotivatie, zelfvertrouwen, andere leerstijlen en de competentiescore. Ook de risicoscore bleek niet samen te hangen met het gemiddeld studiecijfer. Bij de opleiding Sport en Bewegen is een aanvullende persoonlijkheidsvragenlijst afgenomen. De aspecten die daarmee in kaart gebracht worden blijken vrij sterk samen te hangen met studiecijfers en behaalde credits. Middels het persoonlijkheidsonderzoek nam het percentage van de variantie dat verklaard kan worden in studiecijfers toe van 16% naar 29%. Vooral het persoonlijkheidsaspect consciëntieusheid blijkt van belang (r=.29, p=.019, n=65) 23

24 Oordeel Scores op het digitale intake assessment hebben beperkte predictieve waarde voor het voorspellen wie hoge en lage cijfers haalt. Vrouwen behalen gemiddeld iets hogere cijfers. Ook de studenten die hoog op de intelligentietests scores behalen gemiddeld hogere cijfers evenals studenten die hoge cijfers hebben behaald in hun vooropleiding. Extrinsiek gemotiveerde studenten en studenten met een reproductieve leerstijl behalen gemiddeld het minst hoge cijfers Effect op studie-uitval Bij deze analyse is gebruikt gemaakt van gegevens naar aanleiding van het digitale intake instrument in combinatie met gegevens uit het studentvolgsysteem van de Hogeschool. In deze analyse is gekeken of bepaalde onderdelen van het intake assessment gerelateerd zijn aan studie-uitval. Onderzocht is of de scores op de 1) capaciteitentest, 2) motivatievragenlijst, 3) leerstijlenvragenlijst, 4) competentievragenlijst, 5) achtergrondvragenlijst en 6) studiecijfers vooropleiding gerelateerd is aan studie-uitval. Op basis van de resultaten van de student op bovenstaande onderdelen van het intake assessment werd een risicoscore berekend. Hoewel de risicoscore in eerste instantie bedoeld was om te bepalen welke studenten uitgenodigd worden voor een aanvullend intakegesprek, is in deze analyse ook gekeken of de risicoscore gerelateerd is aan studie-uitval na 1 jaar studeren. De gegevens van 348 studenten, uit de instroom van september 2008, die het digitale assessment hebben gemaakt, zijn voor deze analyse gekoppeld aan prestatiegegevens (peildatum november 2009). Variabele Relatie intake assessment en studie-uitval na 1 jaar. Operationalisatie Correlatie tussen onderdelen uit het intake assessment (capaciteitentest, motivatievragenlijst, leerstijlenvragenlijst, competentievragenlijst, achtergrondvragenlijst, studiecijfers vooropleiding), de risicoscore en de status van de student na 1 jaar (actief versus niet actief). Norm Er waren verschillen tussen studiestakers, switchers naar een andere studie, studenten met een negatief BSA en actieve studenten verwacht. Uitkomst De gegevens van 348 studenten, uit de instroom van september 2008, die het digitale assessment hebben gemaakt, zijn voor deze analyse gekoppeld aan uitvalgegevens. Van de groep van 348 studenten is na 1 jaar 64% actief, 3% geswitcht naar een andere opleiding binnen INHolland, 30% uitgevallen en 3% niet aan de opleiding begonnen. Van de uitvallers is ongeveer de helft de opleiding gestopt vanwege een BSA. In de eerste analyse zijn de scores van drie groepen met elkaar vergeleken (niet begonnen, uitgevallen en actieve studenten). Een vergelijking tussen deze groepen toont aan dat de studenten die (na het digitale intake assessment) besluiten om niet aan de opleiding te beginnen significant lager scoren qua intellectuele capaciteiten, significant hoger scoren dan actieve studenten op de toepassingsgerichte leerstijl, zichzelf significant hoger dan actieve studenten beoordelen op de competentievragenlijst (vooral op de competenties: analyseren, besluiten nemen, flexibel opstellen, sturen van de eigen ontwikkeling). 24

25 In een tweede analyse zijn actieve en uitgevallen studenten (vrijwillig danwel onvrijwillig (negatief BSA)) met elkaar vergeleken. Uit die analyse komt naar voren dat er nagenoeg geen significante verschillen bestaan (α <5%) tussen actieve en uitgevallen studenten, met uitzondering van een hogere score van gestopte studenten op Extrinsieke motivatie en de Betekenisvolle leerstijl. In een derde analyse is gekeken naar verschillen tussen vrijwillig uitgevallen studenten (weg bij INHolland, n=56) en onvrijwillig uitgevallen studenten (negatief BSA, n=49). Uit die analyse komt naar voren dat er geen significante verschillen bestaan (α <5%) tussen studenten die zelf hun studie beëindigden en studenten die dat vanwege een BSA gedaan hebben. Uitval kan het gevolg zijn van vele oorzaken en is vaak een combinatie van factoren (mismatch verwachtingen (34%), persoonlijke omstandigheden (32%), geen vertrouwen in goede afloop (18%) en het studieprogramma (18%) 5. Een verklaring kan zijn dat er bij deze aantallen (n=348) geen significante verschillen tussen actieve en uitgevallen studenten gevonden worden. Een andere mogelijke verklaring is dat de studenten die een verhoogd risico hadden op uitval snel en adequaat gedetecteerd en begeleid zijn en daardoor succesvoller zijn geworden. Een dergelijke (succesvolle) interventie verkleint vervolgens de kans dat onderdelen van het intake assessment en de risicoscore nog voorspellende waarde hebben. Uit enkele specifieke analyses (zie 4.1.6) blijkt overigens dat studie-uitval bij mannen wel gerelateerd is aan onderdelen van het intake assessment. Oordeel Scores op het digitale intake assessment hebben geen predictieve waarde voor het voorspellen wie uitvalt na 1 jaar studeren Effect van (studiekeuze/intake) gesprek Variabele Nut van het gesprek Operationalisatie Na elk gesprek met een student met een risicoscore vult de intaker een gespreksformulier in. Op dit gespreksformulier staan enkele vragen omtrent risico aspecten en het nut van het gesprek. Norm Intake voor de poort heeft zowel studiekeuze als binding als doel. Het is praktisch nagenoeg onhaalbaar, en wellicht ook niet nodig, om met alle studenten voor de poort een intakegesprek te voeren. Daarom doen alle studenten eerst het digitale assessment. Op basis van dat assessment wordt per student een risicoscore berekend en studenten met een hoge risicoscore worden uitgenodigd voor een aanvullend intakegesprek. De basisgedachte is dat het zinvol is voor deze studenten om voor de poort een gesprek te hebben. In een analyse van het intakegesprek is gekeken of studenten, in de optiek van de intaker (doorgaans slb er van de opleiding) terecht voor een intakegesprek waren uitgenodigd. Verwachting was dat voor de studenten die geselecteerd en uitgenodigd waren voor een gesprek (voor de poort) het gesprek voor de meerderheid als nuttig aangeduid zou worden (> 75%). 5 Bron: INHolland uitvalrapportage

26 Uitkomst Gegevens zijn geanalyseerd van intakegesprekken hebben plaats gevonden tijdens de pilot van september In 89% van de gevallen bleek de intaker van mening dat de student terecht voor een aanvullend gesprek was uitgenodigd. Blijkbaar was het voor de resterende 11% niet per se noodzakelijk geweest om een aanvullend gesprek te hebben. Dit resultaat toont twee belangrijke zaken aan. Enerzijds lijkt het dat de risicoscore een juiste (valide) schifting maakt tussen studenten die wel en niet op gesprek hoeven te komen. De verwachting is dat datzelfde zal gelden voor de studenten met een lage risicoscore. Het zal dan niet noodzakelijk zijn om met alle studenten voor de poort een aanvullend intakegesprek te voeren. Met de studenten met een lage risicoscore kan het gesprek over zijn/haar resultaten op het digitale intake assessment ook plaats vinden tijdens het eerste slb gesprek. Van 50 studenten waarmee een intakegesprek heeft plaats gevonden in de periode meiseptember 2008 zijn aanvullende gegevens over de inhoud van het gesprek verkregen. Bekend is of de score op een bepaalde categorie uit het intake assessment 1) intellectuele capaciteiten, 2) motivatie, 3) competenties, 4) beroepskeuze en 5) achtergrondaspecten reden was om aan te nemen dat de student risico loopt op uitval. Vaak ging het om risico s op meerdere van de bovenstaande categorieën. Als achtergrondkenmerken als risicopunt uit het assessment naar voren kwamen (16 maal), blijkt dat na het gesprek achtergrondkenmerken nog voor 10 studenten als risicofactor gezien wordt door de intakers. In zes gevallen is het risico in de optiek van de intakers, geen risicofactor meer. Als intellectuele capaciteiten als risicopunt uit het assessment naar voren kwam (21 maal), blijkt dat na het gesprek intellectuele capaciteiten nog voor 16 studenten een risicofactor is. Voor 5 studenten is het geen risicofactor meer. Mogelijk biedt een cijferlijst van het VO tegenwicht aan een tegenvallende testuitslag. Als beroepsbeeld als risicopunt uit het assessment naar voren kwam (9 maal), blijkt dat na het gesprek beroepsbeeld nog voor 2 studenten een risicofactor is. In 7 gevallen is het risico in de optiek van de intakers dus geen risicofactor meer. Een mogelijke verklaring is dat het intakegesprek voor het beroepsbeeld verhelderend werkt. Wanneer competenties als risicopunt uit het assessment naar voren kwamen (36 maal), blijkt dat na het gesprek competenties nog voor 19 studenten een risicofactor zijn. In 17 gevallen is het risico in de optiek van de intakers geen risicofactor meer. De competentievragenlijst is een zelf-assessment. Een mogelijke verklaring is, dat bij doorvragen blijkt dat de student zichzelf te laag ingeschat heeft. Als motivatie als risicopunt uit het assessment naar voren kwam (32 maal), blijkt dat na het gesprek motivatie nog voor 15 studenten een risicofactor is. In 17 gevallen is het risico in de optiek van de intakers geen risicofactor meer. Een mogelijke verklaring is, net als bij beroepsbeeld, dat het gesprek verhelderend werkt voor. Op basis van het intakegesprek zijn in 67% van de gevallen een of meerdere vervolgafspraken gemaakt. In 4% betrof dat het heroverwegen van de studiekeuze, in 29% van de gevallen werd er doorverwezen naar de slb er en in 4% naar een decaan. In 9% van de gevallen werd de student doorverwezen naar een deficiëntieprogramma. In 21% van de gevallen werden er meerdere afspraken gemaakt, vaak een combinatie van een gesprek met een decaan en slb er. Oordeel Op basis van het percentage terecht uitgenodigd van 89% is de opzet van een schifting middels een risicoscore ten opzicht van de vooraf gestelde norm van 75% geslaagd. Elk gesprek lijkt effect te sorteren. Op veel deelgebieden kunnen risicoaspecten direct aangepakt worden. Er lijken naar aanleiding van de gesprekken een aantal quick-wins gemaakt te kunnen 26

27 worden. Verder wordt er in veel gevallen vroegtijdig doorverwezen. Dat laatste zou het studiesucces van de student kunnen vergroten doordat de student vroegtijdig zaken, bv. taaldeficiëntie, aanpakt. In vervolgonderzoek zou opgepakt kunnen worden in welke mate afspraken zijn nagekomen en met welk effect. Daarnaast lijkt het interessant om goed te kijken wat er in de gesprekken precies gebeurt om zo te kunnen achterhalen waarom er na het gesprek geen risico meer is Aanvullende analyses Aanvullend is onderzocht of er verschillen zijn tussen Havisten en Mbo ers en tussen mannen en vrouwen qua studentkenmerken en studiesucces. Havo versus MBO Er zijn geen significante verschillen in studieprestaties tussen Havisten en Mbo ers geconstateerd. Havisten behaalden een gemiddeld cijfer van 6.93, tegen Mbo ers een Havisten behaalden gemiddeld credits, tegen Mbo ers Van de 181 havisten zijn er 19 gestopt (10.5%), tegen 14 van de 122 Mbo ers (11.5%). Man versus vrouw Er zijn een aantal significante verschillen gevonden in de scores van mannen en vrouwen op het digitale intake assessment. Mannen zijn gemiddeld extrinsieker gemotiveerd. Vrouwen daarentegen zijn gemiddeld intrinsieker gemotiveerd en hebben gemiddeld hogere studiecijfers behaald tijdens hun vooropleiding. Na 1 jaar studie blijkt dat vrouwen gemiddeld hogere cijfers (7.00) en gemiddeld meer credits (43) behalen dan mannen (6.85; 36 credits). De uitvalpercentages tussen mannen (14%) en vrouwen (13%) bleek niet significant te verschillen. Gekeken is of verschillende aspecten gerelateerd zijn aan studieprestaties en studie-uitval bij deze twee groepen. Bij mannen blijken studiecijfers gerelateerd aan intelligentie en extrinsieke motivatie. Behaalde credits blijkt gerelateerd aan behaalde studiecijfers tijdens de vooropleiding. Uitval bij mannen blijkt gerelateerd aan intelligentie, intrinsieke motivatie en een toepassingsgerichte leerstijl. Bij vrouwen blijken studiecijfers gerelateerd aan intelligentie en behaalde studiecijfers tijdens de vooropleiding. Behaalde credits na één jaar blijkt gerelateerd aan intelligentie en extrinsieke motivatie. Studie-uitval bij vrouwen is niet gerelateerd aan de scores op het intake assessment. Wel is er een aanwijzing dat achtergrondkenmerken (zorgtaken e.d.) bij deze groep een rol spelen. Omdat het om kleine aantallen vrouwelijke uitvallers in de dataset gaat (n=15) is het niet verwonderlijk dat er voor deze groep geen significante voorspellers gevonden worden. De kans is aanzienlijk dat er met een grotere dataset wel significante voorspellers voor deze groep gevonden worden. 27

28 4.2 Oordeel betrokkenen Samenvatting in tabelvorm deel 2: oordeel van betrokken over intake Variabele Operationalisatie Norm Uitkomst Oordeel Oordeel studenten Scores op digitale over intakeprocedure survey bestaande uit 17 vragen Oordeel intakers over gesprek Oordeel slb ers over intakeprocedure Oordeel intake coördinatoren over intakeprocedure Oordeel intakers over kwaliteit voorinformatie (rapport) en nut van gesprek. Een kwalitatieve evaluatie onder slb ers gericht op de verkregen informatie (het rapport) naar aanleiding van de intake. Mening over intakeprocedure 2009 Grote tevredenheid of verbeterende tevredenheid Er was vooraf geen norm vastgesteld. Er was vooraf geen norm vastgesteld. Er was vooraf geen norm vastgesteld. Over de gehele linie score de studenten op of boven het schaalgemiddelde (3). Daarbij verschillen de scores per afname van het intake assessment minimaal. Intakers positief over voorinformatie (rapport). Meerderheid van studenten terecht uitgenodigd. Veel quick-wins. slb ers positief over de informatie die beschikbaar komt voor slb. Spin-off effecten waaronder professionaliseren slb en slb ers. Coördinatoren zijn positief over de toegevoegde waarde van intaken Positief resultaat. Studenten zijn steeds vaker van mening dat intake een nuttig initiatief is. Intakers positief over vroegtijdig intaken van risicostudenten. Positief, temeer deelname aan intake leidt tot positieve spin-off effecten. Positief resultaat met name in het licht van verdere opschaling intakes. In dit deel van de resultaatevaluatie worden de resultaten beschreven van de evaluaties onder betrokkenen bij de intakeprocedure. De gegevens worden weergegeven per intakemoment 1) meiseptember 2008, 2) januari-februari 2009 en 3) mei-september

29 4.2.1 Oordeel studenten Variabele Oordeel studenten over de intakeprocedure (procedure, instrumenten en gesprek) Operationalisatie Middels een digitale survey van 17 vragen is studenten naar hun mening gevraagd over het intake assessment. Er is, tenzij anders aangegeven, sprake van een 5 punts schaal. De antwoordcategorieën staan bij iedere vraag aangegeven. Norm Er is gestreefd naar een positieve beoordeling op alle vragen. Dat betekent veelal dat de gemiddelde score boven het schaalmidden (3) moet liggen. Echter bij vragen 4,6,10 en 13, vanwege de antwoordschaal, onder of rond het schaalmidden. Tevens is gestreefd naar verbetering van de score over de intake-afnamen heen, wat zich uit zou moeten drukken in een verbetering van de scores door de studenten. Uitkomst Hieronder worden per afname van het intake assessment het aantal deelnemers, het aantal ontvangen digitale evaluaties en het responspercentage weergegeven. sept 2008 febr 2009 sept 2009 aantal afgenomen intakes aantal evaluaties n=110 n=72 n=378 % ingevulde evaluaties 32% 36% 27% Uitkomst evaluatie vragen betreffende digitale assessment In de onderstaande tabel staan de gemiddelde scores per stelling voor de drie intake afnames betreffende het digitale deel van de intakeprocedure. Vraag Sept. Febr. Sept Was het van tevoren duidelijk wat het doel van het intake 3,3 3,4 3,3 assessment is? (zeer onduidelijk zeer duidelijk) 2 Zag je er van tevoren het nut van in om het intake assessment te 2,6 2,7 2,9 maken? (helemaal niet - zeer veel nut) 3 Hoe heb je het maken van het intake assessment in het algemeen 2,7 3,0 2,9 ervaren? (erg vervelend - erg leuk) 4 Hoe vond je de lengte/tijdsduur van het intake assessment? 4,0 3,2 3,4 (veel te kort - veel te lang) 5 Was de rapportage over de uitkomsten van het assessment 3,2 3,2 3,1 voldoende duidelijk? (nee- zeer goed) 6 Wat vond je van de hoeveelheid informatie die in het rapport 3,5 2,9 3,0 wordt gegeven? (veel te weinig - veel te veel) 7 Klopt het beeld van (klopt niets van klopt zeer goed) a. je capaciteiten? 3,1 3,0 3,1 b. je beroepskeuze? 3,

30 c. je motivatie? 3,2 3,2 3,1 d. je competenties 2,9 3,1 3,1 8 Hoe belangrijkheid vind je het volgende onderdeel in het intake assessment? a. capaciteiten 3,7 3,6 3,6 b. beroepskeuze 3,6 - - c. motivatie 3,6 3,7 3,6 d. competenties 3,4 3,5 3,6 9 Hebben de assessmentresultaten je meer zekerheid gegeven over 2,9 3,1 3,0 je studiekeuze? (nee, ik ging me veel onzekerder voelen ja, ik voelde me veel zekerder) 10 Had je na het ontvangen van de rapportage behoefte aan een gesprek? (helemaal niet zeer veel) 1,9 2,2 2,1 Uitkomst evaluatie vragen betreffende (studiekeuze) gesprek In de onderstaande tabel staan de gemiddelde scores per stelling voor de drie intake-afnames betreffende het (studiekeuze)gesprek. Deze vragenlijst is zowel bij studenten met een risicoscore afgenomen (die dus een intakegesprek hebben gehad) als bij studenten zonder risicoscore (die na de start van de opleiding een gesprek met hun slb er hebben gehad). Helaas is niet te achterhalen wat het verschil in antwoorden is tussen deze twee categorieën. 11 Heb je na het ontvangen van de rapportage hierover een gesprek gehad? ja, voor of bij de start van de studie nee, staat gepland voor periode 1 nee 12 Gespreksduur (veel te kort veel te lang) 13 Vond je het bezwaarlijk om je uitkomsten met een docent te bespreken? (helemaal niet heel bezwaarlijk) 14 In hoeverre vond je het nuttig om een gesprek te hebben? (volkomen nutteloos zeer nuttig) 15 Heb je aan het eind van het gesprek concrete afspraken gemaakt? ja nee 16 Heb je iets met deze afspraken gedaan? ja nee nog van plan 17 Wat vind je van het initiatief van INHolland om vroegtijdig intake assessment te doen? (zeer onnodig zeer nuttig) (n=109) 24% 11% 65% (n=71) 18% 39% 42% (n=373) 39% 19% 42% 3,1 2,9 2,9 1,5 1,3 1,4 3,2 3,5 3,5 31% 69% 21% 60% 18% 61% 39% 24% 29% 47% 47% 53% 28% 41% 30% 3,3 3,5 3,6 Oordeel Over de gehele linie scoren de studenten in de positieve richting ten opzichte van het schaalgemiddelde. Daarbij verschillen de scores per afname van het intake assessment minimaal. Uitzondering is de hoge score op lengte van het assessment (vr. 4) in september Het inkorten 30

31 (verwijderen van beroepskeuzetest) van het assessment heeft effect gehad, gezien de positievere scores in februari en september Verder blijkt dat studenten steeds sterker van mening te zijn dat het doen van een intake een nuttig initiatief is gezien het oplopen van de scores op intake initiatief (vr.17) van 3.3 naar 3.6 in september Een mogelijke verklaring hiervoor is de informatievoorziening aan studenten. Het percentage studenten dat afspraken maakt naar aanleiding van het persoonlijke gesprek, en daar vervolgens iets mee doet, (vragen 15, 16) is relatief laag Oordeel intakers Variabele Oordeel intakers over de (studiekeuze/intake) gesprekken. Operationalisatie Middels een formulier is de mening van intakers gepeild over de informatie die zij vooraf krijgen naar aanleiding van de uitkomst van het digitale assessment en over het nut van het gesprek. Norm Er was vooraf geen norm vastgesteld. Uitkomst Samenvattend zijn de intakers die de gesprekken hebben gevoerd met de studenten in september 2008 positief over de informatie die zij met het digitale assessment instrument verkrijgen. Uitnodiging voor een intakegesprek, op basis van het assessmentrapport en de bijbehorende risicoscore, is volgens de intakers in bijna alle gevallen terecht (89%). In het gesprek worden veel quick wins gerealiseerd (zie 4.1.5). In 67% van de gevallen worden vervolgafspraken gemaakt, een voorbeeld daarvan is dat de student een deficiëntiecursus gaat volgen op een bepaald gebied of dat de student contact opneemt met de decaan. Het was voor de intaker niet te achterhalen in hoeverre studenten de gemaakte afspraken, ook al zijn die in zijn of haar eigen belang, zijn nagekomen. Oordeel Het oordeel van intakers over het nut van de gesprekken is van belang aangezien zij bepalend zijn voor de kwaliteit van het gesprek. Uit deze evaluatie komt naar voren dat zij positief zijn over het vroegtijdig intaken van studenten middels een aanvullend gesprek Oordeel slb ers Variabele Oordeel slb ers over intakeprocedure. Operationalisatie Een kwalitatieve evaluatie onder slb ers gericht op de verkregen informatie (het assessmentrapport) naar aanleiding van de intake. Norm Er is vooraf geen norm vastgesteld. 31

32 Uitkomst Het project intake assessment had niet tot doel te interveniëren in slb programma s van opleidingen. Uit een kwalitatieve evaluatie onder slb ers die werken bij opleidingen die mee hebben gedaan met de intake blijkt dat zij positief zijn over de informatie die beschikbaar komt ten behoeve van de studieloopbaanbegeleiding. Zo blijkt soms het zelfbeeld van de student niet geheel in overeenstemming met zijn capaciteiten. Er kan sprake zijn van over- en onderschatting. Dat zijn gespreksonderwerpen voor de studieloopbaanbegeleiding. Docenten zijn ook positief over het feit dat een aantal problemen nu al voor de poort aangepakt kan worden, zoals onzekerheid over de studiekeuze, faalangst en taaldeficiënties. Docenten geven ook aan dat het een prettige manier is om aanknopingspunten te krijgen voor een eerste gesprek. Verder is goed gebruik gemaakt van de professionaliseringsmogelijkheden voor slb ers (training intakegesprekken). Schools hebben intake gebruikt om hun slb steviger te starten. Zie hoofdstuk 6 voor meer informatie over het verband tussen intake en slb. Oordeel Naast het gegeven dat de slb ers positief zijn over de informatie uit de intake (het assessmentrapport plus eventueel gespreksverslag) zijn er enkele spin-off effecten te constateren zoals het professionaliseren van slb en slb ers Oordeel intake coördinatoren Variabele Oordeel intake coördinatoren over intakeprocedure van september Operationalisatie Middels een kwalitatieve evaluatie met de intake coördinatoren is hun mening gepeild over het proces van intaken. Norm Er is vooraf geen norm vastgesteld. Uitkomst De aansluiting bij onderwijsprocessen wordt door de meeste Schools/clusters (12) als (zeer) goed ervaren. Vier geven de score gemiddeld, en twee geven de score slecht. Voor zover door de respondent een reden is gegeven voor een lage score, gaat het om de wens om (hogeschoolbrede) deficiëntieprogramma s beter te organiseren, om het nut van deze intakes af te wegen tegenover een (soortgelijk) uitgebreid programma dat al bestaat binnen de eigen School en vanwege een eerste kleine deelname waarvoor nog geen aansluiting met slb was georganiseerd. Over de meerwaarde van intakes werd veel geschreven. Het valt als volgt samen te vatten. Toegevoegde waarde intakes Aantal Schools/clusters Opsporen deficiënties 8 Meer (zelf)inzicht geven aan de student 6 Binding met de opleiding/school 5 Basis voor eerste slb-gesprek 5 Informeren student over verwachtingen van de opleiding 3 Weinig/geen 1 32

33 Enkele quotes uit de evaluatie: Goede tool voor persoonlijke touch en kennismakingsgesprekken krijgen meer inhoud (School of Law). Student krijgt een beter beeld van de opleiding en van eigen niveau. Een goed startpunt voor slb (School of Communication Rotterdam). De nieuwe student zal zeker het gevoel hebben dat hij/zij belangrijk wordt gevonden.ttijdsintensief maar interessant traject. (School of Education Amsterdam). Het is een extra contactmoment en de rapportage is goede input voor eerste gesprek (School of Economics Rotterdam, cluster Leisure). Schenkt aandacht aan de individuele student. (School of Education Den Haag). Intakegesprekken worden ervaren als zinvol en nuttig. Eerdere doorverwijzing naar decaan of SAC (Studiekeuze Advies Centrum), beter begeleiden of vroegtijdig ingrijpen slb er mogelijk (School of Economics Den Haag). Prima insteek voor een eerste gesprek met studenten en het opsporen van deficiënties (School of Economics Diemen). Ook als studenten zich niet herkennen in de resultaten is het nuttig voor beide partijen om de student op de hoogte te brengen van de diverse voorzieningen (School of Social Work Amsterdam). Goede basis voor eerste slb-gesprek, je begint niet vanaf nul, zodat je als slb er en tutor nog beter aandacht hebt voor verbeterpunten van de studenten. (School of Economics Den Haag). Oordeel In het algemeen zijn de intake coördinatoren positief over het initiatief. Deze uitkomst is in het licht van verdere implementatie van intakes bij INHolland positief. 33

34 5 Procesevaluatie Onderstaande weergave van het functioneren van het arrangement is grotendeels gebaseerd op een evaluatie onder medewerkers (intake coördinator, testleiders en studieloopbaanbegeleiders (slb ers)) van deelnemende opleidingen in september Deze evaluaties zijn verzameld per School, cluster en opleiding en besproken met iedere School. Tien Schools hebben deze ingevuld. Verder zijn onderzoeksformulieren (64) die door slb ers zijn ingevuld naar aanleiding van de intakegesprekken gebruikt. Ook zijn de praktijkervaringen van projectleden (coördinatietaak) vanuit centrale aansturing over meningen en wijze van uitvoeren in de Schools gebruikt. 5.1 Reflectie terug Gerealiseerd ontwerp Over het algemeen is het in september 2009 gegaan zoals gepland zonder veel tussentijdse aanpassingen. Wat opvalt is dat het afnamemoment in de helft van de gevallen tijdens het onderwijs zelf plaats vindt, een kwart echt voor de poort en een kwart ertussenin: in de introductieweek. Aan sommige adviezen vanuit het project intakes is door de uitvoerende partijen niet altijd gehoor gegeven (bijvoorbeeld vooraf bellen om opkomst te verhogen). In onderstaande alinea s staan specifieke praktijkbeschrijvingen van de uitvoeringselementen. Een tussentijdse aanpassing die door Schools zelf is gedaan is het opnieuw uitnodigen van de no shows. Dit en meer is in de onderstaande paragrafen na te lezen. NB Het digitale intake assessment is vanaf de 2008-groep gewijzigd doordat de beroepskeuze test eruit is gehaald (op projectniveau besloten). Afnamemoment digitale test De grootste groep digitale tests van de instroom september 2009 heeft plaatsgevonden tijdens de eerste onderwijsperiode. Bij slechts 23% is de afname voor de poort gebeurd. Dat is dus niet verlopen zoals gepland, maar de meerderheid van de deelnemende opleidingen voorzag organisatorische en logistieke problemen en koos voor de introductieweek of de eerste onderwijsperiode. Aankleding van de digitale test Geadviseerd werd om het digitale test-moment aan te kleden met een andere opleidingsgebonden activiteit. In de helft van de gevallen is de digitale test vóór de poort dus aangekleed met andere activiteiten (zie onderstaande tabel). De meest genoemde activiteiten zijn voorlichting en introductie. Andere activiteiten zijn: een goody bag, de mogelijkheid om vragen te stellen aan docenten en zittende studenten en een opleidingsgerelateerde workshop met een borrel. De School of Communication in Rotterdam had de digitale intake gecombineerd met een workshop contractonderhandelaar: De reacties over de avond waren erg positief. aangekleed ja/nee (aantal Schools/clusters) Voor de poort ja = 3, nee = 3 Introductieweek ja = 8, nee = 1 Onderwijsperiode ja = 4 34

35 Dat andere activiteiten, dan alleen de digitale test, geprogrammeerd worden tijdens de introductieweek en het onderwijs is vanzelfsprekend. Daarbij kan worden opgemerkt dat een tweetal Schools heeft aangegeven dat het uitvoeren van de digitale test tijdens een introductieweek voor extra drukte (bij medewerkers en studenten) zorgt en dat het beter in de eerste onderwijsweek kan worden gepland. Wijze van uitnodiging en opkomst Aan deelnemende Schools werd aangeraden om bij de afnames vóór de poort niet alleen een schriftelijke uitnodiging voor de digitale test te doen, maar de student ook te bellen. Achterliggende gedachte is dat daardoor het percentage no shows daalt. Hieraan is niet door alle Schools c.q. clusters gehoor gegeven. Omwille van onvolledige evaluatiegegevens is geen conclusie te trekken over de hypothese dat opbellen bij afnames voor de poort voor een grotere opkomst zorgt. Om toch een idee te geven over het effect van vooraf opbellen nemen we hieronder de informatie uit de februari (2009)-pilot op. Het opbellen is door de Research Company gedaan. Hun rapportage geeft inzicht in de verhouding inspanning/resultaat van het opbellen bij intakes voor de poort. NB Deze externe partner wordt niet meer betrokken omdat het te hoge eisen stelde aan de administratieve organisatie van de opleiding. Die kon deze tijd dan net zo goed besteden aan het zelf opbellen van studenten Callkwalificatie Totaal afgenomen 66 67% fout nummer 18 18% niet bereikt na 3 belpogingen 14 14% Totaal % Status Totaal niet bereikt (fout nummer of niet bereikt na 3 pogingen) 32 33% komt niet op het assessment % komt op het assessment 36 37% komt op het assessment maar heeft ook nog inhoudelijke vragen 7 7% uitnodiging niet ontvangen maar komt wel op het assessment 12 12% Totaal % Welkomstbrief Een welkomstbrief aan die studenten waarmee géén intakegesprek gepland wordt, wordt aangeraden in het kader van persoonlijke benadering en binding. Door de helft van de Schools cq clusters is aan deze studenten een welkomstbrief of -mail verstuurd. De intakegesprekken en gesprekken met niet-risico studenten Tweederde van de Schools heeft de standaard grensscore van 6 of hoger gebruikt om op basis van de totaalscore van de digitale test een student uit te nodigen voor een intakegesprek. 6 Redenen om niet op het assessment te komen waren: wacht nog op uitslag 21+ toets; is de 21+ toets misgelopen (3x); gaat niet meer studeren (5x); start pas in september en wil liever dan een assessment doen (2x); kan niet aanwezig zijn (2x); gaat andere opleiding doen (2x); gaat naar een andere hogeschool; gaat met oude opleiding door. 35

36 Twee Schools hebben hun eigen meetlat gebruikt ( 7, vs 4) en twee Schools hebben niet bericht wat hun meetlat was. Van de slb ers die de evaluatie hebben ingevuld, geeft 82% aan dat studenten een intakegesprek hebben gehad met de eigen slb er. Bij de andere Schools is dit niet gebeurd omdat de klassen nog niet bekend waren en/of dat de slb ers nog geen training hadden gehad. Bij een van de Schools waar de intakegesprekken niet met de eigen slb er werd gevoerd, werd dat niet als nadeel ervaren. De studenten vonden het plezierig alvast docenten te kennen, dat hoefde niet perse de eigen slb er te zijn. Gesprekken met niet-risico studenten: het merendeel (7 Schools) heeft in de eerste periode gesprekken met niet-risico studenten gevoerd, bij de andere Schools gebeurde dit tijdens de tweede periode. Bij één School is aan de niet-risico studenten gevraagd toestemming te geven om het rapport aan de slb er te geven, waardoor het niet automatisch besproken is. Verbinding intakes met het slb-programma De meeste Schools/clusters geven aan dat er een koppeling is gemaakt tussen het intake assessment en de slb-lijn. Bij sommige Schools is de koppeling tussen intake en slb al verankerd, bij andere hangt het nog af van initiatieven van individuele slb docenten. In hoofdstuk 6 zijn een aantal practices beschreven. Aansluiting bij onderwijsprocessen De aansluiting bij onderwijsprocessen wordt door de meeste Schools/clusters (12) als (zeer) goed ervaren. Vier geven de score gemiddeld, en twee geven de score slecht. Voor zover door de respondent een reden is gegeven voor een lage score, gaat het om de wens om: (hogeschoolbrede) deficiëntieprogramma s beter te organiseren; om het nut van deze intakes af te wegen tegenover een (soortgelijk) uitgebreid programma dat al bestaat binnen de eigen School; vanwege een eerste kleine deelname waarvoor nog geen aansluiting met slb was georganiseerd. Excellentie Eén School heeft geëxperimenteerd door het intake assessment ook in te zetten om te kunnen selecteren voor excellentie en daarmee voor eventuele deelname aan een Honours Programma. Hierbij hebben zij de aanname gemaakt dat de studenten met een lage score op het intake assessment, excellent zijn (in vergelijking met studenten met een hoge score die risicostudenten zijn). Daarbij moet aangetekend worden dat de risicoscore is gebaseerd op uitvalredenen en een lage risicoscore op uitval niet zonder meer ook excellentie betekent. De studenten met een lage score zijn achterhaald en voorgelegd aan de studieloopbaanbegeleiders van deze studenten. Deze studieloopbaanbegeleiders konden zich niet vinden in de studenten die hier uit kwamen, dit waren volgens hen niet de studenten die boven de groep uitstaken wat betreft studieprestaties en motivatie. Uit dit experiment is de conclusie getrokken dat de aanname dat studenten met een lage score excellent zijn, niet direct opgaat. Als er opschaling plaatsvindt van zowel het intake assessment als het Honours Programma, dan is onderzoek mogelijk naar welke specifieke competenties en capaciteiten uit het intake assessment gekeken zou moeten worden om zo excellentie te kunnen voorspellen. Tweede kans no-shows Sommige Schools hebben er voor gekozen om de no-shows op een later moment alsnog de digitale test te laten doen. Een overzicht: 36

37 afnamemoment tweede kans testafname voor no shows ja/nee (aantal Schools cq clusters) Voor de poort ja = 2, nee = 3 Introductieweek ja = 5, nee = 6 Onderwijsperiode nee = 3 Enkele uitspraken over no-shows: We hebben no-shows niet benaderd want er was geen tijd/ruimte meer voor. Plus het zou niet eerlijk zijn ten opzichte van de studenten die speciaal hiervoor naar school zijn gekomen en gehoor hebben gegeven aan onze oproep. No-shows zijn gestimuleerd om na de zomervakantie alsnog het assessment te doen, op vrijwillige basis. We geven no-shows één extra kans, net als bij tentamens. We willen ze direct leren dat maar één herkansing mogelijk is, dus dat ze gewoon moeten komen. Late aanmelders Een opleiding heeft heel bewust gekozen om alleende late aanmelders een intake assessment af te nemen omdat dat voor de opleiding een risicogroep is. De slb ers van die opleiding waren zeer tevreden over het gebruik van deze tool (intakes). Deze opleiding gaat dat bij de volgende instroom weer doen. Andere Schools die met late aanmelders werken laten hen het intake afnemen eind september (test tot 1 oktober en gesprekken na 1 oktober) zodat ook deze groep in beeld is en bij de totale instroom op eenzelfde wijze gestart is. Dit houdt wel in dat er in meerdere rondes in de eerste onderwijsweken nog assessments moeten worden afgenomen Uitvoeringssuccessen Ondersteuning vanuit de projectgroep en de School Uit de medewerkersevaluatie blijkt dat een van de uitvoeringssuccessen de ondersteuning vanuit de projectgroep is: het merendeel van de bevraagde docenten en medewerkers vindt de voorbereiding en ondersteuning vanuit het intake project goed tot zeer goed (79% (=26 van de 33 respondenten)). De ondersteuning vanuit de School zelf wordt door 70% van de respondenten (23 van de 33) goed tot zeer goed bevonden. Een enkele keer wordt de voorbereiding en ondersteuning als onvoldoende ervaren. Redenen hiervoor zijn de behoefte aan een meer duidelijke training, een betere planning (soms waren de gesprekken met studenten in onderwijsperiode 1 al gevoerd voordat de uitslag van de intakes bekend was bij de slb er) en meer afstemming van taken (taken intake coördinator, taken testleider, taken administratieve ondersteuners) binnen de School. Gesprekken De ondersteuning vanuit de projectgroep (centrale organisatie) is vooral ingevuld door bij de start van een deelnemende opleiding of School een ondersteuningsgesprek met de intake coördinator en de testleider te houden (al dan niet in aparte gesprekken en/of vervolggesprekken). In die gesprekken werd het doel en de uitvoering van de intakes besproken. Ook de trainingsmogelijkheden voor slb ers en testleiders kwam daarin aan de orde. Ondersteuning: teamsite en draaiboeken Voor de ondersteuning van de uitvoerders zijn een stroomschema van het standaard proces (zie bijlage 4) en draaiboeken (door-)ontwikkeld: een Draaiboek Algemeen (voor intake coördinator) en een Draaiboek Testleiders. Daarnaast is veel ondersteunend materiaal (formats of definitieve 37

38 documenten) beschikbaar gesteld zoals: uitnodigingsbrieven, welkomstbrieven, begeleidende brief bij de intakerapportage, een website, een flyer etc. Ook suggesties voor (administratieve) procesondersteuning (gebruik van teamsites voor beheren eigen rapportages en overbrengen van accountgegevens digitale test op instructie voor studenten via een macro in Word) was gaandeweg voorhanden. Al deze informatie is via mail, maar vooral via de daartoe ontwikkelde Teamsite Intakes verspreid (zie screenshots in de bijlage 6). Leden van de projectgroep met de ondersteuningstaak waren in de voorbereiding en in de afronding van de intakes via of telefonisch bereikbaar voor ad hoc vragen. De ondersteuning vanuit de projectgroep was in begin arbeidsintensief, maar nam af naarmate het proces en de taken goed beschreven stonden in de Draaiboeken en deze op een (meer) overzichtelijke Teamsite beschikbaar waren. Ook bij Schools die voor een tweede keer het intake assessment uitvoerden was minder ondersteuning nodig. Goed geschoolde medewerkers Een ander element van het uitvoeringssucces (en een onderdeel van voorbereiding en ondersteuning vanuit het project) zijn de trainingen voor slb ers (gespreksvoerders) die het gesprek gaan voeren met risico- en met niet-risicostudenten en trainingen voor testleiders. Training slb ers De doelstelling van de training is genoeg technische en inhoudelijke kennis over het assessment, de test en het intakegesprek te bieden om een succesvol interview te kunnen voeren en voldoende vaardigheden op te doen om intakegesprekken te kunnen voeren. In hoofdstuk 6 staat de training uitvoerig beschreven. Training Testleiders Een training voor testleiders is naast de genoemde ondersteuning onontbeerlijk. De testleider moet zich de globale inhoud van de digitale test, de beheeromgeving en het proces eigen maken. In de training testleider zijn deze onderdelen aan bod gekomen: doel intake assessment, uitgangspunten en evaluatie pilots, het proces intake assessment (+ taken testleider), NOA en de onderdelen van het digitaal assessment, praktische afspraken en oefenen met test en gebruik NOA-online. Tijdens de training is aangesloten bij de behoefte van de deelnemers en de training is steeds aangescherpt Uitvoeringsproblemen Inschrijfdatum De inschrijfdatum van uiterlijk 1 oktober, maakt het voor veel Schools moeilijk om intakes vóór de poort (juni voorafgaand aan het studiejaar) te organiseren. Grote groepen schrijven zich tijdens de zomer in. En er zijn ook nog instromers in september. Bovendien zijn er studenten die zich in het voorjaar inschrijven, maar zich in de zomer alsnog uitschrijven. Veelgehoorde opmerking is dat een schoolorganisatie niet weet of de groep die zij het intake assessment laten afnemen straks (vanaf september) ook gaat studeren (bij afnamemoment in juni). En dat je genoodzaakt bent om ook in augustus en september nog afnames te plannen wanneer je alle studenten in beeld wilt hebben en hen een gelijke start wilt geven. Een oplossing voor deze organisatorische problemen zou je ogenschijnlijk kunnen vinden in de richting van het vervroegen van de inschrijfdatum. Echter, wij beargumenteren dat alleen het 38

39 vervroegen van de inschrijfdatum niet voldoende is. Dan moet ook het keuzeproces voor de aankomende student verbeterd moeten. Centrale aansturing Een enkele School had moeite met de geboden ondersteuning vanuit het project (of vanuit de School zelf). Zoals reeds genoemd was er behoefte aan een duidelijke training, een betere planning (soms waren de gesprekken met studenten in onderwijsperiode 1 al gevoerd voordat de uitslag van de intakes bekend was bij de slb er) en meer afstemming van taken (taken intake coördinator, taken testleider, taken administratieve ondersteuners) binnen de School. Vanuit een centrale aansturing is het soms lastig om te zorgen dat een School de geboden trainingen inbed in de eigen doelen en context. Goede communicatie is hiervoor noodzakelijk (alsook evaluatie). Verschil in omvang tussen opleidingen Iedere School of opleiding heeft of participeert op een andere schaalgrootte. De draaiboeken met beschreven rollen, taken en verantwoordelijkheden is niet passend voor iedere schaal. Soms heeft 1 medewerker twee rollen of wordt 1 rol opgeslitst naar twee medewerkers. Het is zaak dat de Schools een eigen draaiboek ontwikkelen op basis van eigen afspraken en die helder communiceert naar de organisatie. ICT omgeving De digitale intake tests die werden afgenomen ondervonden last van ICT-problemen van de hogeschool. Sommige groepen studenten zijn om die reden gevraagd de digitale test thuis (verder) in te vullen. Hierdoor ontstond onvrede bij testleiders en studenten dat terugkomt in de beoordeling van het intake assessment als geheel. Interpreteren van de scores Het interpreteren van de (totaal)scores van de test levert soms erg veel communicatie op tussen deelnemende Schools en projectmedewerkers. Dit was het geval op het moment van het bepalen van de (grensscore) voor risico-studenten (in afwijking op de adviesscore van 6). Soms wilde men te diep in de opbouw van de testscores duiken om beslissingen op te baseren. Wat steeds benadrukt is is dat het gaat om een overall beeld van het gemiddelde HBO-niveau en dat het niet zozeer gaat om de testscores op de afzonderlijke testonderdelen. Deficiëntie programma s Bij sommige Schools bleek nog geen deficiëntieprogramma van kracht te zijn. Een School had graag ook de deelresultaten op de digitale test gebruikt om deze deficiëntieprogramma s voor de geschikte groep te organiseren. Dit wordt meegenomen in het vervolg van de intakes binnen de hogeschool. Communicatie Doordat sommige opleidingen of medewerkers voor het eerst participeerden bleek het soms moeilijk (ondanks de gesprekken en de draaiboeken) om een goede voorstelling te maken van het verloop van alle procesonderdelen. Dit bracht bijvoorbeeld met zich mee dat de adviezen en het gebruik van instrumenten (bijv. teamsite) voor het handig overdragen van de intake-rapporten aan slb ers niet zijn overgenomen. 39

40 Vervolg geven aan intake assessment De koppeling intake / slb is al door veel opleidingen gemaakt. Echter, binnen de Schools waar dit niet het geval is, komt het neer op individuele inspanningen van een docent. Dat is geen wenselijke situatie. Het kan bijvoorbeeld niet zo zijn dat een student het intake assessment maakt en dat de kans bestaat dat er daarna geen vervolgactiviteit meer op komt. Daarmee wordt een verkeerde boodschap naar de student afgegeven over het belang van het assessment en worden kansen gemist voor een goede begeleiding Inschatting risicoprofiel Op basis van de studentevaluatie (zie hoofdstuk 4) en de onderzoeksformulieren die slb ers aan de hand van het intakegesprek hebben ingeleverd valt het volgende te concluderen: Intakers geven aan dat studenten het intakegesprek veelal positief ervaren vooral omdat het informatief is, zij zich erin herkennen en ze zich meer bewust worden van hun keuze. De intakes vinden zelf ook dat het bijna altijd een terechte keuze was om de student uit te nodigen Kosten In bijlage 3 is het rekenmodel voor intake assessments na te lezen. Dit is voor opleidingen die voor het eerst starten met het intake assessment, daar zitten dus ook eenmalige investeringen in. Als een opleiding het intake assessment daarna herhaalt, dan zullen deze kosten beduidend lager zijn. Uitgaande van een groep van 100 studenten waarbij het intake assessment wordt afgenomen en waarvan naar schatting 40 studenten op intakegesprek komen (afgenomen door 4 slb ers) komt dat neer op gemiddelde kosten van 125 euro per student (met een gemiddelde prijs per uur van 50 ). Dit is exclusief de kosten voor de aanschaf en doorontwikkeling van het digitale intake instrument, inclusief ondersteuning vanuit de aanbieder en de projecturen van de medewerkers van het intakeproject Bijeffecten - PR voor de opleiding: maak een goede start met intakes. - Student krijgt op basis van bespreking van de intake resultaten een beter beeld van de (cultuur binnen de) opleiding. - Student legt meteen contact met iemand van de opleiding, en specifiek: de slb er. - Op opleidings- en Schoolniveau staat studie-uitval (weer) op de kaart: andere invloedsfactoren worden ook besproken. - Op opleidings- en Schoolniveau wordt nagedacht over afstemming met andere nulmetingen zoals de taaltoetsen en rekentoetsen. - Meer stevige start studieloopbaanbegeleiding dan voorheen. - Functiebeperkingen zijn (nog) beter in beeld. Snellere doorverwijzing naar decanaat is mogelijk. - Door samenwerking aan een concreet project hebben de stafdienst van de hogeschool en de Schools positieve ervaringen opgedaan in hun samenwerking. - Opleidingen binnen eenzelfde locatie zijn (meer) met elkaar in gesprek (over ervaringen met intakes). - Bij één School is de digitale test bij Havo scholieren in het kader van proefstuderen afgenomen. Dit is een prima optie, hoewel er een aantal inhoudelijke en organisatorische aandachtspunten in acht moeten worden genomen (deze staan beschreven bij het onderdeel Lessons Learned 5.2.2). 40

41 5.1.7 Eindoordeel Aan de hand van de interventies die in Deel 2 zijn genoemd volgt hier een bondige reflectie. Interventie Outcome Korte evaluatie Beschrijving van de te verwachten outcome (effecten) van de interventie: wat zijn de beoogde resultaten? Flyers Op open dagen worden flyers verspreid over het intake assessment (2008) Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment Flyers zijn voor de instroom in september 2009 gebruikt door verschillende opleidingen tijdens voorlichtingsmomenten. Of dit de beoogde outcome heeft intake is opgenomen in alle opleidingsbrochures Website Informatie over het intake assessment is voor de student beschikbaar gemaakt op het intra- en internet. Uitnodiging Alle nieuwe studenten worden na aanmelding uitgenodigd voor een webbased digitaal assessment. Opbellen als digitaal assessment voor de introductieweek wordt georganiseerd worden alle studenten opgebeld om de schriftelijke uitnodiging te bevestigen Digitaal Assessment Het digitaal assessment vindt voor aanvang van de studie plaats dan wel direct na de poort (introductieweek). Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Meer aanmeldingen; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Meer instroom; Hoger opkomstpercentage op afname dag digitaal assessment Management van de verwachting van de student; Hoger opkomstpercentage op afname dag digitaal assessment De verkregen informatie zorgt voor stevige start slb; Meer instroom binnen INHolland (student gaat mogelijk naar andere opleiding van INHolland); gehad is niet te meten. Informatie over intakes is opgenomen in alle opleidingsbrochures binnen de hogeschool. Of dit de beoogde outcome heeft gehad is niet te meten. Informatie over intakes op de website is voor studenten beschikbaar. Opleidingen verwijzen in de uitnodiging naar deze informatie. Studenten weten zodoende vooraf wat het doel en de opzet van het intake is. De meeste opleidingen hebben gebruik gemaakt van de standaard uitnodigingsbrief en desgewenst aanvullingen en aanpassingen gedaan. Of dit de beoogde outcome heeft gehad is niet te meten. De opleidingen die voor de poort een belactie hebben verricht ervaarden een hoge opkomst van studenten op het assessment. Dit levert zeker een meer stevige start voor slb op. Verhoogde instroom is niet te achterhalen, maar het intake kan als PR middel een positieve 41

42 Onderdelen Digitaal Assessment Het digitaal assessment bestaat uit capaciteitentesten, motivatie en leerstijlen vragenlijst, competentievragenlijst, vragenlijst achtergrondkenmerken en cijferlijst VO Rapportages rapportage resultaten digitaal assessment met feedback. (Er zijn 2 typen rapportages, 1 voor de student met begeleidende brief en 1 voor de slb er.) Brief student met risicoprofiel krijgt uitnodiging voor intakegesprek student zonder risicoprofiel krijgt welkomstbrief Gesprek Studenten met een zgn. risicoprofiel worden uitgenodigd voor een intakegesprek. Het intakegesprek vindt plaats voor aanvang van de studie/in de eerste weken van periode 1. Studenten zonder zgn. risicoprofiel bespreken hun rapportage met hun studieloopbaanbegeleider in Verhoging kwaliteit door verbeterde studiekeuze invloed uitoefenen en interne doorverwijzing is beter mogelijk. Op basis van de intaketest en het gesprek heeft een student meer handvatten voor zijn studiekeuze. Beeld van de risicofactoren tbv slb De slb er heeft een beter beeld van de instromende student en heeft voldoende aanknopingspunten om een effectief gesprek te voeren. De helft herkent de risicofactoren bij de student. Een groot deel van de studenten heeft behoefte aan en vindt het gesprek nuttig. Gesprekken met niet risicostudenten worden ook als nuttig ervaren. Levert risicoprofiel op; Zet studenten aan het denken (zelf-reflectie) Alle studenten en slb ers hebben een geschikte rapportage ontvangen. Het proces van doen toekomen van rapportages aan slb ers is verbeterd, maar nog niet optimaal (bij grote groepen studenten). Meer instroom binnen INHolland Standaard formats voor twee typen brieven waren voor de opleidingen beschikbaar. Vooral bij intake afnames voor de poort zijn de brieven nuttig en ingezet. Of dit meer instroom heeft opgeleverd kan niet geconcludeerd worden. Betere begeleiding; Evt doorverwijzen 2 e lijns hulp/deficiëntie cursussen; Evt andere studie; Betere verwachtingen (beeld opleiding/beroep); Betere begeleiding leidt tot minder uitval; Verhoging kwaliteit opleiding in het algemeen; Stevige start slb Het intakegesprek heeft een positieve invloed gehad. Dit is uitgebreid verwoord in de rapportage. 42

43 periode 1. Met studenten waar uit het profiel blijkt dat zij potentiële deelnemers zijn voor een Honours Programma, worden de mogelijkheden en selectiecriteria besproken. Interviewprotocol voor het intakegesprek is een interviewprotocol gemaakt, waar onder andere het onderdeel afspraken in is opgenomen (bv doorverwijzing naar decaan) Student zal gemaakte afspraken nakomen; Effectieve doorverwijzing 2 e lijns hulp/deficiëntie cursussen / etc Het interviewprotocol heeft bijgedragen aan een eenduidige gespreksvoering en het maken van afspraken en doorverwijzing. 5.2 Reflectie vooruit Verbeteringen Omdat de hogeschool voor de september 2009 instroom al twee pilotrondes had uitgevoerd hebben al meerdere verbeteringen plaatsgevonden (bijvoorbeeld het verwijderen van de beroepskeuzetest, aanpassingen aan de training, inrichten van een teamsite om materialen te delen). Voorstellen voor verbeteringen worden daarom steeds beperkter. Enkele suggesties: - Betere aansluiting op andere testen (taal, rekenen, studiekeuze) die binnen opleidingen ook plaatsvinden op basis van vergelijkingen tussen de testresultaten. - Nog meer aandacht voor deficientieprogramma s, voor aansluiting op het slb of onderwijsprogramma van de opleidingen en voor taken en verantwoordelijkheden binnen de opleidingen. Ga uit van het principe: Geen rapport zonder gesprek en zorg altijd voor toelichting van de rapportage in een gesprek en/of in slb lessen. - Nog meer aandacht voor uitleg vooraf binnen de opleidingsorganisatie over het nut van de test en vooral over de onderdelen taal en rekenen. - Verbetering van het logistieke proces van distributie docentrapportage aan slb er vanuit de beheeromgeving. - Training voor de intakers en slb ers goed inbedden in opleidingscontext. Eventueel aanpassen of aanvullen - Meer en betere informatieverstrekking over psychometrische opbouw van de intake test t.b.v. kennis binnen de opleidingen, zonder oog te verliezen voor het werkelijke meetdoel van de test, namelijk het gemiddelde HBO niveau. - Verbeteren koppeling intakeresultaten aan studentennummers in verband met rendementsonderzoek en overzicht voor o.a. deficientieprogramma s. - Uitbreiding van het beheer van onderzoeksresultaten door de opleidingen zelf t.b.v. het vergemakkelijken van de selectie risicostudenten, naast de informatie van de totaalscore. - Als intake voor de poort plaatsvindt, investeer dan in een persoonlijke benadering. Dat geeft de meeste kans dat je de meerwaarde die je wenst, ook bereikt Lessons learned - Mogelijke ICTproblemen benoemen en op voorhand plan B bedenken, inclusief goedkeuring management. 43

44 - Maak gebruik van de inzichten (behoeften) en de opgedane kennis van betrokken medewerkers op School en opleidingsniveau. Wees daarin zo min mogelijk terughoudend. En laat hen zoveel mogelijk meedenken en meewerken aan verbeterprocessen. Concreet is er voor gekozen om alle testdata van de digitale test aan opleidingen beschikbaar te stellen wanneer zij daarom vragen (met inachtneming van vertrouwelijkheid gegevens). - Zorg wel voor het doseren van informatie over het intake assessment. Teveel (gedetailleerde) informatie bij de start werkt averechts. - Een training aan slb ers moet starten door het intake assessment goed in de opleidingscontext en toekomstplannen te plaatsen. Wanneer dit door het management niet goed verzorgd wordt dan is het leerrendement van de medewerkers en de motivatie risicovol. Goede afstemming tussen trainer en opleidingsmanagement op dit punt is onontbeerlijk. - Goed overwegen of de afname van het intake assessment in de introductieweek organisatorisch haalbaar is. - Goed bijhouden van gegevens is belangrijk. Vastleggen welke studenten een gesprek hebben gehad en wat daar de uitkomst van is. Dat is nu niet in alle gevallen gebeurt. - Wanneer het intake assessment bij proefstuderen wordt ingezet, geef dan aandacht aan deze overwegingen: o De digitale test heeft het HBO-beginniveau als norm. Als scholieren (havo/mbo) de test halverwege hun laatste jaar maken, hebben zij dit niveau nog niet. o Het is een brede test, gericht op uitvalrisico s en niet op beroepskeuze. Het is dus geen test om te bepalen of iemand geschikt is voor een specifieke opleiding, hetgeen juist de context is bij proefstuderen. Het SAC (Studiekeuzeadviescentrum) kan ingeschakeld worden voor het onderdeel beroepskeuze. o Maak duidelijk dat de resultaten geen enkele consequentie hebben voor instroom in een INHolland-opleiding. o Zorg dat het niet alleen een afname van het digitale deel is, maar dat er een vervolg wordt georganiseerd waarbij de rapporten naar de scholieren worden gestuurd en met hen worden besproken door geschoolde slb ers. o Beslis of en waar de rapporten worden bewaard. - In hoofdstuk 6 staan specifieke lessons learned over de training voor intakers en slb ers Do s Zie ook bijlage 7 voor de randvoorwaarden voor implementatie. - Bij afname voor de poort de intake afname aankleden met opleidingsgerichte activiteiten. - Bij twijfel over doelmatigheid een afname inclusief gesprekken doen bij een selecte groep om de opbrengst (o.a. het effect op slb en de student) en de meerwaarde in beeld in beeld te krijgen. - Goed communiceren wat het doel is van het intake assessment aan studenten. Wat het wel en wat het vooral ook niet is. En wat ermee gedaan wordt in de opleiding. - Werken met een informatieve site (bijv. teamsite) en draaiboeken met zoveel mogelijk bondige informatie voor opleidingsmedewerkers (zie ook bijlage 6 met screenshots). - Zorg dat steeds vooraf uitleg wordt gegeven over het nut van de test en vooral over de onderdelen taal en rekenen. - Als intake voor de poort plaatsvindt, investeer dan in een persoonlijke benadering. Dat geeft de meeste kans dat je de meerwaarde die je wenst, ook bereikt. 44

45 5.2.4 Don ts - Student niet benaderen als risicostudent en niet communiceren in termen van risicostudent. - Alleen digitale test laten afnamen en met de inzichten niets meer doen richting de student. Ga uit van het principe: Geen rapport zonder gesprek en zorg altijd voor toelichting van de rapportage in een gesprek en/of in slb lessen. 5.3 En verder Schaalbaarheid Het project onderdeel maken van de staande organisatie is al vanaf de eerste pilot het doel geweest. Eerst zorgen voor praktijkervaring binnen zoveel mogelijk opleidingen (met zoveel mogelijk instromende studenten) en hen daar zo goed mogelijk bij ondersteunen. Ondertussen verbeteringen doorvoeren in de onderdelen van het intake assessment in de ondersteuningsinformatie en structuur, alsook de koppeling met het onderwijsprogramma beschouwen en daarover met de opleidingen meedenken. En daarnaast onderzoek verrichten naar het rendement. Het beschikbaar stellen van alle projectinformatie en het blijven evalueren is van belang. Ook ruimte geven aan opleiding om zoveel mogelijk een eigen invulling te geven aan het intake assessment binnen de opleiding is belangrijk om het eigenaarschap te ontwikkelen daar waar die hoort. Dit eigenaarschap is van doorslaggevend belang bij verdere opschaling. Om de opschaling nog meer te ondersteunen is er een aanbeveling gedaan om zo realistisch mogelijk met intakes om te gaan. Een opleiding kan de keuze om intakes voor of na de poort te doen plaatsen in onderstaand scenario. Aanbevolen wordt dit scenario te volgen bij de afweging om intakes voor of na de poort te organiseren. Doelen Piekperiode voor onderwijsorganisatie Voordelen Nadelen Vóór de poort Hulp bij studiekeuze Studie-uitval voorkomen Aangaan van binding met de hogeschool Start aanpak deficiënties Start slb Voor de zomervakantie (en 1 e onderwijsweken) Verdelen van grote aantallen intakes over langere periode (Mogelijk) studie-switch door student voor start studie Vaker organiseren Hoog percentage no shows Meer organisatie (uitnodiging sturen, nabellen, welkomstbrief) Intakegesprek (mogelijk) niet met eigen Na de poort Studie-uitval voorkomen Start aanpak deficiënties Start slb Tijdens de introductieweek en 1 e onderwijsweken Minder organisatie (informeren, welkomstbrief / mail) Laag percentage no shows Intakegesprek met eigen slb er Introductieweek is erg druk Grote aantallen in korte tijd (voor 1 oktober) Studie-switch door student tijdens studie 45

46 slb er Voor late aanmelders alsnog in 1 e onderwijsweken organiseren Het intake assessment is een van de punten van de Bestuurlijke agenda en dus voor de hele organisatie van kracht. In studiejaar 2010/2011 is er nog centrale ondersteuning aan Schools bij het invoeren en uitvoeren van het intake assessment. Opleidingen worden dus gestimuleerd om daar zeker in komend studiejaar daar bij opschalingsactiviteiten (nog) gebruik van te maken Overdraagbaarheid Door de ervaringen die zijn genoemd in deze rapportage te communiceren naar andere opleidingen en hen inzicht te geven in de voor- en nadelen van het intake assessment en door een goed beeld te geven van de nodige processen is dit overdraagbaar. Zoveel mogelijk aansluiten bij de eigen context en behoeften en bestaande en soortgelijke initiatieven kan zorgen voor een goede inbedding. Opleidingen ervaring laten opdoen met een kleine groep studenten geeft de organisatie veel inzicht in het doel, de meerwaarde en de benodigdheden t.b.v. opschaling. Het goed ondersteunen van een eerste pilot bij een opleiding is daarbij van belang Spin-off effecten De aandacht voor intake lijkt op meerdere niveau s binnen en buiten de organisatie enkele onverwachte doch positieve spin-off effecten gehad te hebben. In de paragraaf worden de belangrijkste besproken. Binnen de organisatie heeft de aandacht voor intake geleid tot een vergroting van de initiatieven om uitval terug te dringen. Daarnaast heeft intake geleid tot professionalisering van slb en slb ers bij participerende opleidingen. Op macro niveau (buiten de organisatie) is eveneens sprake van meer aandacht voor het bestrijden van studie-uitval en studiesucces. In het kader van het intakeproject zijn er diverse uitnodigingen ontvangen om te spreken op conferenties, ondermeer op de landelijke decanendag van het voortgezet onderwijs, en op bijeenkomsten van decanen binnen en buiten INHolland. Met veel belangstelling wordt naar het intake initiatief gekeken waarbij de rollen van de divers betrokken partijen altijd prominent aan de orde komen. Sommige decanen vragen zich af of zij al niet op de Havo een dergelijk digitaal assessment moeten doen om te gebruiken in hun eigen advisering. Anderen vragen zich af op het digitale assessment geen studenten afschrikt. Dergelijke gesprekken zijn ook met ROC s aan de gang, en overwogen wordt om intake in te zetten in Mbo-Hbo doorstroomtrajecten. Ook is er media aandacht en hebben een slb er en student gesproken op een studentenconferentie van de HBO-raad. Kortom er is veel belangstelling voor het initiatief en het initiatief biedt een kapstok om over allerlei onderwerpen te praten omtrent instroom, studiesucces en studie-uitval met toeleverende scholen. Ook vanuit het ministerie van OC&W wordt het project met veel belangstelling gevolgd en is er met enige regelmaat overleg. De banden met deze organisaties worden op deze wijze verstevigd en hebben er concreet toe geleid dat een vertegenwoordiger van OC&W mogelijk als spreker zal optreden op de conferentie omtrent intake assessment die INHolland gaat organiseren op 1 juni Het onderwerp vervroegen van de inschrijfdatum is op de politieke agenda gekomen. 46

47 6 Scholing voor het voeren van intakegesprekken Er worden trainingen aangeboden waarbij betrokkenen zich kunnen inschrijven op vastgestelde data of op aanvraag vanuit een opleiding of School. Er wordt uitgegaan van minimaal 5 deelnemers per training. De doelgroep zijn de docenten die de intakegesprekken gaan voeren op basis van de (scores in de) intake rapportage. Docenten die de intakegesprekken voeren dienen studieloopbaanbegeleider te zijn en/of ervaring te hebben met gesprekstechnieken. 6.1 Programma training: Kennismaking en doel training Intake assessment; doel, testen, ervaringen Pauze Rapportage, testresultaten interview protocol, handleiding en intakegesprek Lunch Oefenen intakegesprek (in groepen) Pauze Oefenen intakegesprek (plenair) Afronding, evaluatie en vragen Ochtend: de doelstelling van het ochtendonderdeel is genoeg technische en inhoudelijke kennis over het assessment, de rapportage en het intakegesprek te bieden om een succesvol interview te kunnen voeren. Er wordt gesproken over de aanleiding, het doel en de ervaringen tot nu toe met het intake assessment bij INHolland. Ook komt aan de orde hoe het testinstrument werkt waarmee de totaalscore van een deelnemer wordt berekend. Het is belangrijk voor docenten om uit te kunnen leggen hoe deze score tot stand komt. Vragen die aan de orde komen zijn wat zijn de onderdelen waaruit de test is opgebouwd?, wat zegt de score? en welke keuzes zijn gemaakt bij het samenstellen van dit instrument?. In het ochtendonderdeel wordt ook een rapportage met testuitslagen bekeken, het interviewprotocol wordt besproken (zie bijlage 8) en gesprekstechnieken voor het intakegesprek komen aan de orde. Vragen die hierbij worden behandeld zijn: wat is de rol van de testresultaten?, wat zijn de onderwerpen en functie van het interview-protocol?, wat zijn functionele gespreksvaardigheden?, wat is een prettige structuur voor het gesprek?. Vanzelfsprekend is er ook gelegenheid om vragen te stellen en met begeleiders van andere schools in gesprek te gaan. Middag: de doelstelling van het middagonderdeel is voldoende vaardigheden op doen om intakegesprekken te kunnen voeren. Aan de hand van gesimuleerde gesprekken wordt geoefend met het intakegesprek. Of studieloopbaanbegeleiders één dagdeel of twee dagdelen volgen is afhankelijk van zijn of haar ervaring met gesprekstechnieken. Een dagdeel (ochtend-deel) is nodig om technische- en inhoudelijke kennis op te doen, dit voldoet voor een studieloopbaanbegeleider met voldoende gespreksvaardigheden. In het tweede dagdeel (middagdeel) worden de nodige gespreksvaardigheden geoefend voor het intakegesprek. 47

48 6.2 Inhoud training In de training wordt gestart met het doel van de training, de verwachtingen van de deelnemers en een kennismaking. Er wordt geïnventariseerd wat de deelnemers weten van het intake assessment en in hoeverre zij ervaring hebben als studieloopbaanbegeleider en/of met gesprekken voeren. In aanbodgerichte trainingen kan de beginsituatie van de verschillende deelnemers tamelijk uiteen lopen. Het verhelderen van de beginsituatie geeft mogelijkheden hierop in te spelen tijdens de training. Vervolgens wordt ingegaan op de aanleiding, het doel en het nut van het intake assessment voor zowel INHolland/de opleiding als voor de student. Kort wordt de organisatie, aanpak en procedures besproken binnen INHolland, van inschrijving van de student tot het intakegesprek. Ervaringen vanuit Schools en resultaten vanuit evaluaties worden hierin meegenomen. Om een beeld te geven van de test worden een aantal testvragen bekeken, worden de verschillende testonderdelen benoemd en wordt vervolgens de toelichting op de testonderdelen gelezen. Dit dient ook ter voorbereiding op het lezen van een voorbeeld rapportage. Na het doornemen van de voorbeeldrapportage wordt ingegaan op de testscores, de risicoscore, wegingsfactoren en de normgroep. Er is een teamsite waar bovengenoemde informatie staat weergegeven, de deelnemers hebben de mogelijkheid om de training voor te bereiden door bovengenoemde stukken van te voren te lezen alsmede een demo-test te doen. Specifieke aandacht is er voor het feit dat het intake assessment een zelfbeoordelingsmethode is, dat het geen selectiemiddel is maar een methode om tot een advies te komen. Hierbij is het intakegesprek van belang, door het gesprek krijgt de rapportage kleur. Doel van het intakegesprek is inzicht krijgen in de risico s die een belemmering vormen voor studiesucces, advies geven en afspraken maken om de risico s te verkleinen. De deelnemers analyseren vervolgens een voorbeeldrapportage, scores bij specifieke testonderdelen worden besproken, verbanden tussen scores op verschillende testonderdelen toegelicht en mogelijke hypotheses verduidelijkt. Het laatste onderwerp in de ochtend is het intakegesprek. Er wordt aandacht besteed aan het doel, de structuur en de inhoud. Het interview protocol, de handleiding voor het intakegesprek (gespreksstructuur) en feedback mogelijkheden worden besproken. In het middagdeel worden de technieken die in de ochtend zijn besproken ingezet in oefensituaties. D.m.v. kortdurende oefensituaties waarin deelnemers de rol van intaker, student en observator afwisselen worden de verschillende fases in het gesprek geoefend. Tot slot worden de ervaringen plenair besproken en wordt de training geëvalueerd. Er is ook de mogelijkheid om een training te volgen voor studieloopbaanbegeleiders die gesprekken voeren met studenten die geen risicoscore hebben. Het doel van een slb-gesprek verschilt met die van het intakegesprek. Doel van het intakegesprek is de risico s in kaart brengen en mogelijkheden bespreken om deze risico s weg te nemen. Bij een slb-gesprek is er geen sprake van een risicoscore en is het doel gericht op bewustwording en het vergroten van het zelfinzicht van de student. De training voor het voeren van een slb-gesprek m.b.v. de intake rapportage is daarom gericht op het interpreteren van de scores in de rapportage en de wijze waarop het slb-gesprek gevoerd kan worden. Scores bij specifieke testonderdelen worden besproken, verbanden tussen scores op verschillende testonderdelen toegelicht en de wijze waarop de intake rapportage een rol kan spelen in het studieloopbaanprogramma komen aan de orde. 48

49 6.3 Scholingsmateriaal Er is een teamsite met informatie en materiaal voor docenten die de intakegesprekken voeren. Deelnemers van de training worden ook verzocht deze site te bezoeken ter voorbereiding op de training. Op deze site staan de powerpointpresentaties die gebruikt worden tijdens de training, een demotest, docent en student voorbeeldrapportages, een toelichting voor de testonderdelen, filmpjes van docenten die vertellen over hun ervaring met het intake assessment, het interviewprotocol en het onderzoeksformulier, de handleiding voor het intakegesprek, een evaluatieformulier en links naar sites met verbredende informatie over het intake assessment en links met mogelijkheden voor studentondersteuning. 6.4 Lessons learned - Voor alle opleidingen die hebben deelgenomen aan het intake assessment zijn trainingen verzorgd voor de docenten die de intakegesprekken voeren. In de procedure is aangegeven dat het verplicht is een training te volgen voordat het intakegesprek plaatsvindt. Het was organisatorisch niet altijd haalbaar dat alle docenten, die de intakegesprekken moesten voeren, ook de training konden volgen. Het belang van het volgen van de training wordt echter aangegeven door een opmerking vanuit de evaluatie Het volgen van de specifieke training om de intakegesprekken te voeren is een must ; er was een significant verschil tussen de intakers die wel en niet de training hadden gevolgd. Het is daarom aan te bevelen alle docenten die een intakegesprek voeren een training te laten volgen of alleen die docenten de intakegesprekken te laten voeren die de training hebben gevolgd. - Ervaring leert dat bij een aanbodgerichte training de beginsituatie van de deelnemers divers kan zijn. Er zijn verschillen op het gebied van kennis en kunde van gesprekstechnieken, kennis van de intake assessment procedure algemeen en binnen de eigen opleiding. Het verhelderen van de beginsituatie bij de start van de training geeft mogelijkheden hierop in te spelen tijdens de training. Om de training zo effectief mogelijk te geven is een vergelijkbare startsituatie wenselijk, er kan dan effectief ingespeeld worden op de behoeften van de deelnemers. - Om het intake assessment, het intakegesprek en de koppeling van de intakerapportage met het slb-programma vorm te geven is het van belang dat binnen de opleiding draagvlak wordt gecreëerd voor het intake assessment. Om de training voeren van het intakegesprek doeltreffend te laten verlopen is het van belang dat er duidelijkheid is over de aanpak, organisatie en standpunten rondom het intake assessment binnen de opleiding. Voorgaande neemt onduidelijkheid en onzekerheid weg bij de deelnemers van de training en geeft ruimte voor het kennis en kunde rondom het intakegesprek. Daarnaast is draagvlak en inbedding in het team noodzakelijk voor het gefundeerd overbrengen van informatie richting studenten. - Naast draagvlak is inhoudelijke afstemming en duidelijke afspraken over verantwoordelijkheden van belang; zoals wie stuurt brieven om studenten uit te nodigen voor een intakegesprek, wie verdeelt de rapportages onder de intakers en/of studieloopbaanbegeleiders, wie zorgt voor ruimtes, wie verzamelt de onderzoeksformulieren. Hierbij dient de privacy van studenten in acht te worden genomen. - Bij het intakegesprek staan binding en het bespreken van risico s met de student centraal. Binding is gericht op de relatie en het bespreken van risico s op de inhoud, namelijk de 49

50 informatie vanuit de intake rapportage. Het combineren van het opbouwen van een relatie en het op een bondige en functionele manier bespreken van de intake rapportage vraagt om oefening. Wanneer een intaker weinig ervaring heeft met het voeren van deze gesprekken is het van belang dat dit tijdens de training aandacht krijgt. - De noodzaak om intakegesprekken te oefenen wordt niet altijd erkend maar is zeker van belang voor deelnemers met ontoereikende gespreksvaardigheden (bijvoorbeeld bij beginnende studieloopbaanbegeleiders). Juist door de rollenspellen zien deelnemers waar zij tegen aan lopen en dus aandacht aan moeten besteden tijdens een intakegesprek. Het is ook raadzaam om handvatten te bieden voor moeilijke situaties zoals een student die weinig verteld, zich niet herkend in de uitslag, ongeïnteresseerd is of vooral sociaal wenselijke antwoorden geeft. Een mogelijkheid is, wanneer beginnende studieloopbaanbegeleiders betrokken worden bij het voeren van intakegesprekken, om de eerste ronde intakegesprekken onder supervisie of coaching van een seniordocent (ervaren studieloopbaanbegeleider) te laten plaatsvinden. Aansluitend is het gewenst om de intakers de mogelijkheid te bieden om ervaringen uit te wisselen en voor collegiale feedback, bijvoorbeeld in de vorm van intervisie. Tevens is het in alle situaties aan te bevelen om de uitvoering van de intakegesprekken te evalueren met alle betrokkenen, alleen dan worden lacunes opgespoord en kan de uitvoering verbeterd worden. - Van belang is dat de intaker op de hoogte is van de mogelijkhedenvoor ondersteuning om deficiënties weg te werken, zowel INHolland-breed/ per vestiging als bij de opleiding. Het is aan te bevelen hier van te voren duidelijkheid over te hebben voordat de intakegesprekken gevoerd worden zodat gericht advies gegeven kan worden. Hierbij dienen de decanen betrokken te worden zodat duidelijk is welke ondersteuning zij bieden. Het is aan te bevelen dat er structureel overleg plaats vindt met decanen en andere betrokkenen bij deficiëntiecursussen. 6.5 Practice verbinding intake assessment met studieloopbaanbegeleiding (slb) Vanuit de evaluatie blijkt dat de Schools (opleidingen) het intake assessment een plek geven binnen het slb-programma. Alle opleidingen gebruiken de intake rapportage als instrument binnen het slbprogramma. De verschillende opleidingen doen dit op eigen wijze, passend bij de visie en in samenhang met het slb-programma. Alle opleidingen gebruiken de intake rapportage als basis voor het eerste slb-gesprek welke in de eerste periode plaatsvindt. Voorbeelden van het verbinden van het intake assessment aan slb zijn: - De intake rapportage is gekoppeld aan een individuele opdracht, de student schrijft hierbij een reactie op zijn intake rapportage. Deze opdracht wordt besproken tijdens het eerste slbgesprek aan het einde van de eerste periode en in het portfolio geplaatst. Het assessment is een onderdeel van het afrondingsgesprek voor slb van periode 1. Het is van belang dat de student de eigen rapportage van het assessment meeneemt naar het gesprek. Daarnaast moet de student als onderdeel van het portfolio een verslag maken over het assessment. In het verslag staan de volgende punten: 1. Hoe je de test hebt ervaren. 2. Noem drie onderdelen uit de test die je herkent van jezelf en geef aan waarom. 3. Noem drie onderdelen uit de test die je niet herkent van jezelf en geef aan waarom. Heb je een verklaring voor deze uitslag? 4. Zijn er nog punten die je zelf opvallend vond. 50

51 5. Heb je zelf een idee waardoor jij dit jaar zou kunnen uitvallen? 6. Wat kan jezelf doen om deze uitval tegen te gaan? 7. Wat kan de opleiding voor jou doen om deze uitval tegen te gaan? 8. Zijn er nog andere oorzaken die studievertraging zouden kunnen opleveren? - De intake rapportage wordt in het portfolio geplaatst en direct gekoppeld aan persoonlijke leerdoelen in het eerste slb-gesprek in de eerste periode. Ook voor de niet-risico studenten wordt bekeken welke mogelijkheden en belemmeringen er zijn en welke ondersteuning nodig is. - De intake rapportage vormt de basis voor het eerste slb-gesprek, de studieloopbaanbegeleider sluit aan bij de benodigde competenties (opleidingsprofiel) en geeft aandacht aan verbeterpunten van studenten. Leerdoelen die hieruit voortkomen worden ontwikkeld in projectgroepen en tijdens studieloopbaanactiviteiten. In het reguliere programma wordt zo nodig aandacht besteedt aan taal en rekenen (vanuit input intake rapportage). - De rapportage dient als vertrekpunt van het slb-gesprek. Op basis hiervan dienen studenten een POP te schrijven en leerdoelen voor het komend jaar te formuleren. - Het intake assessment is verbonden aan het slb-programma door individuele opdrachten waarin de studenten werken aan hun deficiënties, in eigen vaardigheidslessen in taal en rekenen en door tussentijdse afspraken te plannen met studieloopbaanbegeleider. 51

52 Bijlagen Bijlage 1 Keuzes bij intake assessment hogeschool INHolland Bijlage 2 Uitgangspunten Bijlage 3 Rekenmodel kosten intakes voor Schools Bijlage 4 Procedure organisatie en uitvoering Bijlage 5 Uitval percentages cohorten 2002 t/m 2008 Bijlage 6 Screenshots teamsite project Bijlage 7 Randvoorwaarden Bijlage 8 Interviewprotocol 52

53 Bijlage 1 Keuzes bij intake assessment hogeschool INHolland Inleiding Hogescholen hebben, via meerjarenafspraken tussen de HBO-raad en het ministerie van OCW, zich verbonden aan de maatschappelijke wens om het studiesucces in het hoger onderwijs te verhogen. Diverse remedies moeten zorgen voor een verhoging van het rendement. Eén van de gebruikte remedies bestaat uit de invoer van intakes, ook wel studiekeuzegesprekken genoemd. Hogeschool INHolland voert sinds september 2008 intake assessment uit. In twee pilots is een intake uitgevoerd bij ongeveer 550 studenten van 11 opleidingen. INHolland is nu projectmatig bezig met de opschaling. Er wordt bij een groot aantal van de studenten dat in september 2009 instroomt een intake gehouden. Op basis van de resultaten van de pilots is besloten om de komende vier jaar intakes op deze wijze in te zetten voor alle studenten van INHolland. In die periode wordt onderzoek gedaan naar de relatie tussen de uitkomsten van het assessment en studieresultaten, en de invloed van intakes op het rendement. Dit artikel gaat in op de aanleiding om intakes te houden, de keuze van INHolland voor een combinatie van een digitaal assessment en een intakegesprek. Daarna beschrijven we de functionele eisen die Hogeschool INHolland stelt aan het intake systeem. In de daarna volgende hoofdstukken wordt in detail ingegaan op processen, gebruikerseisen, etcetera. Visie op intake assessment In het algemeen wordt intake assessment gezien als een middel om studenten sneller bij de juiste opleiding te laten uitkomen. Op die manier wordt studie-uitval of vertraging verminderd, wat zowel ten goede komt aan de student als aan de instelling. Studenten hebben, zeker bij brede opleidingen, onvoldoende beeld van de beroepsmogelijkheden en de inhoud van de opleiding. Ook blijken ze, ondanks hun formele toelaatbaarheid, deficiënties te hebben op het gebied van taal en rekenen. Daarnaast speelt de studentenpopulatie van INHolland een rol. Studenten die als eerste uit de familie- of vriendenkring aan het hoger onderwijs deelnemen, blijken vaker uit te vallen dan studenten met een meer vanzelfsprekend netwerk in het hoger onderwijs. Dit is voor allochtone studenten vaker het geval dan voor autochtone studenten. 7 Binnen INHolland wordt grote waarde gehecht aan deze ontwikkeling. Daarnaast speelt, naast het thema uitval vermindering, nog twee andere thema s. Ten eerste is behoefte aan een diagnoseinstrument, dat ingezet kan worden bij het opsporen van excellente studenten tbv Honours Programma s. Daarnaast is behoefte aan een instrument dat zorgt voor een stevige start van de studieloopbaanbegeleiding (slb). Gezocht is naar een intake procedure die alle drie de thema s oppakt: uitval verminderen, excellentie opsporen, slb verstevigen. De resultaten van het Intake assessment (digitaal en gesprek) worden ingezet om uitval en vertraging te reduceren; om vroegtijdig studenten te kunnen stimuleren deel te nemen aan excellence trajecten; om de slb te optimaliseren en om deficiënties vroegtijdig en efficiënt aan te pakken. 7 Ballafkih, H, Imansoeradi, M, Meer, M vd en Meerman, M.: Diversiteit in Opleiding en Werk; een verkennende studie naar de school- en arbeidsloopbaan van hoger opgeleide jongeren. Scienceguide 2008.

54 Gemaakte keuzes Er is gekozen voor een intakeprocedure die bestaat uit twee stappen: eerst een digitaal assessment, dan een intakegesprek. De keuze voor een digitale component is gemaakt om een aantal redenen. De inzet van een digitaal instrument maakt het mogelijk om in een relatief korte tijd een breed beeld te krijgen van de capaciteiten en deficiënties van een groot aantal studenten. Alleen door deze snelle diagnose is het mogelijk het logistiek complexe organiseren van intakegesprekken in goede banen te leiden. Voordeel is bovendien dat de diagnosegegevens snel binnen de organisatie bij de juiste betrokkenen kunnen belanden: de student zelf, de intake-organisatie, de opleiding, de slb ers enzovoorts. Bij een grote hogeschool zoals INHolland is bovendien niet mogelijk om met alle studenten voor de poort een gesprek te voeren. Daarnaast is er (gelukkig!) een grote groep studenten die een zekere en juiste studiekeuze maakt. Deze groep verdient direct bij de start van de studie persoonlijk aandacht, maar het is niet noodzakelijk om een zwaar en tijdrovend middel als intakegesprekken voor de start van de studie in te zetten. Een digitaal assessment met bijbehorende rapportage, met daarna de bevestiging van de opleiding dat niets een succesvolle start van de studie in de weg staat, is voor deze groep studenten voldoende. Met die studenten waarvan, op basis van de uitslag van het digitaal assessment, verwacht kan worden dat zij problemen zullen ondervinden bij hun studie, wordt echter al voor de start van de studie een intakegesprek gevoerd. Een ander aspect is de grootschaligheid van INHolland. Wil je intakes bij grote groepen studenten inzetten, dan is het niet mogelijk om met alle studenten voor de poort een echt gesprek te voeren. Door de integratie met studieloopbaanbegeleiding heeft echter wel iedere student zo'n gesprek. Hierdoor kan een van de doelen van intake: een stevige start van studieloopbaanbegeleiding, behaald worden. Er is gekozen om de intake voor de poort af te nemen: na inschrijving bij Studielink, maar voor de start van de studie. Dat is het moment dat een student een bewuste keuze voor een studie heeft gemaakt, maar zo nodig nog zijn keuze kan bijstellen. Ook heeft hij nog enige tijd om te werken aan eventuele deficiënties. Overigens is de late aanmelding van veel studenten hierbij een probleem. Als een student zich vlak voor, of zelfs na 1 september aanmeldt, is een weloverwogen reflectie op zijn studiekeuze haast niet meer mogelijk. Het gaat nadrukkelijk niet om selectie, maar om advies. Er wordt gefocused op een vroegtijdig moment van contact tussen student en opleiding; op het vroegtijdig uitspreken van verwachtingen tussen opleiding en student; op reflectie op de juistheid van de studiekeuze door de student; en op een aanzet tot zelfreflectie bij de student en een beeld van zijn of haar capaciteiten. De focus op deze punten wordt ondersteund door divers onderzoek naar uitval 8. Het streven is om de aankomende studenten uiteindelijk allemaal het intake assessment te laten ondergaan. Streven is : - om het digitale assessment voor 100% af te nemen voordat gestart wordt met de opleiding (voor de poort ); - om het intakegesprek met de studenten met risicoprofiel voor de poort te voeren; - om het intakegesprek met de overige studenten te voeren in de eerste lesperiode. 8 Onder andere: Rick Wolff en Maurice Crul: Blijvers en uitvallers in het hoger onderwijs, in opdracht van Echo, Mary Tupan-Wenno: Weg met het deficiëntiedenken! In: Tijdschrift voor Hoger Onderwijs 2008/1.

55 Indicatieve beschrijving intake-ondersteunend systeem Het systeem wordt ingezet bij studenten die zich bij een INHolland-opleiding hebben ingeschreven. Via het systeem krijgt de student een aantal testen voorgelegd op het gebied van studievaardigheden, ontwikkeling, motivatie etc. Op basis van de scores van deze testen kunnen studenten gerichter worden geadviseerd t.b.v. het wegwerken van deficiënties, kan slb beter worden afgestemd of kunnen studenten worden geïdentificeerd die in aanmerking kunnen komen voor excellence-trajecten. Het systeem wordt ingezet na de inschrijving, maar voor eventueel te voeren intakegesprekken. Deze gesprekken worden mogelijk alleen gevoerd met studenten die een zogenaamd risicoprofiel hebben (op bepaalde gebieden ondergemiddeld scoren), of eventueel ook met de excellence studenten. Rapportages uit het systeem dienen dan ook niet alleen individuele gegevens te bevatten (bestemd voor de student en aankomende slb er) maar ook kwantitatieve selecties mogelijk te maken ten behoeve van de organisatie van die gesprekken en t.b.v. onderzoek naar het rendement van intake assessment. Inhoudelijke beschrijving digitaal assessment Het digitaal assessment bestaat uit een serie testen en vragenlijsten. De testen en vragenlijsten zijn ontwikkeld door een daarin gespecialiseerd assessmentbureau, het NOA. In z n totaliteit bestaat het digitale assessment uit vijf capaciteitentesten, een motivatie- en leerstijlenvragenlijst, een competentievragenlijst en een vragenlijst gericht op enkele achtergrondkenmerken van de student. De capaciteitentesten zijn bedoeld om een indruk te krijgen van het intellectuele potentieel van de student en omvat zowel taalonderdelen als cijfermatige en figurele onderdelen. Het is een test die onder gecontroleerde omstandigheden plaats vindt en is gebonden aan strikte tijdslimieten. De motivatie- en leerstijlenvragenlijst is bedoeld om een indruk te krijgen van hetgeen de student drijft en motiveert en tevens welke voorkeursleerstijl(en) de student heeft. De competentievragenlijst bestaat uit elf competenties. Deze zijn afgeleid van de Dublin descriptoren en zijn gerelateerd aan studiesucces. Doel van de competentievragenlijst is een nulmeting van het competentieniveau van de student. Het laatste onderdeel van het digitaal assessment is een vragenlijst achtergrondkenmerken, met vragen over beeld van de studie, aantal uren bijbaan, zorgtaken, functiebeperkingen, moedertaal, et cetera. Iedere School heeft een weging aangebracht in de mate waarin de verschillende capaciteitentesten en competenties meetellen in de bepaling van de score. Hierdoor kunnen heel diverse opleidingen gebruik maken van dezelfde vragenlijsten. Bij een studie Bedrijfseconomie zijn goede rekenvaardigheden cruciaal. Deze wegen zwaarder mee in het digitale assessment. Bij de opleiding tot leraar basisonderwijs ligt een zwaardere weging op de competenties reflecteren en samenwerken. Gebrek aan deze competenties zorgt voor uitval bij eerstejaars. Uitkomst van het digitaal assessment is een - automatisch gegenereerde - rapportage. Deze rapportage is zo samengesteld dat deze leesbaar is voor de student. In de rapportage wordt zowel aandacht besteed aan de sterke kanten van de student als aan zijn minder sterke kanten. De rapportage wordt in eerste instantie aan de student gestuurd, deze is eigenaar van de rapportage. Een coördinator van elke opleiding ontvangt tevens een verkorte versie van het rapport. In deze versie staat dezelfde informatie, alleen beknopter. Het enige verschil is dat op basis van de resultaten van de tests en vragenlijsten er een zogenaamde risicoscore wordt aangegeven. Op basis van de hoogte van deze score wordt de student al dan niet uitgenodigd voor een aanvullend

56 intakegesprek. Een hoge score geeft aan dat de student, volgens de normen van de opleiding, uitvalanalysedata en normen van het assessmentbureau, een relatief hogere kans op uitval heeft. Intakegesprek De intakegesprekken worden door getrainde studieloopbaanbegeleiders gevoerd. Er wordt naar gestreefd om de student al in dit stadium te koppelen aan de eigen studieloopbaanbegeleider. Het intakegesprek vindt plaats met behulp van een protocol. Onderwerpen zijn onder andere (zekerheid van) studiekeuze, wederzijdse verwachtingen, beeld van het beroep, motivatie, capaciteiten en de huidige en benodigde competenties. Aan het eind van het gesprek wordt commitment gevraagd van de student over de gemaakte afspraken. Deze kunnen variëren van bijvoorbeeld doorverwijzing naar een dekaan, aanmelding voor een training voor bijvoorbeeld faalangst of timemanagement, aanmelding voor een deficiëntietraject, tot het advies de keuze voor de studie te heroverwegen. Met de studenten waar geen intakegesprek mee plaatsvindt, wordt het assessmentrapport besproken in het eerste studieloopbaangesprek in periode 1. Hierdoor wordt bij iedere student een verband gelegd tussen de intake en de studie. Doel van het intake-instrument Doel van het project Intake assessment is om intake assessment te ontwikkelen dat bijdraagt aan verbetering van het rendement door: - een vroegtijdig moment van binding tussen student en opleiding; - het vroegtijdig uitspreken van verwachtingen tussen opleiding en student; - reflectie op de juistheid van de studiekeuze door de student; - een aanzet tot zelfreflectie bij de student - een beeld van de capaciteiten van de student bij de student en de opleiding. Het doel van het instrument is om aan het begin van de intakeprocedure een intake-diagnose mogelijk te maken van de ingeschreven student, op zo n wijze dat - meerdere testen kunnen worden afgenomen - opleidingsspecifieke criteria kunnen worden ingesteld om groepen op basis van testscores te kunnen selecteren - rapportages op maat mogelijk zijn naar de student, de slb er en andere nader te definiëren betrokkenen Doelgroepen en hun specifieke doelen Doelgroep Belang Eigenschappen Eisen aan digintake Studenten Betere plaatsing Betere begeleiding Minder uitvalrisico Extern t.o.v. INHolland Wel binding (al ingeschreven) administratief verwerkt in PS. Grote diversiteit digitale drempelloos, webbased extern toegankelijk. Allemaal rapportage in PDF formaat, en op termijn exporteerbaar naar DPF competenties niet altijd strak georganiseerd. Grote diversiteit in aanpak begeleiding. Slb betere startinfo over a.s. studenten gerichter input voor maatwerk bij begeleiding heldere en eenduidige rapportage. Rapportage moet herleidbaar zijn tot individuele student, bondig en (wens) groepeerbaar zijn naar problematiek?? Honours traject vroegtijdige startend traject, nog in instellen boven-criteria, om

57 Doelgroep Belang Eigenschappen Eisen aan digintake signalering experimentele fase kansprofiel te produceren kanshebbers Onderzoek input voor info over kwaliteit instroom, doorstroom, uitval. Testpsychologen belang bij goed intake-instrument om gewenst beeld van instroom te krijgen Management ICT goede instroomkwaliteit is minder uitval is betere kostenbeheersing goed instrument dat niet conflicteert met Rapportage zowel individueel als groepsgewijs herleidbaar. Belangrijk is dat student herkenbaar is en blijft (studentnummer) zodat testgegevens aan prestatiegegevens gekoppeld kunnen worden. verantwoordelijk voor vaststelling testen, criteria, weegfactoren, onderhoud, bijstellen. geen directe systeembetrokkenheid; input op beoogde resultaten, rapportage op voortgang. belang dat uitgenodigde student ook daadwerkelijk te laten komen, goed administratief proces om goede adressering mogelijk te maken. wil uitdraaien kunnen krijgen op: x % van het aantal deelnemers, aantal nav scores, vastgestelde architectuureisen, strikte bewaking. Maar: ICT rapportage moet op naam en tevens geanonimiseerd kunnen worden. Input geven voor kwaliteit vragen en criteria (voorwerk evaluatie) maar ook voor effecten op lange termijn Groepeerbaar zijn naar problematiek database moet exporteerbaar zijn naar minimaal excell en spss koppeling met cijfers, e.c. s moet mogelijk zijn vragenlijsten geordend per domein moeten gekozen kunnen worden. Meerdere vraagsoorten moeten gebruikt kunnen worden. Per domein moet het mogelijk zijn testscores te wegen om zo een risicoscore of talentscore te kunnen berekenen. Mogelijk moeten testen uit verschillende bronnen in 1 systeem afgenomen kunnen worden inclusief 1 geïntegreerde rapportage mogelijkheid managementsrapportage (kengetallen, kwantitatieve gegevens aantallen studenten, etc.); nader te specificeren aansluitend op eigen systeemarchitectuur; bijdrage in issue externe

58 Doelgroep Belang Eigenschappen Eisen aan digintake architectuur, verantwoordelijk voor systeemkeuze op basis FO. Van belang voor toegang externen, uitsluiting dubbelfuncties etc toegankelijkheid, licentie, inpassing in lopende en gewenste processen project processen en aansluitend systeem goed in kaart, controleerbaar Facilitair bedrijf Beheert ruimtes en voorzieningen M&C Beheert informatie potentials Studentadmin Verantwoordelijk voor inschrijving beheerder van iedere school Generieke te ondersteunen processen projectleiding (en samenhangende verantwoordelijkheid); maar ook verantwoordelijk voor effecten van intake in organisatie op termijn Overzicht, beheert aanvraagprocessen Kent adres- en aanvullende info potentials Beheert contact studielink/ peoplesoft beheert grote hoeveelheden vertrouwelijke rapporten goed, effectief, betrouwbaar, solide en goedkoop waar mogelijk. Verantwoordelijk voor beschikbaarheid PC s niet betrokken: info is overgedragen aan SA Levert basis contactinfo aan voor intake handig systeem nodig om rapporten op te slaan, te selecteren op naam (ivm toewijzing aan slb ers), studentno s, scores. Uitdraai NAW+ telefoon nodig ivm uitnodigen voor intakegesprek In grote lijnen verloopt het proces van inschrijving tot en met de start van de opleiding volgens de volgende stappen: 1 INSCHRIJFPROCES 2 DIGITALE INTAKE 3 INTAKEGESPREKKEN 4 EVALUATIE

59 ICT-processen hierbinnen spelen zich af binnen het inschrijfproces, en bij de digitale intake. Bij het inschrijfproces gaat het vooral om het beschikbaar krijgen van de juiste accounts en toegang tot infrastructuur en digitaal systeem; bij de digitale intake is de focus gericht op het instrument zelf (inbreng en afname test, rapportage). Deze processen zien er in grote lijnen als volgt uit:

60 Aanwezige processen binnen de doelgroepen en gecreëerde veranderingen M.b.t. de inschrijving De inschrijving verloopt los van de intake als een zelfstandig proces: de student dient zich in dit proces in te schrijven via Studielink. Dagelijks worden de studielink-gegevens gesynchroniseerd met de INH-data in Peoplesoft. In principe is daarmee alle informatie beschikbaar die nodig is voor: Uitnodigen van studenten voor het digitale assessment Input genereren voor inroostering en klaarzetten voorzieningen Beschikbaar krijgen van accounts en toegang tot het intakesysteem. Gegevens van de aankomende studenten zijn weliswaar vroegtijdig beschikbaar in Peoplesoft, maar de daadwerkelijke toegang (accounts, opname in Active Directory) wordt pas gerealiseerd rond 1 september. Deze policy is vastgesteld op basis van het uitgangspunt dat de student pas vanaf 1 september een betalende relatie heeft met Hogeschool INHolland. Gerealiseerde verandering

61 Voor intakes is een gast account gecreëerd, dat alleen toegang heeft tot vastgelegde url s. Na onderzoek bleek dit de beste oplossing. Het vroegtijdig beschikbaar stellen van individuele accounts voor aankomende studenten is minder wenselijk uit beveiligingsoogpunt. Het is bovendien minder klantvriendelijk voor studenten, die met meerdere usernames en passwords geconfronteerd zouden worden. M.b.t. het digitale assessment De door gebruikte applicatie is internet based en vraagt geen extra ICT ondersteuning. Model van het systeem Generiek model van het instrument, inclusief beeld koppelingen andere systemen

62 Niet-functionele eisen Gebruikersvriendelijkheid Voor studenten Het systeem wordt gebruikt op locatie van INHolland, door studenten die nog geen enkele ervaring hebben binnen deze infrastructuur. Gezien het moment van afname (mogelijk tijdens zomerreces) moeten ook weinig eisen gesteld worden aan de begeleiding. Bovendien is er in het intakeprogramma te weinig ruimte om ook uitleg te geven. Hoewel verwacht mag worden dat deze studenten wel reguliere zaken als inloggen (gebruik usernaam/ wachtwoord) beheersen, dient het systeem uiterst laagdrempelig te zijn.

63 Deze eis geldt overigens niet alleen voor inloggen en testsysteem, maar ook voor de inhoudelijke testen zelf. Voor studenten hoge mate gebruiksvriendelijkheid, trainingsbelasting nihil Voor begeleiders tijdens testdag Begeleiders tijdens de testdag richten zich op het verzorgen van een programma waarin de intaketesten een onderdeel zijn. De focus ligt op het toelichten van de testen, en op kennismaking, groepsmanagement etc. Ook voor deze groep dient het systeem gebruikersvriendelijk en robuust te zijn. Wel ligt het voor de hand vooraf met het systeem kennis te maken, zodat een uitleg gegeven kan worden als dit toch nog nodig mocht zijn. Voor begeleiders op de dag zelf in hoge mate gebruiksvriendelijk. Trainingsbelasting vooraf maximaal twee uur Voor testdeskundigen Testdeskundigen selecteren vooraf testen en stellen de parameters in bij deze testen. Hun expertise ligt vooral bij inhoudelijke testen, maar enige kennis van toetssystemen mag bekend worden verondersteld. Uitgangspunt is dat de functionaliteit grotere prioriteit heeft dan de gebruikersvriendelijkheid. Voor toetsdeskundigen is de functionele werking belangrijker dan gebruikersvriendelijkheid. beschikbare functies dienen echter wel vindbaar en aanspreekbaar te zijn. Los van de inhoudelijke toets-expertise zal een training van een dagdeel moeten volstaan Voor beheerders Beheerders stellen toetsen en testen beschikbaar en regelen toegangsrechten voor groepen gebruikers. De modules voor beheer van zowel content als gebruikers moet voor hen toegankelijk zijn. Rechtenbeheer moet zodanig geautomatiseerd kunnen verlopen, dat de grote aantallen te verwachten gebruikers eenvoudig beheerd kunnen worden. Voor beheerders dienen de modules voor rechten- en contentbeheer toegankelijk te zijn en eenvoudig beheerd kunnen worden. Complexe handelingen zijn geen probleem, aangenomen dat deze met goede training snel kunnen worden uitgevoerd. Trainingsbelasting maximaal één dag Instelbaarheid Het intake assessment omvat meerdere testen, onder meer op het gebied van motivatie, logisch denkvermogen, algemene competenties, reken- en taalvaardigheden. Voor elke opleiding is er een basisset van tests waarvan bekend is dat de uitslagen op die tests gerelateerd zijn aan studiesucces en studie-uitval. Daarnaast zijn er per domein of opleiding specifieke factoren tav succes en uitval. Daarvoor zou het mogelijk moeten zijn om afhankelijk van de opleiding waar aan het intake assessment is gekoppeld, keuzes in (aanvullende) tests mogelijk te maken. Hierbij in ieder geval: Welke testen wel, en welke niet worden afgenomen. Welke criteria moeten gelden bij welke grenzen, zowel aan de deficiëntie- als aan de excellence kant. Performance eisen Het intake assessment maakt deel uit van een voorlichtingsdag, een intensieve kennismaking met de studenten en andersom, een kennismaking van de student met de instelling c.q. opleiding. Een goede indruk is belangrijk; bovendien werken storingen in het systeem vertragend wat negatief uitwerkt in de rest van het dagprogramma. Op het gebied van de performance wordt dus geëist:

64 - Storingsvrije afname - Snelle doorloop, zowel bij de overgang tussen de verschillende testen als tussen de vragen door. Bij inzet van verschillende testen een soepele overgang nodig, een blijvende INHolland uitstraling en maar 1x inloggen. - Onafhankelijke NOA-inlog en INH-inlog: na onderzoek bleek dat een algemene INH-inlog (om toegang te krijgen tot het systeem) niet gekoppeld kan zijn aan de individuele inlog bij NOA. Andersom is het onwenselijk dat de NOA-policy bij toewijzing van username-wachtwoord bepalend wordt voor de INH-policy. Security eisen Met het intakesysteem komt persoonlijke informatie beschikbaar bij de opleiding. Afscherming van deze gegevens voor onbevoegden en voor de studenten onderling is belangrijk. Een betrouwbare authenticatie en authorisatie maakt derhalve onderdeel uit van het systeem. Robuustheid Beschikbaarheid - Voor de ontwikkelaars/ beheerders van testen dient het intake-systeem continu beschikbaar te zijn. Testen dienen te allen tijde geupdate kunnen worden. - T.b.v. de voorbereidingen binnen de Schools (voorlichting, training) dient het systeem ten minste een maand voor de eerste afname van de intake bij de opleidingen beschikbaar te zijn in de productie-omgeving. Hierdoor is ook gelegenheid specifieke waarden, relevant voor de opleiding, te checken en evt. te wijzigen. - T.b.v. de afname van het intake assessment dient het systeem tenminste een week voor de geplande afname beschikbaar te zijn in de productie-omgeving. Recovery Ingevoerde gegevens dienen na afloop van ieder scherm opgeslagen te kunnen worden, om te voorkomen dat kandidaten testen/ testdelen opnieuw moeten invullen. Dat houdt dus ook in dat het systeem in staat moet zijn gebruikersgegevens en vorderingen binnen het doorlopen van de testen te registreren, en bij een hernieuwde inlog correct opnieuw beschikbaar te stellen. ICT standaarden en architectonische eisen De intake applicatie functioneert als een geheel zelfstandig draaiend webgebaseerde service, en stelt geen andere eisen aan de thuisomgeving dan de beschikbaarheid van Internet. Functionaliteit Lijst van functies en mapping tegen INHolland-processen Onderstaande tabel is opgesteld vanuit het perspectief van het digitaal systeem voor intake

65 functiegroepen functies opmerkingen, en evt relatie met INH-voorzieningen en -processen Gebruikersbeheer studentenaccounts met toegang tot Peoplesoft/ AD, mail, DPF testafname en rapportage ontwikkelaccounts, met toegang tot AD testbeheer en rapportage Beheeraccounts, met algehele AD toegang en functioneel beheer Testontwikkeling en - beheer Functioneel beheer Testafname ontwikkelen/ uploaden/ bijwerken testen valideren testen onderhoud criteria toegang tot gebruiks- en testbeheer.. test beschikbaarheid (keuzemenu?) (tussentijds) resultaten opslaan 2-zijdig: ondergrens en bovengrens (honours) Rapportage mail naar student!!!! eigen mailadres uit PS-NAW gegevens overall rapportage naar School Lijst van functionaliteit kwantitatieve rapportage kwalitatieve rapportage inclusief onderscheid risicogroepen en Honours-kanshebbers (evaluatie testen en testonderdelen) Nr Functionaliteit Must Should Nice to have have have 1 Gebruikersbeheer x 1.1 accounts match met INH-accounts x 1.2 meerdere rechtenniveaus x studenten x beschikking relevante testen x schrijfrechten scores x ontvangen eigen rapportage x ,1 via uitdraai x via mail x online x testontwikkelaars en beheerders(zie verder 2) x functioneel beheerders x gebruikersbeheer beschikbaar x toegang testbeheer x toegang generieke functionaliteiten en parameters x toegang rapportagesysteem x

66 Nr Functionaliteit Must have Should have 2. Testontwikkeling en beheer x 2.1 uploaden relevante testen (binnen vast te stellen kaders) x 2.2 ontwikkelen/ aanpassen eigen testen x 2.3 instellen criteria per test x ondergrens (tbv risicoprofiel) x bovengrens (tbv kansprofiel) x achteraf bijstellen criteria x x 2.4 Mogelijkheid variatie aan vraagsoorten x meerkeuzevragen (1 item juist) x meerkeuzevragen (meer antwoorden mogelijk) x ja/nee vragen x schattingsvragen (meer/ minder dan x open vragen x meerkeuzevragen (2 items juist/omjuist) x 2.5 Mogelijkheid om tests en testitems met en zonder x tijdslimiet in te kunnen stellen 3. Functioneel beheer x 3.1 Toegang tot gebruikers- en testbeheer x 3.2 Mogelijkheid instellen variabelen x 3.3 Beschikbaarheid technische en gebruikersdocumentatie x 3.4 Beschikbaarheid technisch en functioneel ontwerp x 4 Testafname x 4.1 overzicht beschikbare testen x mogelijkheid persoonsgerichte voorselectie testen x mogelijkheid ordening/ prioritering testen x 4.2 mogelijkheid tussentijdse opslag testresultaten x mogelijkheid opslag resultaten tussen testen door x mogelijkheid opslag resultaten tijdens iedere test x 4.3 mogelijkheid afname via print&scan x 4.4 mogelijkheid afname op andere dan INH-omgeving x 4.5 mogelijkheid terug te bladeren binnen test x 4.6 mogelijkheid terug te bladeren in eerder gemaakte test x x 4.7 mogelijkheid bevriezen resultaten (bijv bij toon score ) x 5 Rapportage 5.1 ontvangen eigen rapportage kwantitatief (afnames, scores) kwalitatief (statistisch per test en per toetsitem) 5.2 instellen/ genereren rapportages overige doelgroepen x instellen gewenste rapportage-items (selectiecriteria) x instellen gewenst rapportageformat x 5.3 vastleggen rapportage in PDF-formaat x 5.4 vastleggen rapportage in SPSS (of ander) formaat x 5.5 verzenden rapportage x per mail x hard copy x Nice to have

67 Nr Functionaliteit Must Should Nice to have have have opname in DPF (automatisch) x online opvraagbaar x 6 Monitoring 6.1 Tijdens testafname x persoonlijke gegevens ingevuld (j/n) x stand van zaken testafname x afgerond (j/n) x 6.2 Bij rapportage x rapportage ontvangen op adres? x rapportage alsnog opgevraagd? x

68 Bijlage 2 Uitgangspunten Uitgangspunten intake assessment 1. Een student kan pas intake assessment doen na inschrijving bij studielink. 2. De insteek is positief: zorg dat je studie een succes wordt! 3. Het gaat om een advies, niet om selectie. 4. De intake procedure bestaat bij voltijdstudenten uit een digitaal assessment en een gesprek. (de beste werkwijze voor deeltijdstudenten wordt nog onderzocht). 5. Alle studenten doen een digitaal assessment. 6. De opleiding bepaalt de factoren die meewegen in het bepalen van de risicoscore. 7. Met het risicodeel van de studenten wordt een intake gesprek gehouden, de opleiding bepaalt het preciese aantal. 8. Met de overige studenten wordt rapport besproken in 1 e slb gesprek in periode Digitaal assessment en intakegesprek vinden waar mogelijk voor start van de studie plaats. Voor late aanmelders wordt het in de introductieweek georganiseerd. Bij echt late aanmelders nog voor Vanuit het project wordt geleverd: 10. het digitaal instrument van NOA, scholing voor testleiders en slb ers, beschrijving van de basisprocedure, toegankelijkheid ICT, voorbeeldmateriaal (brieven, uitnodigingen, etc), contactpersoon voor NOA en voor de Schools, en vraagbaakfunctie. 11. De opleiding zorgt zelf voor de organisatie, faciliteiten en uitvoering van het digitaal assessment en de gesprekken.

69 Bijlage 3 Rekenmodel kosten intakes voor Schools In onderstaand overzicht worden de kosten van de intakes voor de Schools berekend. Dit overzicht is exclusief de kosten voor het digitale instrument en de projectbegeleiding. De uren voor voorbereiding en evaluatie kunnen beschouwd worden als vaste kosten. De overige kosten hangen af van het aantal studenten dat een intake krijgt. Onderdeel Activiteiten uren per School Voorbereiding inhoudelijke opzet bespreken, opstellen risicoprofiel 10 organisatie en administratie (planning digitaal assessment + gesprekken, uitnodigen deelnemers, reserveren computerlokaal, inplannen gesprekken, voorbereiden administratie testgegevens, aankleden testdag, etc.) ouderejaars informeren/betrekken bij programma 10 overleg totaal voorbereiding 115 Scholing training testleider (2 personen per school) 6 uur per testleider training studieloopbaanbegeleiders intakegesprekken 9 10 uur per slb er totaal scholing. Uitvoering opbellen studenten voor de poort 10 afname digitaal assessment in groepen van 20 deelnemers per keer.. groepen deelnemers x 2 uur uitvoering intakegesprekken met 40% van het aantal deelnemers.. deelnemers x 30 minuten administratie verslaglegging intakegesprekken.. deelnemers x 30 minuten totaal uitvoering Evaluatie. Evaluatie digitaal assessment, intakegesprekken en 10 gebruikte procedure. gegevensverzameling tbv rendementsonderzoek 10 totaal evaluatie 20 totaal benodigd aantal uren per School. uur 9 Uitgangspunt: Met 40% van de studenten wordt een intakegesprek gevoerd. Een studieloopbaanbegleider voert met 10 studenten een intakegesprek. De gesprekken met de andere 60% vinden plaats in de reguliere studieloopbaan-tijd. 10 Uitgangspunt: per School 1 uur opstarttijd. 8 studenten opbellen per uur, incl de administratieve verwerking daarvan.

70 Bijlage 4 Procedure organisatie en uitvoering OW

71 Bijlage 5 Uitval percentages cohorten 2002 t/m 2008 Opleidingen met veel (S&B, Communicatie, BE) en weinig intake deelnemers (SPH, MWD, AC, CE) School of Health: Sport & Bewegen, n=107 Haarlem Cohort Cohort Cohort Cohort ,8 Cohort ,3 Cohort ,2 (Vijfjaars) gemiddelde 34,1 Cohort ,1 Percentage (absoluut) 4 Percentage (relatief) 12% Schools of Communication: Communication, n=113 Diemen Den Haag Rotterdam Cohort ,4 23,8 26,5 Cohort ,9 23,6 23,5 Cohort ,7 23,2 22,6 Cohort ,9 19,8 14,4 Cohort ,0 23,1 31,7 Cohort ,9 26,4 26,8 (Vijfjaars) gemiddelde 29,1 23,3 24,3 Cohort ,2 22,6 21,2 Percentage (absoluut) 4,9 0,7 3,1 Percentage (relatief) 17% 3% 13% Schools of Economics: Bedrijfseconomie, n=31 Diemen Alkmaar Haarlem Rotterdam Zaanstad Cohort ,5 48,2 36,0 39,0 - Cohort ,1 33,3 27,1 38,3 0,0 Cohort ,8 34,4 42,6 42,5 61,1 Cohort ,2 32,1 63,0 22,0 66,7 Cohort ,1 40,6 28,6 52,9 0,0 Cohort ,0 41,4 51,4 60,0 62,5 5jaarsgemi. 48,0 38,3 41,5 42,5 38,1 Cohort ,5 27, ,9 - Percentage (absoluut) 8,5 10,7 1,5-10,4 Percentage 18% 28% 4% 24%

72 (relatief) Uitval percentages cohorten 2002 t/m 2008 van opleidingen met weinig intake deelnemers Schools of Economics: Accountancy, n=11 Diemen Alkmaar Rotterdam Cohort ,3 37,1 47,8 Cohort ,0 55,3 29,7 Cohort ,6 23,9 43,1 Cohort ,6 34,1 34,5 Cohort ,4 34,4 61,8 Cohort ,7 33,3 69,6 (Vijfjaars) gemiddelde 33,3 36,4 47,8 Cohort ,1 58,1 32,3 Percentage (absoluut) -13,8-21,7-15,5 Percentage (relatief) Schools of Economics: Commerciele Economie (CE), n=13 Den Haag Alkmaar Haarlem Rotterdam Diemen Zaanstad Cohort ,0 31,5 17,3 34,1 38,1 Cohort ,8 37,7 17,6 39,9 43,6 11,1 Cohort ,9 27,1 20,0 45,0 25,9 43,8 Cohort ,6 39,2 25,3 24,4 42,7 50,0 Cohort ,8 54,8 39,5 34,0 32,0 42,9 Cohort ,5 56,9 31,1 48,9 37,8 40,0 5jaarsgemi. 48,1 41,2 25,1 37,7 36,7 37,6 Cohort ,7 27,6 37,1 51,3 23,3 - Percentage (absoluut) 15,4 13, ,6 13,4 - Percentage (relatief) 32% 33% 48% 36% 37% - Schools of Social Work: Maatschappelijk Werk en Dienstverlening, n=24 Rotterdam Alkmaar Haarlem Amsterdam Den Haag Cohort ,3-31,0-37,5 Cohort ,8 33,3 44,4-39,4 Cohort ,8 31,3 40,0-45,5 Cohort ,9 40,0 32,4 20,0 36,4 Cohort ,8 37,3 37,9 30,6 50,0 Cohort ,4 30,0 32,1 32,6 30,8 5jaarsgemi. 34,8 34,4 36,3 27,7 39,9 Cohort ,7 30,6 16,7 26,9 29,3 Percentage (absoluut) -7,9 3,8 19,6 0,8 10,6 Percentage (relatief) 23% 11% 54% 3% 27%

73 Schools of Social Work: SPH, n=13 Rotterdam Alkmaar Haarlem Den Haag Cohort ,2 17,4 14,3 39,3 Cohort ,4 34,0 39,0 35,0 Cohort ,0 36,8 33,3 52,4 Cohort ,6 38,8 25,5 50,0 Cohort ,4 27,0 27,0 40,9 Cohort ,7 37,5 50,0 39,3 5jaarsgemi. 43,6 31,9 31,5 42,8 Cohort ,5 31,7 36,2 42,3 Percentage (absoluut) 1,1 0,2-4,7 0,5 Percentage (relatief) 3% 1% 15% 1%

74 Bijlage 6 Screenshots teamsite project Figuur 1 Screenshot Teamsite Intakes: Intake coördinator -pagina Figuur 2 Screenshot Teamsite Intakes: Testleider-pagina