Studiekeuzegesprekken NHTV praktijkbeschrijving januari 2010

Studiekeuzegesprekken NHTV praktijkbeschrijving januari 2010 OW 10.0840 Deel 1: Contextbeschrijving Deel 2: Redeneerketen op basis van het algemene onderzoeksmodel Deel 3: Operationalisering van het gekozen arrangement studiekeuzegesprekken Deel 4: Resultaat evaluatie Deel 5: Procesevaluatie en eindoordeel

Vooraf NHTV internationaal hoger onderwijs heeft in november 2008 een subsidieaanvraag ingediend bij SURF voor het uitvoeren van studiekeuzegesprekken bij de opleidingen International Media and Entertainment Management (IMEM) en International Game Architecture and Design (IGAD). De subsidieaanvraag is gehonoreerd en vanaf maart 2009 is het project gestart. Het project liep tot maart 2010. Bij de opleidingen voor digital entertainment is het intakegesprek één van de stappen die de student doorloopt gedurende de gehele procedure. Naast het intakegesprek bestaat de procedure uit het maken van een zelf assessment, het uploaden van het cv en een motivatiebrief, een voorkennistest (bij IMEM), een thuisopdracht (bij IGAD) en een groepsopdracht (bij IMEM). Al deze stappen moeten zorgen voor een bewustwordingsproces bij de student. NHTV heeft subsidie gekregen voor de omvorming van het huidige selectie-instrumentarium van de Academy for Digital Entertainment tot een matchingsinstrumentarium, voor de verbetering van de kwaliteit van de intakegesprekken en voor de evaluatie van de gevolgde procedure. Ook deel van de afspraak is het schrijven van een praktijkbeschrijving die bestaat uit een beschrijving van de context, de redeneerketen die aan het project ten grondslag ligt, de operationalisatie van het gekozen arrangement, de resultaatevaluatie en de procesevaluatie. Tijdens het project is het online zelf assessment verbeterd. De online vragenlijst bestaat uit twee delen. Het eerste deel bevat algemene vragen over aspecten die voor alle opleidingen/ specialisaties belangrijk zijn: studievaardigheden, onderwijsconcept en Engelse taalvaardigheid. Het tweede deel bevat vragen die specifieker zijn voor een of meer van de opleidingen / specialisaties en betrekking hebben op beroepsvaardigheden en beroepsinteresses. Aan het einde van de vragenlijst, krijgt de studiekiezer een studieadvies Voor het intakegesprek een nieuwe itemlijst ontwikkeld. De vragenlijst bestaat uit een aantal hoofdonderwerpen met voorbeeldvragen. De hoofdonderwerpen zijn: oriëntatie en motivatie, beeld van de opleiding en het onderwijssysteem, beeld van het beroep, persoonsaspecten die belangrijk zijn voor de opleiding en vaardigheden in combinatie met, bij IGAD, de huiswerkopdracht. In juni en juli zijn de gesprekken geëvalueerd door docenten en studenten. Studenten hebben een schriftelijke vragenlijst ingevuld en met docenten is er een evaluatiebijeenkomst gehouden. In de tweede helft van het project is er onderzoek gedaan naar het effect van studiekeuzegesprekken op studiesucces. Daartoe zijn de laatste twee delen van de praktijkbeschrijving worden ingevuld: de resultaatevaluatie en de procesevaluatie.

Inleiding praktijkbeschrijving De elf projecten binnen de tender Studiekeuzegesprekken hebben als belangrijkste deliverable: het opleveren van een praktijkbeschrijving. Het doel van de praktijkbeschrijving is om vast te stellen wat elk project heeft geleerd. Het maken van een praktijkbeschrijving helpt om systematisch te reflecteren op het project en daarmee nieuwe kennis op te doen over wat er wel en niet werkt en waarom dat zo is. De praktijkbeschrijvingen, elk in zijn specifieke context, krijgen veel aandacht in de geplande bijeenkomsten van SURF met de projectleiders. Aan het eind van het programma brengen de projecten hun praktijkbeschrijvingen bij elkaar om hun inzichten overdraagbaar te maken naar andere instellingen. De gezamenlijke conclusies zullen ook input vormen voor beleidsvorming bij het Ministerie van OCW. Om de praktijkbeschrijving aan het eind te kunnen vergelijken, heeft SURF het onderstaande gemeenschappelijke format opgesteld als handvat voor de projectleiders. Dit format vormt de inhoudsopgave van de praktijkbeschrijving die aan het eind van het project wordt oplevert. De Praktijkbeschrijving Studiekeuzegesprekken bestaat uit vijf delen. Deze delen worden hier onder toegelicht.

Deel 1: Context beschrijving Doel: inzicht geven in de specifieke instellings- en opleidings context waarin de studiekeuzegesprekken worden gehouden. Dit hoofdstuk van de praktijkbeschrijving geeft inzicht in de context waarbinnen het project Studiekeuzegesprekken bij NHTV plaatsvindt. Het gaat hier om alle (niet-beïnvloedbare) contextvariabelen. De context zal van invloed zijn op de keuze van het studiekeuzegesprekken arrangement dat NHTV heeft opgezet, en mogelijk is de context ook van invloed op het resultaat. Op de volgende pagina s is een overzicht geschetst van de intakeprocedures van de NHTV opleidingen die bij deze pilot betrokken zijn: - International Media and Entertainment Management - International Game Architecture and Design

Media & Entertainment Management De opleiding International Media & Entertainment Management, met een jaarlijkse instroom van 180 studenten, is sinds 2003 onderdeel van het Ruim Baan voor Talent experiment van het ministerie van OC&W en een van de weinige opleidingen binnen het HBO waarbij het experiment positief is beoordeeld en daarom verlengd is tot 2011. Bij de accreditatie, afgegeven in 2008, zijn de opleiding de kenmerken Bijzondere kwaliteit met betrekking tot de aansluiting theorie-praktijk en het bijzonder kenmerk Innovatieve conceptontwikkeling in een internationale context toegekend. In het kader van het Ruim vaan voor talent experiment is in 2004 een intake- en selectie assessment ontwikkeld, dat bestaat uit een aantal stappen: 1. Een online zelf-assessment dat tot doel heeft de potentiële student in staat te stellen zelf te beoordelen of deze een juist beeld heeft van de opleiding. 2. Een online sollicitatie procedure waarin de potentiële student de mogelijkheid heeft een sollicitatiebrief en portfolio te uploaden. 3. Een voorkennistest. 4. Een groepsopdracht, uitgevoerd op de NHTV, waarin inbreng wordt geobserveerd door een assessor. 5. Een een-op-een interview. Game Architecture and Design De opleiding International Game Architecture and Design, gestart in 2006 met een instroom van 120, is vormgegeven volgens hetzelfde, als van bijzonder kwaliteit beoordeelde, onderwijsconcept. De opleiding richt zich op de bovenkant van de game industrie: fotorealistische 3D games voor de console en PC game-industrie, die zich kenmerkt door vergaande specialisatie en snelle technologische innovatie. In de meest recente versie van het CHOICE onderzoek scoort de opleiding een eerste plaats binnen het hoger beroepsonderwijs. Aanvankelijk is de opleiding gestart met 2 afstudeerrichtingen: 3D Programming en 3D Visual Art. Vanaf 2009 is daar een derde richting bij gekomen: Art and Technology for Next Generation Entertainment. Voor de opleiding is het voor Media & Entertainment Management ontwikkelde intake assessment in gebruik als selectie instrument. Op een tweetal stappen na is het selectie instrument gelijk: 1. Een online zelf-assessment dat tot doel heeft de potentiële student in staat te stellen te beoordelen of deze een juist beeld heeft van de opleiding 2. Een online sollicitatie procedure waarin de potentiële student de mogelijkheid heeft een sollicitatiebrief en portfolio te uploaden. 3. Een thuisopdracht die voor elk van de specialisaties verschillend is. 4. Een een-op-een interview.

Intakeprocedure IMEM Student leest informatie over de intakeprocedure op de website Stap 1: Student maakt het self assessment en neemt het besluit om de aanmelding wel/niet in gang te zetten en zich aan te melden bij studielink Stap 2: Student upload zijn cv en brief op de assessment site Stap 3: Student maakt voorkennistest op de assessment site. Coordinator intakeprocedure beoordeelt de inzendingen en nodigt de meest geschikte kandidaten uit voor een groepsopdracht en een interview. Stap 4: Student komt naar NHTV voor een groepsopdracht en een interview. Student wordt niet uitgenodigd. Coordinator intakeprocedure berekent de totale score per student en legt de grens tussen aannemen en afwijzen op basis van het aantal beschikbare plaatsen. Stap 5: Student krijgt postief advies voor de opleiding. Student krijgt negatief advies voor de opleiding.

Intakeprocedure IGAD Student leest informatie over de intakeprocedure op de website Stap 1: Student maakt het self assessment en neemt het besluit om de aanmelding wel/niet in gang te zetten en zich aan te melden bij studielink Stap 2: Student upload zijn cv en brief op de assessment site Stap 3: Student maakt een huiswerk opdracht (verschillend per sepcialisatie) en upload deze op de assessment site. Coordinator intakeprocedure beoordeelt de inzendingen en nodigt de meest geschikte kandidaten uit voor het interview. Stap 4: Student komt naar NHTV voor een interview Student wordt niet uitgenodigd voor het interview.. Coordinator intakeprocedure berekent de totale score per student en legt de grens tussen aannemen en afwijzen op basis van het aantal beschikbare plaatsen. Stap 5: Student wordt positief advies voor de opleiding. Student krijgt negatief advies voor de opleiding.

Beschrijving van de context Instelling Soort instelling Soort opleiding NHTV internationaal hoger onderwijs Breda HBO instelling. International Media and Entertainment Management Voltijd Toelatingseisen - mbo-4: direct toelaatbaar - havo: direct toelaatbaar - vwo: direct toelaatbaar Aantal plaatsen instroom 2008-2009: 180 studenten Numerus Fixus met selectie (Regeling ruim baan voor talent). Deze opleiding mag al haar studenten zelf selecteren. Selectie vindt plaats op basis van: - brief - curriculum Vitae - voorkennistest - groepsopdracht - interview Locatie Aanmeldingen International Game Architecture and Design Voltijd Specialisaties vanaf het eerste jaar: - 3D Programming - 3D Visual Art - Art & Technology in Next Generation Entertainment Toelatingseisen: - mbo-4: direct toelaatbaar - havo: profiel C&M met wia of wib; overig direct toelaatbaar - vwo: direct toelaatbaar Aantal plaatsen instroom 2008-2009: 180 studenten Numerus Fixus met decentrale selectie (50% van de kandidaten mag de opleiding zelf selecteren. De andere 50% vindt plaats via centrale selectie). Selectie vindt plaats op basis van: - brief - curriculum Vitae - thuisopdracht (verschillend voor elk van de 3 opleidingsspecialisaties) - interview International Media and Entertainment Management: Mgr. Hopmansstraat 1, 4817 JT Breda International Game Architecture and Design: Reduitlaan 41, 4814 DC Breda International Media and Entertainment Management: 180 plaatsen (hiervoor zal de opleiding ca. 250 aanmeldingen ontvangen) International Game Architecture and Design: 210 plaatsen (hiervoor zal de opleiding ca. 250 aanmeldingen ontvangen) Geen late aanmeldingen Deadline inschrijvingen is op 15 mei.

Algemene kenmerken van de studenten binnen deze opleiding International Media and Entertainment Management (uitgangspunt: instroom 2008) - percentage binnenlandse versus buitenlandse student: 80,7% versus 19,3% - vooropleiding: 56,8% havo profiel, 18,7% vwo profiel, 9,9% mbo profiel - gemiddelde leeftijd instroom 2008: 19 jaar en 6 maanden Opleiding Media & Entertainment Man. vooropleiding man vrouw totaal % HAVO 0 0,0% HAVO-profiel 31 49 80 46,8% VWO 0 0,0% VWO-profiel 8 24 32 18,7% MBO 11 6 17 9,9% Buitenl.dipl 13 20 33 19,3% Overig 5 4 9 5,3% Totaal 68 103 171 % m/v 39,8% 60,2% HAVO VWO profiel man vrouw man vrouw C+M 8 28 1 14 E+M 15 15 4 9 EM+CM N+G 4 5 2 1 N+T 2 1 NT+NG 1 1 NG+EM 1 31 49 8 24 International Game Architecture and Design (uitgangspunt: instroom 2008) - percentage binnenlandse versus buitenlandse student: 5,8 versus 94,2% - vooropleiding: 43,3% havo profiel, 29,8% mbo profiel, 16,3% vwo profiel. - gemiddelde leeftijd instroom 2008: 20 jaar en 3 maanden Opleiding Game Architecture & Design vooropleiding man vrouw totaal % HAVO 0 0,0% HAVO-profiel 42 3 45 43,3% VWO 0 0,0% VWO-profiel 11 6 17 16,3% MBO 28 3 31 29,8% Buitenl.dipl 5 1 6 5,8% Overig 4 1 5 4,8% Totaal 90 14 104 % m/v 86,5% 13,5%

HAVO VWO profiel man vrouw man vrouw C+M 6 2 3 E+M 5 4 1 CM+EM N+G 7 1 3 1 N+T 22 3 NT + NG 2 1 1 42 3 11 6 Datum instroom Gemiddeld propedeuse resultaat Gemiddeld percentage uitvaller 1x per jaar in september International Media and Entertainment Management: 2005 2006 2007 uitval eerste jaar 25 16,7% 30 17,5% 33 20,6% uitval na twee jaar 31 20,7% 40 23,4% Nog niet bekend Totale uitval cohort op 31/08/2008 33 22,0% 40 23,4% 33 20,6% International Game Architecture and Design: 2006 2007 uitval eerste jaar 35 36,1% 67 53,2% uitval na twee jaar 46 47,4% Nog niet bekend Totale uitval cohort op 31/08/2008 46 47,4% 67 53,2% Uitval betekent uitval uit de opleiding, niet uit het hoger onderwijs.

Deel 2: Redeneerketen Doel: inzicht geven in de vooronderstellingen met betrekking tot de manier waarop de gesprekken zullen leiden tot het gewenste resultaat. In dit hoofdstuk wordt expliciet gemaakt welke problemen de opleidingen willen aanpakken en waardoor deze problemen worden veroorzaakt. In het arrangement Studiekeuzegesprekken dat in het project gebruikt wordt, organiseren de opleidingen bepaalde activiteiten (interventies), waarvan zij veronderstellen dat ze tot een bepaald resultaat zullen leiden (outcome) omdat ze bepaalde processen in gang zetten (mechanismen). Diagnose en referentie Wat is het probleem en waardoor wordt het veroorzaakt? Wat weten we van het probleem en van mogelijke interventies/oplossingen (referenties)? Er is hoge uitval bij de opleiding International Game Architecture and Design als gevolg van benodigde speciale talenten (vergelijk conservatoria) voor het met goed gevolg volgend van het onderwijs. Voor sommige studenten zijn de eisen binnen de bestaande specialisaties binnen het studieprogramma te hoog. Als alternatief is er een nieuwe variant van Game Architecture and Design ontwikkeld op het snijvlak van de opleidingen Media & Entertainment Management en International Game Architecture and Design. Een goede match van studenten met de meest passende opleiding is belangrijk. Studenten dienen zo vroeg mogelijk in het juiste traject terecht te komen. Bewustwordingsproces bij student wordt in gang gezet d.m.v. trechter model (zelf assessment, cv en brief, huiswerkopdracht, (groepsopdracht) en interview) dat deels zelf selecterend werkt. Interventies Mechanismen Outcome Korte beschrijving van soorten interventies die via het studiekeuzegesprekken arrangement worden gedaan. Wat gaan we doen en wat willen we beïnvloeden? Vooronderstellingen over onderliggende mechanismen die ervoor zorgen dat de interventies leiden tot de outcome. Antwoord op de vraag: waarom werken de interventies? Beschrijving van de te verwachten outcome (effect) van de interventies: wat is het beoogd resultaat? Het self assessment wordt aangepast en verbeterd door toevoeging van matchingsmechanismen. Studenten krijgen een advies omtrent de juistheid van de studiekeuze en worden (indien nodig) doorverwezen naar Het self assessment leidt tot een advies over geschiktheid voor alle opleidingen / specialisaties vanaf jaar 1, binnen academie. De student wordt zo gericht mogelijk verwezen naar de studie dit het beste bij hem/haar past.

ander studiemogelijkheden (binnen of buiten de academie). Het nieuwe online zelf assessment bestaat uit twee delen 1. Het eerste deel bevat algemene vragen over aspecten die voor alle opleidingen/ specialisaties belangrijk zijn: studievaardigheden, onderwijsconcept en Engelse taalvaardigheid. Het tweede deel bevat vragen die specifieker zijn voor een of meer van de opleidingen / specialisaties en betrekking hebben op beroepsvaardigheden en beroepsinteresses. Aan het einde van de vragenlijst krijgt de studiekiezer een studieadvies. Het advies bestaat uit een terugkoppeling op de aspecten uit het eerste deel (studievaardigheden, onderwijsconcept en Engelse taalvaardigheid). Daarnaast wordt per opleiding/specialisaties een advies gegeven op basis van de antwoorden bij de vragen over beroepsvaardigheden en beroepsinteresses. Voor het interview wordt een nieuwe itemlijst ontwikkeld. De uitkomst van het interview zal niet slechts bestaan uit een selectiebesluit voor de opleiding waarvoor is ingeschreven, maar tevens een studieadvies zijn. Tijdens het interview kan zowel de docent als de student er achter komen of de de student matcht met de opleiding. Indien opleiding niet past bij student dan is er de mogelijkheid een tweede gesprek te voeren bij een van de andere opleidingen van de academie. De vragenlijst bestaat uit een aantal hoofdonderwerpen met voorbeeldvragen. De hoofdonderwerpen zijn: - oriëntatie en motivatie - beeld van de opleiding en het

onderwijssysteem - beeld van het beroep - persoonsaspecten die belangrijk zijn voor de opleiding. Bij IMEM: initiatief nemen, samenwerken en assertiviteit. Bij IGAD: initiatief nemen, volharding en flexibiliteit. - vaardigheden in combinatie met, bij IGAD, de huiswerkopdracht. Als het gesprek beëindigd is scoort de interviewer de student op deze aspecten. Alle aspecten zijn geoperationaliseerd om zoveel mogelijk objectiviteit te verkrijgen. Het zou immers niet uit hoeven maken of de studiekiezer door interviewer X of interviewer Y beoordeeld wordt. Nazorg Studenten voor wie de opleiding minder passend was, zijn nagebeld om een stukje nazorg te bieden. In het gesprek werd gevraagd of studenten een alternatief voor handen hadden. Indien nodig kon er vanuit NHTV eventueel begeleiding/ een training aangeboden worden. De studenten waarmee telefonisch contact is geweest hadden allen een alternatieve opleiding in gedachten of zich daar al voor aangemeld.

Deel 3: Operationalisering van het gekozen arrangement studiekeuzegesprekken Doel: beschrijven van de ontworpen aanpak voor het doen van studiekeuzegesprekken. Bij het opzetten van studiekeuzegesprekken zijn veel opties mogelijk. Elke opleiding heeft keuzes gemaakt en een eigen arrangement ontworpen. Met wie? Soort student Studenten die staan ingeschreven voor de selectieprocedure bij IMEM en IGAD. Risicoprofielen Er worden geen risicoprofielen opgesteld. Alle studenten hebben een intakegesprek. Als zij tenminste de stappen op de assessment site doorlopen hebben (uploaden cv, brief, pre knowledge test (IMEM) en opdracht (IGAD). Wanneer Periode Voor de poort Juni 2009 Niet gekoppeld aan introductieweek Hoe? Vorm van gesprek Individueel gesprek Waartoe? Doel van gesprek Kans op succes in opleiding inschatten, door het toetsen van: - oriëntatie en motivatie - beeld van opleiding en onderwijssysteem - beeld van beroep - persoonskenmerken (IMEM: initiatief nemen, samenwerken en assertiviteit) (IGAD: initiatief nemen, doorzet. vermogen) flexibiliteit) - huiswerkopdracht (IGAD) Er is een gespreksprotocol met scoringsformulier. Tijdens het gesprek worden notities gemaakt. Evaluatie van het gesprek vindt na het gesprek, dus achteraf, plaats. Om zo de objectiviteit in de beoordeling zo hoog mogelijk te laten zijn. Door we? Interviewer Docenten IGAD en IMEM Voorafgegaan door? 1)Self assessment Studenten kunnen door middel van een self assessment achterhalen of ze wel of niet geschikt zouden zijn voor de opleiding. Er vindt een terugkoppeling plaats op: - Engelse taalvaardigheid - geschiktheid m.b.t. het onderwijs concept - studievaardigheden van de student - beroepsinteresses - geschiktheid op het gebied van beroepsvaardigheden Indien niet geschikt, wordt er verwezen naar een

andere opleiding. 2) Uploaden van cv en 3) brief Stap 1 van de selectieprocedure is het uploaden van het cv en een motivatiebrief. Bij het CV wordt o.a. gekeken naar vooropleiding, al opgedane kennis en hobby s. De brief geeft een beeld van de Engelse taalvaardigheid, motivatie en beeld van de studie / het beroep. 4) Voorkennistest (IMEM) 5) Huiswerkopdracht (IGAD) 6) Groepsopdracht (IMEM) 30 vragen op het gebied van voorkennis, relevant voor de IMEM opleiding. Huiswerkopdracht, afgestemd voor elk van de 3 specialisaties. Er wordt gelet op time management, helderheid van het werkproces, gestructureerdheid van de discussie en betrokkenheid van de kandidaten. Gevolgd door Advies Schriftelijk studieadvies In samenhang met Selectie Studiekeuzegesprek is onderdeel van de selectieprocedure. Kosten Eenmalig en structureel Eenmalige ontwikkelkosten self assessment en interview. Extra tijdsinvestering tijdens interview per kandidaat. Organisatie Werkproces Zie procesbeschrijving. Eigenaar van het proces Eindverantwoordelijk: directeur academie Operationeel: projectleider en coördinatoren intake procedures IMEM en IGAD (bij IGAD 1 persoon per studierichting). Tijdens interview: docenten IMEM en IGAD. Training Training van gespreksvoerders wordt gedaan voorafgaand aan de gesprekken.

Deel 4: Resultaatevaluatie Doel: inzicht geven in de effecten van het gekozen arrangement De effectmeting van de pilot richt zich op de verwachte outcomes zoals genoemd in de redeneerketen. Met het oog op de onderlinge vergelijkbaarheid van de projecten en hun effecten, bestaat de effectmeting uit een aantak gezamenlijke elementen. Variabele Operationalisatie Norm Uitkomst Oordeel Effect van studiekeuz egesprekk en op studiesucces. Afhankelijke variabelen: Behaalde studiepunten (ECTS) Afgegeven preadviezen Aantal uitschrijvers Aantal omzwaaiers Onafhankelijke variabelen: Deelname aan intakeprocedure (wel/niet) Verandering van studiekeuze na gesprek en voor de daadwerkelijke start met de opleiding Achtergrondvariabelen: Geslacht Leeftijd Vooropleiding Data worden begin maart 2010 opgevraagd bij de afdeling ICT/studentzaken. Op deze manier worden alle studenten die zich tot 1 februari uitschrijven meegenomen. Deze studenten worden namelijk met een wachttijd van 1 maand uitgeschreven in de administratie. Dezelfde data worden opgevraagd in november 2010 voor de tweede resultaatevaluatie die iets kan zeggen over het effect van de interventies na 1 jaar. Positief verband tussen het volgen van de intakeprocedure en scores op de afhankelijke variabelen, hetgeen betekent: n = 120 gesprek n = 45 geen gesprek IGAD (geen gesprek) - meer behaalde ECTS (16,6) - minder negatieve preadviezen (53,3 %, 24) - minder Uitschrijvers (11,8 %, 6) - minder Omzwaaiers (0 %, 0) Wel gesprek - ja (18) - ja (49,2 %, 59) - ja (9,5%, 13) - ja, (21,6% 26) -- - -/+ + ++? geen oordeel * beteke nt niet signific ant + * + * + * + Bij IGAD worden de studenten die gestart zijn zonder een gesprek vergeleken met de studenten die gestart zijn na een gesprek, vergeleken. Bij IMEM hebben alle studenten een gesprek gehad. Om iets over het effect van de gesprekken te kunnen zeggen, wordt de instroom van 2009-2010 vergeleken met de instroom van 2008-2009. n = 166 2008 n = 179 2009 IMEM (2008) - meer behaalde ECTS (22,46) - minder negatieve preadviezen (23,3%, 38) - minder Uitschrijvers (7,7 %, 14) - minder Omzwaaiers (0%, 0) (2009) - nee (21,16) - nee (33,3 %, 59) - nee (8,8%, 18) - nee, 0 -- * -- --* -/+

Oordeel van de deelnemer (student en/of studiestak er en/of niet inschrijver) Direct na afloop van het interview (en de groepsopdracht) is de hele procedure schriftelijk geëvalueerd met de studenten. De volgende aspecten zijn geëvalueerd: - de ontvangen informatie over de gehele procedure - de werking van de assessment site - de stappen in de procedure, geven deze een goed beeld van de opleiding - de sfeer tijdens het interview (en groepsopdracht) - de organisatie van het interview (en groepsopdracht) en de informatievoorziening - de tevredenheid over het gegeven studieadvies De belangrijkste resultaten bij IMEM: Aspect Informatie over de procedure Assessment site Stappen in de procedure Sfeer tijdens het interview en groepsopdracht Organisatie en informatievoorziening Tevredenheid over het studieadvies Gemiddelde score 3.78 (op een 5-puntsschaal) 1.14 (op een 2-puntsschaal) 3.94 (op een 5-puntsschaal) 4.53 (op een 5-puntsschaal) 4.24 (op een 5-puntsschaal) 3.63 (op een 5-puntsschaal) De belangrijkste resultaten bij IGAD: Aspect Informatie over de procedure Assessment site Stappen in de procedure Sfeer tijdens het interview en groepsopdracht Organisatie en informatievoorziening Tevredenheid over het studieadvies Gemiddelde score 4 (op een 5-puntsschaal) 1.18 (op een 2-puntsschaal) 4.08 (op een 5-puntsschaal) 4.35 (op een 5-puntsschaal) 4.46 (op een 5-puntsschaal) 4.42 (op een 5-puntsschaal) De lage score op de vragen over de werking van de assessment-site heeft vermoedelijk te maken met een tweetal aspecten. Ten eerste het feit dat er inderdaad technische problemen zijn geweest en men niet altijd wist waar vragen gesteld konden worden. Ten tweede de negatieve formulering van de vraag (bijvoorbeeld: Ik heb geen problemen

Oordeel van de gespreksvoerders gehad met het maken van het self assessment ) heeft vermoedelijk soms gezorgd voor niet bedoelde negatieve beantwoording. Begin juli is de procedure geëvalueerd met de interviewers (aantal docenten: 10). De overall indruk van deze bijeenkomst was positief. Docenten zijn van mening dat de hele procedure bijdraagt aan een goede selectie van studenten en aan een gemotiveerde start van de studenten. Een aantal belangrijke punten die hierbij genoemd zijn: - De lijst met gespreksonderwerpen was een handig geheugensteuntje om na te gaan of in het gesprek alle onderwerpen besproken zijn. - Wellicht zou je met twee interviewers moeten werken om de objectiviteit zo nog te vergroten. - Studenten beter voorbereiden op inhoud van het interview. De vragen naar persoonskenmerken als samenwerken en initiatief nemen die met de STAR methode werden uitgevraagd, kwamen voor studenten onverwacht. Op de assessment site kan meer informatie komen te staan over de inhoud en opzet van het interview. - Een buitenlandse docente gaf aan dat het handig zou zijn om informatie te hebben over hoe het onderwijssysteem in Nederland is geregeld met de verschillende niveaus zodat je als buitenlandse docent de Nederlandse vooropleidingen beter kunt plaatsen. - Er wordt over nagedacht om de Informatie uit het interview te gebruiken voor studieloopbaanbegeleiding. - Als studenten naar een oriëntatiedag gaan, dan zijn ze goed voorbereid, hebben ze een goed beeld van de opleiding. Neem het bezoeken van een open dag en oriëntatiedag mee in het evaluatieformulier en niet alleen als vraag. - Om het interview in deze opzet goed te kunnen doen is 30 minuten nodig. - Idee voor volgend jaar: start de groepsopdracht een ½ uur voor de interviews zodat studenten al een beetje op gang zijn voordat ze voor het interview langs komen. - Bij IMEM zijn geen studenten doorverwezen

naar de opleiding A&T. Bij programming en visual art was dat wel het geval. Omdat er altijd een docent van deze opleiding aanwezig was, was het eenvoudig om studenten een tweede gesprek aan te bieden. - De interviews vinden nu aan het begin van blok 4 plaats, tijdens lesweken. Kunnen een aantal interviews niet al tussen blok 4 en 5 plaats vinden? - Soms is het lastig om je achteraf precies te herinneren welk gezicht bij welke student hoort. Is het een idee om bij binnenkomst een foto van de kandidaat te maken?

Deel 5: Procesevaluatie Doel: inzicht geven in hoe het arrangement heeft gefunctioneerd, wat goed is bevallen, wat verbeterd kan worden, de lessons learned en do s & don ts van het uitgevoerde arrangement. Deze evaluatie is deels gebaseerd op een vergelijking van het ontworpen arrangement en het uitgevoerde arrangement. Reflectie terug Gerealiseerd ontwerp Uitvoeringsproblemen Uitvoeringssuccessen Risicoprofielen Kosten Bijeffecten Het verbeteren van het self assessment bleek krap gepland. Project startte in maart en het product zou in april moeten worden opgeleverd. Na overleg met SURF is daar meer tijd voor vrijgemaakt en is het product later opgeleverd. De huidige inschrijfdatum heeft geen invloed gehad op het arrangement. Reden hiervoor is dat voor IGAD decentrale selectie geldt en voor IMEM volledige selectie. Gerelateerd hieraan ligt de deadline voor aanmelding op 15 mei. Opleidingen zijn positief over het nieuw ontworpen self assessment en de interview protocollen. NHTV heeft niet gebruik gemaakt van een risicoprofiel. Indicatie kosten gehele intakeprocedure bij IMEM en IGAD samen: Totale kosten aan ureninzet bij NHTV: 34.700,- Aantal deelnemers: 350 Kosten per deelnemer: 99,- Studenten na afloop van het interview een alternatief geven voor een opleiding bleek in praktijk soms lastig. Studenten komen met 1 specifiek doel:

Eindoordeel Reflectie vooruit Verbeteringen Lessons learned Do s Don ts Nog verder Schaalbaarheid Overdraagbaarheid toegelaten te worden tot de opleiding. Als de interviewer vervolgens het gevoel krijgt dat de student niet past binnen de opleiding, dan was het soms lastig om aan te geven waar deze student dan beter zou kunnen passen. Bij een beperkt aantal studenten was dat het geval. Deze studenten zijn vervolgens nagebeld om toch een stukje nazorg te kunnen bieden. Positief. Tijdens het project is het online zelf assessment verbeterd. De online vragenlijst bestaat uit twee delen. Het eerste deel bevat algemene vragen over aspecten die voor alle opleidingen/ specialisaties belangrijk zijn: studievaardigheden, onderwijsconcept en Engelse taalvaardigheid. Het tweede deel bevat vragen die specifieker zijn voor een of meer van de opleidingen / specialisaties en betrekking hebben op beroepsvaardigheden en beroepsinteresses. Aan het einde van de vragenlijst, krijgt de studiekiezer een studieadvies Voor het intakegesprek is een nieuwe itemlijst ontwikkeld. De vragenlijst bestaat uit een aantal hoofdonderwerpen met voorbeeldvragen. De hoofdonderwerpen zijn: oriëntatie en motivatie, beeld van de opleiding en het onderwijssysteem, beeld van het beroep, persoonsaspecten die belangrijk zijn voor de opleiding en vaardigheden in combinatie met, bij IGAD, de huiswerkopdracht. Kijken naar het moment van de gesprekken. Wellicht bij IGAD al gedurende het jaar intakegesprekken om de ureninzet in juni te verlichten. Er wordt over nagedacht om de Informatie uit het interview te gebruiken voor studieloopbaanbegeleiding binnen de opleiding. Studenten na afloop van het interview een alternatief geven voor een opleiding (indien de student minder goed paste binnen de opleiding) bleek in praktijk soms lastig. Studenten kwamen met een specifiek doel: toegelaten worden tot de opleiding. Als de interviewer vervolgens het gevoel kreeg dat de student niet paste binnen de opleiding, dan was het soms ook lastig om aan te geven welke opleiding beter aansloot. De interviewers missen over het algemeen de kennis van opleidingen buiten de academie. De studenten zijn nagebeld om toch een stukje nazorg te kunnen bieden. Interviewprotocol instellen voor gesprekken en bijeenkomst/training organiseren met docenten voorafgaand aan het interview. Niet bekend. Bij NHTV hebben de intakegesprekken steun van de organisatie. Ook na het project blijven hiervoor uren beschikbaar. Hieronder een aantal aspecten die belangrijk waren binnen het project. Deze aspecten kunnen ook voor anderen, die van plan zijn studiekeuzegesprekken in te voeren op hun hogeschool of universiteit, van belang zijn. Zelf assessment Het opzetten van een zelf assessment heeft twee belangrijke momenten. Het eerste moment betreft de keuze voor een instrument. Kies je voor bestaande software of programmeer je helemaal zelf. Bij NHTV is gekozen om zoveel

mogelijk met bestaande software te werken omdat dat erg in arbeidsuren en kosten scheelt. Wel waren er twee randvoorwaarden: het moest een gebruikersvriendelijk programma zijn en de layout moest er goed uitzien. Het tweede belangrijke moment bij het opzetten van een zelf assessment betreft het opstellen van de vragen met de daarbij geldende weging per antwoord. Het laatste, de weging per antwoord, is misschien nog wel het moeilijkst en kost de meeste ontwikkeltijd. Belangrijk is om de vragenlijst te testen met zoveel mogelijk docenten en zittende studenten om tot een zo valide mogelijke vragenlijst te komen. Kwaliteit van de intakegesprekken Om tot een kwalitatieve verbetering te komen van de intakegesprekken is gekozen voor een vooraf opgestelde onderwerpenlijst met een aantal voorbeeld vragen. Tijdens het gesprek zelf maakt de interview enkel aantekeningen. Na afloop van het gesprek en nadat de student is weggegaan, wordt het gesprek aan de hand van geoperationaliseerde criteria geanalyseerd. Er is gekozen voor deze opzet omdat zo met de meest mogelijke objectiviteit naar het gesprek gekeken kan worden. Van te voren volgen de docenten een training en wordt het gesprek een aantal keren geoefend. Hierdoor wordt de vragenlijst ook weer verfijnd. Evaluatie Zowel met de studenten die deel genomen hebben aan de gesprekken als met de docenten die de studenten geïnterviewd hebben, is er geëvalueerd. Voor de student evaluatie is er bewust gekozen voor een schriftelijke evaluatie gelijk na het gesprek om tot een zo hoog mogelijke respons te komen. De gegevens zijn later gedigitaliseerd en verwerkt. Voor de docent evaluaties zijn alle interviewers uitgenodigd voor een evaluatiebijeenkomst. Tijdens het gesprek is allereerst het nieuwe interviewprotocol geëvalueerd en vervolgens gesproken over de procedure in het geheel om ieder geval voldoende tijd aan de evaluatie van het interview te kunnen besteden. Een evaluatie helpt om het proces te verbeteren voor het jaar erop. Niet alleen de projectleider, ook de docenten vonden het zinvol.