Onderzoeksverantwoording Nationale Studenten Enquête 2014

Transcriptie

1 Onderzoeksverantwoording Nationale Studenten Enquête 2014

2 Colofon Dit is een uitgave van Stichting Studiekeuze123 met bijdrages van GfK en ResearchNed, oktober Onderdelen uit deze Onderzoeksverantwoording Nationale Studenten Enquête 2014 mogen worden overgenomen met bronvermelding (bron: Stichting Studiekeuze123 (2014a)). Hoewel de grootst mogelijke zorg is besteed aan de inhoud van deze Onderzoeksverantwoording Nationale Studenten Enquête 2014, kunnen er geen rechten aan worden ontleend. Voor meer informatie: Onderzoeksverantwoording Nationale Studenten Enquête

3 INHOUDSOPGAVE Inleiding De opzet en methode van onderzoek Technische infrastructuur GfK Atlas Functionality Deliverability GfK Drive Testen van de vragenlijst Beveiliging Privacy Incidenten Voorbereiding veldwerk Overzicht en analyse van deelnemende instellingen NSE Combinatie-opleidingen Overeenkomst(en) tot deelname Startbijeenkomst en Routeboek Aanlevering van studentgegevens Verwerking van studentgegevens De NSE-vragenlijst Communicatie Communicatie studenten Uitnodigingstekst en reminders Communicatie instellingen Social media Special Interest Group NSE Studiekeuzeconferentie NSE Online gestopt Totstandkoming van vernieuwde Factsheets Onderzoeksverantwoording Nationale Studenten Enquête

4 5. Populatie en respons Mailing Respons Responsgedrag Hoe is de NSE ingevuld? Analyse nieuwe vraag 33a Non-responsanalyse Responsoverzichten Datacleaning en bestandsbewerking Verrijking en andere bewerkingen Hercoderen open vragen Handicap & Studie Huurwaarden Invultijd Studiejaar student Themascores en instellingsvragen Nieuwe themascores vanaf Achtergrond en basis voor besluitvorming door Studiekeuze Onafhankelijke Werkgroep Vragenlijst Trendbestand Uitgangspunten van de afwegingen en analyses Datakwaliteit (verantwoording thematische indeling van de vragen) Review Sixtat betreffende transitie uitvoerder Analyses en advies GfK Weging Synchronisatie met voorgaande metingen Aanmaak resultaatbestanden Opgeleverde producten Bestanden Bestanden voor deelnemende instellingen Overige verwerking Factsheets Onderzoeksverantwoording Nationale Studenten Enquête

5 7.3 Verwerking studentenoordelen in Studiekeuzedatabase (DB14.4.3) & (DB14.5.2) Cleaning ten behoeve van koppeling met de Studiekeuzedatabase Beslisregels en controle van respons per opleiding Controleren van respons per vraag Samenvoegen van opleidingen bij onvoldoende respons Aggregeren: het berekenen van de scores per opleiding Verwerking studentenoordelen in Studie in cijfers Aantal eerstejaars Studenttevredenheid Contacttijd eerstejaars Valorisatie Nawoord Bronvermelding Tabellen- en Figurenoverzicht Bijlagen Onderzoeksverantwoording Nationale Studenten Enquête

6 INLEIDING De Nationale Studenten Enquête (NSE) is de landelijke enquête waarin studenten in het hoger onderwijs hun oordeel geven over hun opleiding aan een Nederlandse universiteit of hogeschool. De vragenlijst bestaat uit verschillende onderwerpen, onder andere de inhoud van de opleiding, docenten, informatie vanuit de opleiding, studielast, studiebegeleiding en de voorbereiding op de beroepsloopbaan. Het belang van het verzamelen van studentenoordelen is tweeledig. De informatie dient als hulpmiddel bij de studiekeuze van aankomende studenten. De druk op het maken van de juiste studiekeuze wordt voor de aankomende student steeds groter. De oordelen van studenten kunnen aankomende studenten helpen een betere keuze te maken. De oordelen, verzameld via de NSE, worden opgenomen in de Studiekeuzedatabase van Studiekeuze123. Voor een evenwichtige keuze zijn er naast studentenoordelen ook nog arbeidsmarktcijfers van het CBS en ROA, accreditatiegegevens van de NVAO, toelatingseisen aangeleverd door instellingen en instroomaantallen van de VSNU en de Vereniging Hogescholen opgenomen in de Studiekeuzedatabase. Studiekiezers kunnen opleidingen op verschillende onderwerpen vergelijken op Studiekeuze123.nl, in Studie in Cijfers of via keuzewebsites van andere afnemers van de Studiekeuzedatabase. Een landelijk overzicht van opleidingen in het hoger onderwijs is een belangrijke informatiebron voor de studiekiezer. Daarnaast gebruiken instellingen de studentenoordelen om hun eigen onderwijsbeleid te monitoren. De oordelen van de student geven een indicatie over de mogelijkheden tot verbetering van een opleiding. Op deze manier helpen studenten hun instelling om de kwaliteit van het onderwijs nog verder te kunnen verbeteren. Ook partijen als de Inspectie van het Onderwijs en het ministerie van OCW maken gebruik van de mogelijkheden van dit databestand. Meerjarige deelname van hoger onderwijsinstellingen met een gelijke vragenlijst maakt het mogelijk het onderwijsbeleid van instellingen te monitoren. De vragenlijst blijft daarom de komende jaren ook zoveel mogelijk ongewijzigd. Dit geeft ook meteen het belang aan van de blijvende participatie van de hoger onderwijsinstellingen aan de NSE voor het behoud van de volledigheid van het bestand. De NSE 2014 is de zesde editie die is uitgevoerd onder verantwoordelijkheid van Studiekeuze123. Na gunning via een Europese aanbesteding in 2012 is GfK de partij die - voor de tweede keer met Studiekeuze123 voor de uitvoering heeft zorg gedragen. Onderzoeksverantwoording Nationale Studenten Enquête

7 1. DE OPZET EN METHODE VAN ONDERZOEK De NSE is een jaarlijks kwantitatief onderzoek waarbij per een elektronische vragenlijst wordt uitgezet onder de gehele studentenpopulatie van NVAO geaccrediteerde opleidingen in het Nederlandse hoger onderwijs. Als uitgangspunt voor de vragenlijst NSE 2014 is de vastgestelde vragenlijst voor de NSE 2013 (Stichting Studiekeuze123, 2013) gehanteerd. Hier zijn twee wijzigingen in doorgevoerd. Vraag 12: Wat was je leeftijd op 31 december 2012? is aangepast naar Wat was je leeftijd op 31 december 2013?. Verder is een vraag toegevoegd bij het Handicap en Studie vragenblok: Ga je akkoord met het delen van de antwoorden over je functiebeperking, aandoening of ziekte met je onderwijsinstelling?. Deze laatste wijziging wordt verder toegelicht in paragraaf 3.7. Studenten konden het onderzoek tijd- en plaats-onafhankelijk invullen. Het was mogelijk invullen te onderbreken en later te continueren. De enquête kon worden ingevuld op verschillende apparaten (desktop, tablet). Voor het invullen op een smartphone was de NSE 2014 nog niet specifiek ingericht (te klein scherm). De NSE 2014 was van gelijke opzet als eerdere jaren en is uiteen te zetten in verschillende fasen: voorbereiding van het onderzoek, uitvoeren veldwerk en verwerken van gegevens. Voorbereiding veldwerk Om alle studenten te kunnen benaderen per , zijn in de voorbereidende fase (oktober november 2013) alle hoger onderwijsinstellingen met NVAO-geaccrediteerd onderwijsaanbod uitgenodigd te participeren in dit onderzoek. Uiterlijk op 22 november 2013 moesten alle ondertekende overeenkomsten tot deelname zijn ontvangen. In bijlage 1 zijn de instellingen opgenomen die dit jaar hebben meegedaan. Via een beveiligde uploadtool werden de gevraagde gegevens (zie paragraaf 3.5) voor dit onderzoek door de deelnemende instellingen aangeleverd. Al deze gegevens zijn klaargezet en geprogrammeerd in de verschillende systemen van de uitvoerende partij GfK: GfK Atlas en GfK Drive. Een beschrijving van de technische infrastructuur wordt gegeven in hoofdstuk twee. Hoofdstuk drie bevat informatie over hoe de verdere voorbereiding van het onderzoek in nauw contact met de hoger onderwijsinstellingen is verlopen. Veldwerk Het veldwerk liep van 13 januari 2014 tot en met 9 maart Het veldwerk van de NSE 2014 bedroeg daarmee acht weken, ten opzichte van tien weken veldwerk in vorige jaren van de NSE. Tijdens de NSE 2013 is aan de hand van een pilot getest welke effecten het verkorten van de veldwerkperiode zou hebben op de hoogte en representativiteit van de respons en de resultaten (Meurs & van den Vijver, 2013). Zie verder paragraaf 5.2. In totaal zijn studenten voor de NSE 2014 uitgenodigd per . Naast de uitnodigingsmail zijn er drie reminders en een laatste kans verstuurd. Studenten werden gevraagd mee te doen om aankomende studenten te helpen bij het maken van een studiekeuze. Ook werd gewezen op het feit dat hun mening helpt het onderwijs te verbeteren. Bovendien maakten de studenten kans op één van de volgende prijzen bij het invullen van de enquête: 5 iphones 5 (t.w.v. 700,-), 5 ipads Air (t.w.v. 500,-) en 265 Bol.com bonnen (t.w.v. 25,-). De hoger onderwijsinstellingen brachten gedurende de afnameperiode de enquête onder de aandacht bij de studenten via posters, flyers, e- Onderzoeksverantwoording Nationale Studenten Enquête

8 mails, maar ook via de docenten. In sommige gevallen werd de NSE klassikaal op de onderwijsinstelling ingevuld. In hoofdstuk vier wordt het verloop van het veldwerk beschreven. De respons is dit jaar achtergebleven ten opzichte van de NSE De netto respons is geëindigd op 33,7% t.o.v. 39,5% het jaar ervoor. De bruto populatie lag voor de NSE 2014 hoger met zo n studenten vergeleken met de NSE In hoofdstuk vijf wordt de populatie van het onderzoek beschreven en volgt een beschrijving van de respons en het responsgedrag. Verwerken van gegevens Na afronding van het veldwerk startte de verwerking van alle door de studenten ingevulde gegevens. De bestanden zijn verrijkt, opgeschoond, bewerkt en gestructureerd. Vervolgens zijn de themascores berekend. In hoofdstuk zes wordt uitgebreid stilgestaan bij deze verwerkingsactiviteiten. Alle resultaten zijn op 22 mei 2014 openbaar gemaakt door publicatie op Studiekeuze123.nl. Alle definitieve resultatenbestanden zijn op 16 mei 2014 onder embargo naar alle deelnemende hoger onderwijsinstellingen verzonden. In hoofdstuk zeven worden de opgeleverde producten van het onderzoek beschreven. In hoofdstuk acht worden tenslotte andere partijen genoemd die gebruik hebben gemaakt van de NSE resultaten ten behoeve van onderzoek of voorlichting over studiekeuze. Onderzoeksverantwoording Nationale Studenten Enquête

9 2. TECHNISCHE INFRASTRUCTUUR Voor de uitvoering van de NSE 2014 werd net als bij de NSE 2013 gebruik gemaakt van de bestaande technische infrastructuur van GfK, die ook voor andere grootschalige onderzoeken wordt gebruikt. Deze infrastructuur bevat voorzieningen gericht op het in stand houden van de dienstverlening (continuïteit) en het waarborgen van informatiebeveiliging (beschikbaarheid, vertrouwelijkheid en data-integriteit). De infrastructuur bestaat in essentie uit twee componenten: GfK Atlas voor het versturen van grote hoeveelheden mail en GfK Drive voor het veldwerk. Beide systemen draaiden in het centrale GfK datacenter en werden volledig redundant 1 uitgevoerd met een 24/7 monitoring door een team van IT specialisten. Dit team was 24 uur per dag stand-by om in het geval van calamiteiten snel een oplossing te kunnen bieden. In dit hoofdstuk wordt uitgelegd wat beide componenten doen, daarna wordt uitgelegd hoe de vragenlijst is getest en hoe de informatiebeveiliging van de NSE is geregeld. Tot slot volgt een overzicht van technische incidenten die zich tijdens het veldwerk hebben voorgedaan. 2.1 GFK ATLAS Voor het verzenden van bulk mail werd gebruik gemaakt van de GfK Atlas software. GfK Atlas bestaat uit twee hoofdcomponenten: de functionaliteit voor het versturen van de s (Functionality) en de component die ervoor zorgt dat de s bezorgd worden (Deliverability). Deze laatste component zorgde er onder andere voor dat ontvangende servers geen belemmeringen (o.a. spamfilters) opwierpen voor de bezorging van de s. Schematisch zag dit er als volgt uit: Figuur 2.1: GfK Atlas Atlas Mailer Functionality Deliverability Mail Merge ISP / IP Throttling Campaign Scheduling Return Path Support Feedback Processing DNS 1 Redundant: er functioneren twee systemen onafhankelijk van elkaar, waarbij het tweede (redundante) systeem het werk kan overnemen wanneer het eerste (het primaire) systeem uitvalt. Onderzoeksverantwoording Nationale Studenten Enquête

10 2.1.1 Functionality Binnen de component Functionality vond het volgende plaats: 1. Mailmerge Het samenvoegen van de gegevens van het steekproefbestand met de mailtemplates voor de verzending van de uitnodigingen; 2. Internet Service Provider (ISP) / Internet Protocol (IP) Throttling Inregelen (doseren) van het aanbieden van s aan providers, zodat meer dan 1 miljoen e- mails per dag gegarandeerd verzonden konden worden zonder dat GfK op een black list terecht komt; 3. Campaign scheduling Planning van de hoeveelheden en de tijdintervallen binnen de verzending, wat ervoor zorgde dat de bulk mail in golven (gecontroleerd) kon worden uitgestuurd Deliverability Binnen de component Deliverability vond het volgende plaats: 1. Return Path Support Hiermee werd aan de hand van terugontvangen data actief gemonitord hoe goed de aflevering was bij de diverse providers, waarbij GfK dus op de white list bleef; 2. Feedback processing Mogelijkheden om geautomatiseerd bounce-informatie te vertalen in opvolgacties (deze waren in te stellen). Oftewel: wat te doen als de mail niet bezorgd kon worden; 3. Domain Name Server (DNS) Support op reverse DNS/PTR record (bezorgen mail), Sender Policy Framework protocol (SPF) (verminderen spam) en DomainKeys Identified Mail protocol (DKIM) (verminderen SPAM). Verder zijn de volgende technische details van belang geweest voor de uitvoering: GfK Atlas draaide in een centraal GfK data-center; de servers draaiden daar in een geclusterde omgeving. Servers zaten achter een loadbalancer met failover voor het verdelen van de databelasting waardoor, bij uitval, automatisch werd overgeschakeld op een secundaire server. De internetconnectie vanuit het data-center was 1,5 Gigabyte, waarbij er een redundante omgeving was opgesteld, zodat bij uitval direct kon worden overgegaan op de tweede node (server). De database omgeving was een SQL server 2008 omgeving met een actieve database en een passieve database, die direct gesynchroniseerd was met de actieve database. Bij uitval kon dus naadloos worden omgeschakeld en ging geen data verloren. Er is tijdens de uitvoering van de NSE 2014 geen failover-procedure noodzakelijk gebleken. 2.2 GFK DRIVE Voor het veldwerk is gebruik gemaakt van de GfK Drive applicatie. Een belangrijk voordeel hiervan was de end-to-end oplossing die dit pakket bood voor het doen van enquêteonderzoek: steekproef management (o.a. de basis voor responsmonitoring & vragenlijstselecties); vragenlijstprogrammering; online realtime responsmonitoring en -analyses; Onderzoeksverantwoording Nationale Studenten Enquête

11 oplevering van onderzoekdata in elk gewenst format (doorgaans in Microsoft Office Excel of SPSS (Statistical Package for the Social Sciences) van IBM). De technische omgeving van GfK Drive zag er als volgt uit: Figuur 2.2: Technische omgeving GfK Drive Naast het diagram waarin schematisch te zien is hoe de technische infrastructuur voor de NSE was ingericht, is in dit kader nog een aantal zaken van belang om te benoemen: GfK Drive bestond uit een cluster van interviewservers (servers waar de interviewprogrammatuur op draaide), zonder single point of failure. Dat wil zeggen dat de rol van machine-1 automatisch door machine-2 wordt overgenomen, indien machine-1 onverhoopt uitvalt. De kans op down time werd door dit alles geminimaliseerd; De omgeving werd niet gedeeld met andere applicaties; Naast de interviewmachines gold de redundante omgeving ook voor de webservers, firewalls en SQL-dataservers. De firewall-omgeving was een Checkpoint firewall in een geclusterde omgeving achter een loadbalancer met automatische failover-regeling; ook hier dus ingericht om bij het falen van het ene systeem de werking door het volgende systeem over te laten nemen; GfK Drive is gebouwd met als doel maximale compatibiliteit met diverse soorten en versies van browsers en operating systems. Er werd continu gewerkt om deze compatibiliteit te optimaliseren. Vooral in een setting waarin de variatie van gebruikersomgevingen groot is, zoals bij de NSE, was het van groot belang dat de vragenlijstsoftware goed was gesynchroniseerd met diverse omgevingen; Het was voor respondenten mogelijk om de vragenlijst tussentijds af te breken en later in te vullen, doordat GfK Drive alle verzamelde data realtime bewaarde op een Enterprise class filer Onderzoeksverantwoording Nationale Studenten Enquête

12 storage unit met continue synchronisatie. Van de filer storage unit werd dagelijks een back-up gemaakt; Het team bestond uit IT-specialisten, die de systemen monitorden en beschikten over een zogenaamde administrative account, waarbij zowel de rechten werden geregeld als via track en trace de uitgevoerde handelingen konden worden nageslagen; GfK Drive leverde de data direct uit in Excel (.xls) of SPSS (.sav). Hier zat geen (extra) conversieslag tussen; er was dus geen risico op fouten. De responsmonitoring verliep dit jaar - in tegenstelling tot de NSE niet direct via de GfK Drive omgeving. Voor de NSE 2014 is ervoor gekozen om gebruik te maken van het GfK Connect platform, dat de mogelijkheid biedt om online via een op maat ontwikkeld dashboard real-time de respons te volgen van onderzoeken, die binnen de GfK Drive-omgeving worden uitgevoerd. Binnen GfK Drive werd iedere deelnemer aan het onderzoek real-time in een parallelle database geregistreerd als respons, waarop GfK Connect de meest actuele stand van respons versus non-respons onttrok uit die parallelle database. Gebruikers (contactpersonen van instellingen) kregen elk een uniek wachtwoord, waarmee ze de respons binnen hun instelling tot op gedetailleerd niveau konden volgen, op elk gewenst moment van de dag. Zie voor een nadere inhoudelijke toelichting ook paragraaf TESTEN VAN DE VRAGENLIJST Zoals hierboven vermeld, heeft GfK gekozen om voor de uitvoering van de NSE 2014 gebruik te maken van de combinatie van GfK Atlas (voor verzending van de s en het samplebeheer) en GfK Drive (voor het hosten van de vragenlijst en de uiteindelijke data storage). Deze combinatie wordt door GfK vaker voor kwantitatieve, grootschalige projecten gebruikt. Een technische capaciteitstest vooraf is niet uitgevoerd, maar continue monitoring van eventuele hickups tijdens de uitvoering wel. Tijdens het veldwerk van de NSE 2014 zijn er geen problemen geconstateerd met de capaciteit van de systemen. De vragenlijst (Stichting Studiekeuze123, 2014b) is in technische zin getest door een controle uit te voeren of de gegeven antwoorden juist werden vastgelegd in het databestand. Hiermee konden ook selecties en routings op die manier op juistheid vanuit de data worden afgelezen. Inhoudelijk is de basisvragenlijst, in het Nederlands (Stichting Studiekeuze123, 2014b), Engels (Stichting Studiekeuze123, 2014c) en Duits (Stichting Studiekeuze123, 2014d), voor de NSE 2014 door de projectleiding van GfK meermaals uitvoerig getest, in samenwerking met Studiekeuze123. De issues die op basis van deze tests naar voren kwamen, betroffen zonder uitzondering kleine suggesties voor aanscherping (punten, komma s, een enkele aanscherping qua formulering in een toelichting) en waren daardoor goed beheersbaar. 2.4 BEVEILIGING In het kader van de informatiebeveiliging is het belangrijk te constateren dat het aantal verschillende rollen beperkt is door de opzet van het projectteam. Bovendien waren er - buiten GfK - geen andere externe partijen betrokken bij de uitvoering, waardoor van een overdracht tussen partijen met alle veiligheidsrisico s van dien geen sprake was. De verantwoordelijkheid lag dus in alle gevallen bij de projectleiding, die binnen het team op basis van hiërarchische en functionele argumenten de Onderzoeksverantwoording Nationale Studenten Enquête

13 machtigingen toewees voor de toegang tot diverse typen gegevens die binnen de NSE gebruikt en/of verzameld werden. Voor wat betreft de IT-omgeving kan toegevoegd worden dat er binnen GfK een security officer aanwezig was die verantwoordelijk was voor de informatiebeveiliging. De data werd veilig bewaard in een eigen omgeving die niet benaderbaar was voor de buitenwereld (afgeschermd via firewalls). Alle aanpassingen aan de systemen werden gedaan op basis van een ticket. De toegekende taken behorend bij dit ticket waren leidend voor de werkzaamheden die medewerkers (mochten) uitvoeren. Alle relevante bevindingen in het kader van de zogenaamde penetratie-test van bureau LBVD, speciaal uitgevoerd voor de NSE, ten aanzien van de vigerende informatiebeveiliging van de vragenlijstomgeving en de downloadomgeving zijn voorafgaand aan de NSE 2014 door GfK opgepakt en verholpen. Het betrof in geen enkel geval ernstige kwetsbaarheden. In maart 2014 is ook de GfK uploadtool nog aan een inspectie onderworpen door bureau LBVD. Hieruit bleek dat geen van de gevonden kwetsbaarheden direct toegang geeft tot de achterliggende database of het onderliggende besturingssysteem. De wel gevonden (niet-kritische) kwetsbaarheden, die er in potentie voor zouden kunnen zorgen dat toegang wordt verkregen tot een gebruiksaccount, worden zo mogelijk aangescherpt in de uploadmodule in aanloop naar de NSE 2015, maar zorgen er niet voor dat de achterliggende data zichtbaar wordt Privacy De NSE staat geregistreerd in het meldingenregister van het College Bescherming Persoonsgegevens (CBP) onder nummer De NSE vereist een waarborging van de privacy van alle, voor deelname aan het onderzoek, uitgenodigde studenten. Niet alleen gaat het dan om de waarborgen die de technische infrastructuur in dit kader biedt, maar ook gaat het om zorgvuldigheid in de naleving van de richtlijnen en procedures. GfK houdt zich aan de Gedragscode voor Onderzoek & Statistiek, zoals die voor de leden van de MOA (de MarktOnderzoeksAssociatie) is opgesteld. Daarin is exact aangegeven aan welke regels GfK zich in dit opzicht dient te houden. Het College Bescherming Persoonsgegevens (CBP) heeft de Gedragscode voor Onderzoek & Statistiek, die overigens ook voldoet aan de internationale gedragscodes zoals opgesteld door ESOMAR, officieel van een goedkeurende verklaring voorzien op 21 juni De Gedragscode voor Onderzoek & Statistiek en de genoemde verklaring zijn online te raadplegen via: GfK behoort verder tot de groep onderzoeksbureaus die het predicaat Research Keurmerk Groep van de MOA dragen en bovendien jaarlijks haar kwaliteitssysteem laat auditen voor drie ISO certificaten, te weten: ISO 9001 (kwaliteit algemeen) ISO (kwaliteit marktonderzoek) ISO (kwaliteit online access panels). Bij indiensttreding hebben alle medewerkers van GfK getekend voor het feit dat zij op vertrouwelijke wijze zullen omgaan met (privacy)gevoelige informatie en hier wordt in de praktijk op toegezien. In 2013 zijn deze richtlijnen vanuit de moederorganisatie nog strenger geworden en alle medewerkers hebben een verklaring Integriteit & Compliance getekend. Onderzoeksverantwoording Nationale Studenten Enquête

14 De persoonlijke informatie die GfK in het kader van de NSE 2014 van de instellingen ontving, werd enkel en alleen ten behoeve van de uitvoering van de NSE 2014 gebruikt. Privacygevoelige informatie en enquêteresultaten werden altijd separaat opgeslagen. Na afloop van het project werden de gebruikte persoonsgegevens in nauw overleg met de opdrachtgever Studiekeuze123 vernietigd. 2.5 INCIDENTEN De door GfK gebruikte technische infrastructuur voor de NSE heeft voldaan aan de vereisten voor een onderzoek van dit volume en deze complexiteit - gedacht in termen van het aantal respondenten, het aantal benaderingen en de instellings-specifieke vragen. Rond het veldwerk traden slechts enkele technische issues op: Tijdelijke overbelasting van de NSE-uploadomgeving. GfK heeft voor diverse instellingen - na (beveiligde) uitwisseling van de studentgegevens succesvol de upload uitgevoerd, indien bleek dat zij dit ondanks diverse pogingen niet zelf voor elkaar kregen. Voor de NSE 2015 wordt de oplossing in twee richtingen gezocht. Enerzijds met een schema met data waarop elke instelling bij voorkeur haar studenten aanlevert. Anderzijds wordt bekeken of de plek op de server van de uploadtool verder kan worden geoptimaliseerd, zodat de kans op conflicten met andere processen wordt geminimaliseerd. Niet uitschrijven/opleveren van de respons van ruim duizend studenten door issue met het wegschrijven in de verwerkingssoftware. Het bleek dat de aanwezigheid van diakritische (ë, á, à, é etc.) tekens in het achterliggende samplebestand (namelijk in de instellingslabels) ervoor zorgde dat die specifieke respondenten niet naar de database van de exportmodule werden uitgeschreven, maar elders in het systeem terecht kwamen. De ontwikkelaars van GfK Drive hebben de betreffende probleemanalyse uitgevoerd, de data hersteld en de data weten terug te laden in de GfK Drive dataexportmodule. Tijdens dit proces heeft de reeds binnengehaalde respons geen risico gelopen, aangezien deze op dat moment al uit de omgeving was geëxporteerd. De herstelde data kwamen zo weer beschikbaar voor de projectleiding en na een separate bewerkingsslag in SPSS (dezelfde slag als reeds was uitgevoerd voor de respons tot dan toe) kon deze worden toegevoegd aan de netto respons-file en worden uitgeleverd bij de definitieve bestandsoplevering. Inmiddels is dit issue met het oog op een lange termijn oplossing opgepakt binnen het technische team van GfK Drive, waardoor de applicatie vanaf nu goed synchroniseert in het geval van een afwijkende tekenset. De algehele conclusie is dat de techniek van het project beter is verlopen dan tijdens de uitvoering van de NSE 2013, mede door de aanscherping van diverse procedures door GfK (denk bijvoorbeeld aan veelvuldige backchecks tussen GfK Drive en GfK Atlas qua registratie wel/geen respons). Maar natuurlijk is er ook nog altijd ruimte voor verbetering. Het issue met het wegschrijven heeft bijvoorbeeld onnodig veel onrust veroorzaakt in de opleverfase en moet in de toekomst worden voorkomen. Inmiddels is, zoals hierboven beschreven, hier al een duurzame oplossing voor gevonden binnen GfK Drive. Onderzoeksverantwoording Nationale Studenten Enquête

15 3. VOORBEREIDING VELDWERK 3.1 OVERZICHT EN ANALYSE VAN DEELNEMENDE INSTELLINGEN NSE 2014 In 2014 participeerden 51 hogescholen en 21 universiteiten in de Nationale Studenten Enquête. Studiekeuze123 nodigde alle instellingen in Nederland uit die NVAO geaccrediteerd hoger onderwijs aanbieden. Zowel door de minister van OCW aangewezen (particuliere) instellingen als door OCW bekostigde instellingen (publiek) werden uitgenodigd. Studiekeuze123 maakte hiervoor gebruik van twee registers: BRIN en CROHO. De Basis Registratie Instellingen (BRIN) is een register van het ministerie van OCW en bevat alle onderwijsinstellingen in Nederland. Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) is een overzicht van alle in Nederland geaccrediteerde opleidingen voor hoger onderwijs. Het CROHO wordt ook uitgegeven door het ministerie van OCW en beheerd door de Dienst Uitvoering Onderwijs (DUO). Tabel 3.1: Aantal deelnemende instellingen per NSE-jaar WO Aantal aangeschreven instellingen in 2014* Deelname Aangewezen (particulier) Bekostigd (publiek) HBO Aangewezen (particulier) Bekostigd (publiek) 37 34** TOTAAL * Het betreft hier alle instellingen met een eigen BRIN-code in het CROHO. ** Oorzaak van daling in de NSE 2014 ten opzichte van de NSE 2013 voor bekostigd HBO is het feit dat een drietal instellingen is gefuseerd. In het bekostigd onderwijs hebben alle WO instellingen deelgenomen aan de NSE Van de HBO bekostigde instellingen, hebben drie instellingen afgezien van deelname. Het gaat hier om instellingen die kunstonderwijs aanbieden. Eén instelling heeft nog niet eerder deelgenomen aan de NSE, de overige twee kozen voor deelname om het jaar. Deelname in het particulier onderwijs stijgt elk jaar met enkele instellingen. Er zijn nog veel particuliere instellingen die niet deelnemen, echter veel particuliere instellingen bieden maar één of enkele opleidingen aan en hebben een (zeer) kleine studentenpopulatie. Door eigen onderzoek hebben ze veelal al een goed beeld van de mening van de eigen studenten en vergelijken met andere instellingen en opleidingen is minder relevant. Zie bijlage 1 voor een overzicht van de deelnemende instellingen voor de NSE Onderzoeksverantwoording Nationale Studenten Enquête

16 3.2 COMBINATIE-OPLEIDINGEN Een aantal instellingen biedt gezamenlijk onderwijs aan in zogenaamde combinatie-opleidingen (eventueel via een gezamenlijk instituut). ACTA is bijvoorbeeld een samenwerkingsverband tussen de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Instellingen konden via een mee te leveren code (label) bij het aanleveren van de studentgegevens duidelijk maken voor welke studenten dit gold, zodat deze studenten geen dubbele uitnodigingen zouden ontvangen. Daarnaast was het op die manier mogelijk om in het instellingsbestand deze groep studenten terug te kunnen vinden via het aangeleverde label. De overeenkomst voor deelname (zie paragraaf 3.3) is in dit geval afgesloten met de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. Tabel 3.2: Samenwerkingsverbanden voor de NSE 2014 Samenwerkingsverbanden in de NSE 2014 Aantal aangeleverde studenten ACTA Tandheelkunde (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam) 854 AUC Liberal Arts and Sciences (Universiteit van Amsterdam/ Vrije Universiteit Amsterdam) Juridische Hogeschool (Fontys Hogescholen/ Avans Hogeschool) B Biologie en Medisch Laboratoriumonderzoek (van Hall Larenstein/ NHL Hogeschool) 115 B Biotechnologie - Life Sciences (van Hall Larenstein/ NHL Hogeschool) 627 B Chemie (van Hall Larenstein/ NHL Hogeschool) 44 B Chemische Technologie (van Hall Larenstein/ NHL Hogeschool) 91 B Dans en B Docent Dans (Hanzehogeschool Groningen/ Lucia Marthas Institute for Performing Arts) B International Business and Management Studies - IBMS (van Hall Larenstein/ NHL Hogeschool/ Stenden Hogeschool) B Life Science and Technology (Universiteit Leiden/ Technische Universiteit Delft) 396 B Nanobiologie (joint degree) (Technische Universiteit Delft/ Erasmus Universiteit Rotterdam) B Opleiding tot leraar Basisonderwijs (Iselinge Hogeschool/ Open Universiteit) 420 B Sustainable Molecular Science and Technology (Universiteit Leiden/ Technische Universiteit Delft) B Theology (Protestantse Theologische Universiteit/ Vrije Universiteit Amsterdam) 154 B Tourism (Wageningen University/ NHTV internationaal onderwijs Breda) 93 B Voedingsmiddelentechnologie - Life Sciences (van Hall Larenstein/ NHL Hogeschool) 207 M Begeleidingskunde (Hogeschool Rotterdam/Hogeschool van Arnhem en Nijmegen) 106 M Biotechnology (Wageningen University/ Universiteit Twente/ Rijksuniversiteit Groningen) M Educational Leadership - Penta Nova (Marnix Academy ea) 53 M Industrial Ecology (Universiteit Leiden/ Technische Universiteit Delft) 100 M Kunsteducatie (NHL Hogeschool/ Hanzehogeschool Groningen) 38 M Leren en Innoveren - Interactum (Marnix Academy e.a) 82 M Physician Assistant (NHL Hogeschool/ Hanzehogeschool Groningen) 71 M Social Work (NHL Hogeschool/ Hanzehogeschool Groningen) Onderzoeksverantwoording Nationale Studenten Enquête

17 Totaal aantal records met een samenwerkingsverband Totaal aantal records waarbij geen samenwerkingsverband genoemd is Totaal aantal records Toelichting: B = Bacheloropleiding, M = Masteropleiding 3.3 OVEREENKOMST(EN) TOT DEELNAME Studiekeuze123 nodigde in oktober 2013 alle instellingen die geaccrediteerde opleidingen aanbieden in het hoger onderwijs in Nederland uit voor deelname aan de Nationale Studenten Enquête. De instellingen zijn uitgenodigd middels een Overeenkomst tot deelname die werd verzonden aan het College van Bestuur (CvB) dan wel de directie van de betreffende instelling. Wanneer de instelling de overeenkomst getekend retour stuurde, was deelname officieel vastgelegd. Naast de Overeenkomst tot deelname stuurde Studiekeuze123 ook een Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2014, voor de levering van een Sleutelbestand. Met dit Sleutelbestand konden instellingen een koppeling leggen tussen de resultaten en hun eigen studentgegevens. Studiekeuze123 stelde aanvullende eisen ten aanzien van de verwerking van dit bestand door de instelling. Deze aanvullende eisen zijn opgenomen in de Overeenkomst tot levering van een Sleutelbestand. Als een instelling voor het eerst een aanvraag indiende voor het ontvangen van het Sleutelbestand, dan ging Studiekeuze123 langs voor een informerend gesprek over wat er nodig is om dit bestand veilig te kunnen verwerken, met voldoende waarborgen voor het beschermen van de privacy van de student. Het ging hierbij vooral om de organisatorische, procedurele en technische inbedding van de verwerking binnen de instelling. Studiekeuze123 informeerde tijdens dit gesprek naar deze inrichting op basis van de Wbp, ontwikkelingen als de komende EU privacy Verordening en best practices van andere instellingen. Op basis hiervan bracht Studiekeuze123 een advies uit aan het CvB dan wel de directie van de instelling. Het was uiteindelijk de instelling zelf die bepaalde of ze al dan niet het Sleutelbestand wilde afnemen. In 2014 hebben 36 instellingen de Overeenkomst tot levering van een Sleutelbestand van de instelling behorende bij de Nationale Studenten Enquête 2014 getekend, waarvan 14 instellingen voor de eerste keer. Van deze 14 instellingen zagen 10 instellingen af van levering van het bestand op het moment dat Studiekeuze123 een afspraak wilde maken met de instelling voor een bezoek om de procedure toe te lichten. Studiekeuze123 heeft vier bezoeken afgelegd; aan drie nieuwe instellingen werd het bestand geleverd, aan één instelling is een negatief advies geleverd. Deze instelling heeft hierop zelf besloten af te zien van levering van het Sleutelbestand. In totaal hebben 25 instellingen het aanvullende Sleutelbestand ontvangen. Tabel 3.3: Aantal instellingen dat Sleutelbestand heeft ontvangen Aantal instellingen uit NSE Nieuwe aanvragen NSE Getekende Overeenkomst levering Sleutelbestand NSE instellingen Alsnog afgezien van deelname met Sleutelbestand, bij nader inzien Totaal afname Sleutelbestand NSE instellingen Onderzoeksverantwoording Nationale Studenten Enquête

18 3.4 STARTBIJEENKOMST EN ROUTEBOEK Voor elke instelling was een algemene contactpersoon voor de NSE 2014 bekend (of werd door een nieuwe instelling aangesteld). Dit was de persoon binnen de instelling waarmee contact werd onderhouden over alle zaken aangaande de NSE De contactpersoon was ook de persoon die toegang had tot de resultaatbestanden. De Startbijeenkomst, gehouden op 3 oktober 2013, was het eerste moment waarop de contactpersonen informatie ontvingen over de werkwijze van de NSE Het tweede gedeelte van de bijeenkomst was vormgegeven door de kerngroep van de Special Interest Group (SIG) NSE. De SIG NSE organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSEresultaten binnen instellingen (zie tevens paragraaf 4.5). Tijdens de Startbijeenkomst werd ook het Online Routeboek Nationale Studenten Enquête 2014 gepresenteerd. Voorgaande jaren werd het Routeboek als papieren boekje uitgedeeld. Dit jaar is voor het eerst gekozen het Routeboek alleen online te tonen op Hier stond alles verwoord wat voor contactpersonen van belang was om te weten over de NSE 2014, zoals werkwijze en planning. Contactpersonen die niet aanwezig waren op de Startbijeenkomst, zijn middels NSE Bijblijvers (zie ook paragraaf 4.3) gewezen op de website. Door het Routeboek Online te maken, kon alle informatie up-to-date gehouden worden. Van de planning en de instructie voor het aanleveren van studentgegevens is naast de online uitleg een PDF geleverd die eenvoudig te printen was in booklet vorm. 3.5 AANLEVERING VAN STUDENTGEGEVENS Voor deelname aan de NSE 2014 werden studenten van de deelnemende instellingen uitgenodigd per . Daarom was het noodzakelijk dat elke instelling de mailadressen van haar studenten vooraf aanleverde aan GfK, samen met een aantal andere studentgegevens die noodzakelijk waren voor de routering in de vragenlijst, de berekening van de weegfactoren en het analyseren van de uitkomsten. Noodzakelijke velden die dienden te worden aangeleverd waren: Een Student-ID; adres(sen) van de student; De actuele BRIN-Code; De actuele CROHO-Code; De locatie (gemeentenaam); Opleidingsvorm; Afstandsonderwijs; Studiejaar; Geslacht; HBO of WO. Naast de noodzakelijke velden waren er nog enkele achtergrondgegevens, waarvan het wenselijk was voor de instellingen om ze aan te leveren. Wenselijke velden die konden worden meegeleverd waren: Vooropleiding; Leeftijd; Etniciteit; Samenwerkingsverband; Onderzoeksverantwoording Nationale Studenten Enquête

19 Organisatieonderdeel. Als laatste was er een blok overige velden die de instelling aan kon leveren. Hierbij ging het om de volgende velden: Vijf extra labels (facultaire of andere organisatorische indelingen, honoursstudenten of andere student-gerelateerde informatie die niet uit andere bronnen voorhanden is); Afwijkende opleidingsnaam of instellingsnaam; Extra ondertekening in uitnodigingstekst; Extra tekstregel in uitnodigingstekst. GfK is nagegaan in hoeverre deze velden privacygevoelig waren (te herleiden naar specifieke studenten) en nam hierover bij twijfel contact op met de instelling. Er werd bijvoorbeeld gecontroleerd op aanwezigheid van id s, adressen e.d. in deze velden. Gegevens die relevant waren voor het opstellen van de uitnodigingsmail, zoals de (optionele) instellings-specifieke ondertekening en de (eveneens optionele) instellings-specifieke motivatieregel werden op recordniveau (dus per student) aangeleverd bij de overige velden. In het Online Routeboek NSE 2014 was een uitleg gegeven over en zijn definities gegeven van deze aan te leveren gegevens. Deze instructie was ook te downloaden en printen. De studentgegevens moesten door elke instelling vooraf (uiterlijk op 13 december 2013) aangeleverd worden. Vrijwel alle instellingen hebben hier tijdig aan voldaan. Er is hiervoor gebruik gemaakt van een uploadtool waarin instellingen in een vooraf gedefinieerd format de studentgegevens konden uploaden. Elke deelnemende onderwijsinstelling is half november 2013 door middel van een schriftelijke instructie geïnformeerd over hoe de uploadtool gebruikt diende te worden en heeft eigen inloggegevens ontvangen. De uploadtool - actief in een afgeschermde omgeving - bood onderwijsinstellingen ook directe feedback op het aangeleverde bestand door de reeds ingebouwde controles. Deze ingebouwde controles betroffen: Controles op structuur van het bestand; Controles op doublures ( dubbele studenten ); Controles op volledigheid (alle opleidingen aangeleverd?); Controles op geldigheid van de waarden (BRIN, CROHO, datum); Controles op juistheid adressen (syntaxis). Nadat het bestand na de controles was goedgekeurd en vervolgens geüpload, diende de instelling de status nog op definitief te zetten. Dat was voor GfK het sein dat het geüploade bestand het definitieve studentenbestand was waarmee voor de NSE 2014 gewerkt zou gaan worden. In de uploadfase is de uploadtool overbelast geweest, mede doordat veel instellingen op beperkte tijd voor de deadline begonnen waren met de upload van de informatie. Voor de NSE 2015 wordt onderzocht of daar server-technisch meer piekcapaciteit ingeregeld kan worden. Ook zal instellingen worden gevraagd hun studentenbestand binnen een specifiek time-slot te uploaden, zodat de piekbelasting wat meer gespreid zal worden. Onderzoeksverantwoording Nationale Studenten Enquête

20 3.6 VERWERKING VAN STUDENTGEGEVENS Uiteindelijk zijn in totaal van studenten de noodzakelijke gegevens aangeleverd om hen aan de NSE 2014 deel te kunnen laten nemen. Per student konden één of twee adressen aangeleverd worden. Van de mogelijkheid om een tweede adres aan te leveren, hebben 22 instellingen gebruik gemaakt. In totaal is voor van de studenten een tweede e- mailadres aangeleverd. Vervolgens voerde GfK nog enkele inhoudelijke controles uit, zoals een check op de privacygevoeligheid van de aangeleverde labels, controle op spelling en neutraliteit van de aangeleverde motivatieteksten en een extra controle op mogelijk oneigenlijk ingevulde velden. Hier zijn geen bijzonderheden uit naar voren gekomen. Daarna zijn de afzonderlijke instellingsbestanden samengevoegd tot één populatiebestand en vervolgens verrijkt met de volgende externe gegevens: HBO of WO (uit CROHO); De actuele instellingsnaam (uit CROHO); De actuele opleidingsnaam (uit CROHO); Bachelor of Master (uit 1cHO 2 / Studiekeuzedatabase); Studentaantallen (uit 1cHO) controle van de aangeleverde studentaantallen. Sommige van deze gegevens werden óók door instellingen zelf aangeleverd (BRIN, CROHO, HBO/WO); in dat geval diende de koppeling met het CROHO-register als controle. GfK voegde aan het totaalbestand unieke niet-sequentiële respondentnummers en wachtwoorden toe. De wachtwoorden bestonden uit twaalf karakters (een combinatie van cijfers en kleine letters en grote letters, bijvoorbeeld prqevtcxmzj4 ). In aanloop naar de start van de NSE 2014 zijn de variabelen, benodigd voor het veldwerk, uit het totaalbestand geselecteerd. Dit bestand is geüpload naar zowel de software voor het verzenden van de s (GfK Atlas) als de software voor de interviewserver (GfK Drive) en dit bestand is eveneens gebruikt voor de database ten behoeve van de wachtwoordmodule. De gegevens zijn concreet gebruikt voor authenticatie, terugkoppeling in de enquête over de opleiding waaraan men studeert, voor de routing van de vragenlijst en zijn ook gebruikt als basis voor het responsoverzicht. Daarnaast kon de instelling een extra tekstregel en een ondertekening toevoegen die werden opgenomen in de uitnodiging. 3.7 DE NSE-VRAGENLIJST In 2012 heeft een intensief herijkingsproces plaatsgevonden van de NSE vragenlijst. Hiervoor was een werkgroep ingericht met een onafhankelijke voorzitter. Er zijn beperkte wijzingen voorgesteld aan het management van Studiekeuze123. Op maandag 26 november 2012 heeft het bestuur van Studiekeuze123 de NSE vragenlijst vastgesteld. In de vragenlijst wordt een onderscheid gemaakt tussen kernvragen (vastgesteld voor negen jaar) en niet-kernvragen (vastgesteld voor drie jaar). De onderwerpen zijn weergegeven in onderstaande tabel. 2 1cHO staat voor 1 cijfer HO. Dit is een extract uit het Centraal Register Inschrijving Hoger Onderwijs (CRI-HO). In het CRI-HO staan alle inschrijvingen en examens van studenten in het hoger onderwijs (WO en HBO) Onderzoeksverantwoording Nationale Studenten Enquête

21 Tabel 3.4: Beschrijving NSE vragenlijst Onderwerpen Kenmerk: Vragen: Items: 1. Algemene oordeel trendbestand V. 14 V De inhoud en opzet van het onderwijs bij je trendbestand V opleiding 3. Verworven algemene vaardigheden trendbestand V (WO) verworven wetenschappelijke vaardigheden (HBO) praktijkgericht onderzoek trendbestand V Voorbereiding beroepsloopbaan trendbestand V De docenten aan de opleiding trendbestand V Studiebegeleiding trendbestand V Toetsing en beoordeling niet-trendbestand V Informatie vanuit de opleiding niet-trendbestand V Studieroosters niet-trendbestand V Studielast niet-trendbestand V Contacttijd niet-trendbestand V Groepsgrootte niet-trendbestand V Stages niet-trendbestand V Studiefaciliteiten niet-trendbestand V Kwaliteitszorg niet-trendbestand V Overige faciliteiten en studieomgeving niet-trendbestand V Woonsituatie niet-trendbestand V Handicap en studie niet-trendbestand V. 33 V. 33a V. 34 V. 35 V. 36 V. 37 V. 38 V. 39 V Internationale studenten niet-trendbestand V The ultimate question niet-trendbestand V Wensen / ideeën voor verbetering niet-trendbestand V De NSE bevraagt 22 onderwerpen, die in totaal uit 43 vragen bestaan. De vragen kunnen bestaan uit meerdere items, in totaal zijn er 126 items, zie bovenstaande tabel De Wet bescherming persoonsgegevens (Wbp) beschouwt vragen over de gezondheid als bijzondere persoonskenmerken waarvoor nadrukkelijke toestemming van de student nodig is. Daarom is vraag 33a dit jaar voor het eerst toegevoegd: In het kader van de Wet bescherming persoonsgegevens is het voor dit onderwerp noodzakelijk je uitdrukkelijke toestemming te vragen om de antwoorden met je onderwijsinstelling te mogen delen. Hierbij geldt uiteraard nog steeds dat strikt vertrouwelijk zal worden omgegaan met de informatie. Ga je akkoord met het delen van de antwoorden over je functiebeperking, aandoening of ziekte met je onderwijsinstelling? o Ja o Nee Onderzoeksverantwoording Nationale Studenten Enquête

22 De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. Een beschrijving van de respons van deze studenten vindt plaats in paragraaf 5.5. Naast het vaste bestand hadden instellingen de mogelijkheid tegen meerkosten aan het einde van de vragenlijst een aantal extra vragen toe te voegen. Bij de NSE 2014 hebben 18 instellingen gebruik gemaakt van deze mogelijkheid. Door GfK werd gemonitord of de invulduur van de extra vragen binnen maximaal 5 minuten bleef. Tevens was het bewaken van de meerjarige vergelijkbaarheid van de vragen belangrijk. Vragen die in eerdere jaren zijn gesteld, zijn als dezelfde variabele in de meerjarige instellingsbestanden opgenomen. Daarnaast zijn de extra vragen gecontroleerd op juistheid en formulering als ook op mogelijke privacy-gevoeligheid. De vertaling van de vragenlijst is door Studiekeuze123 verzorgd. De vertaling van de instellingsvragen hebben instellingen zelf voor hun rekening genomen. De vragenlijst inclusief alle instellingsvragen is vervolgens door GfK drietalig (Nederlands, Engels, Duits) geprogrammeerd in de GfK Drive software. De lay-out van de vragenlijst is ongewijzigd. Ter illustratie hieronder een schermafbeelding van vraag 20 van de vragenlijst NSE 2014 (Figuur 3.1). Figuur 3.1: Schermafbeelding vraag 20 vragenlijst NSE 2014 Onderzoeksverantwoording Nationale Studenten Enquête

23 4. COMMUNICATIE In dit hoofdstuk wordt ingegaan op de communicatie-activiteiten die hebben plaatsgevonden richting de studenten en richting de instellingen. 4.1 COMMUNICATIE STUDENTEN Studenten konden vragen stellen of opmerkingen plaatsen aan Gfk/Studiekeuze123 via het adres Het uitlezen van gebeurde in de veldwerkperiode dagelijks; daarvoor en daarna geschiedde het uitlezen van minimaal wekelijks. Antwoorden op veel gestelde vragen waren voor studenten ook na te lezen op In totaal zijn er 906 s binnengekomen van studenten (ten opzichte van vorig jaar), waarvan er 804 binnenkwamen tijdens de veldwerkperiode van 13 januari tot en met 9 maart 2014 (ten opzichte van vorig jaar). Onderwerpen van vragen waren grotendeels: niet willen deelnemen, vragen over verloting van de prijzen, extra opmerkingen, opmerkingen over de vragenlijst en problemen met invullen van de vragenlijst. Daarnaast konden instellingen in de communicatie naar de studenten gebruik maken van het promotiemateriaal dat door Studiekeuze123 was klaargezet. Studiekeuze123 heeft voor de NSE 2013 een poster, een flyer en banners in verschillende formaten ontworpen. Dit is voor de NSE 2014 ongewijzigd ingezet. Naast dit basispakket kon een bouwpakket worden aangevraagd waarbij instellingen de mogelijkheid hadden om een eigen logo en/of tekst toe te voegen aan de flyer en poster. Het bouwpakket is door 21 instellingen aangevraagd, dit is door één instelling minder dan tijdens de NSE Daarnaast is bekend dat instellingen vaak zelf per , of berichten op Blackboard, of met eigen promotieacties studenten oproepen de NSE in te vullen. 4.2 UITNODIGINGSTEKST EN REMINDERS De studenten ontvingen de uitnodiging voor deelname per . Voor de uitnodigingstekst en de reminders zijn de teksten van de NSE 2013 als basis gebruikt. Er zijn enkele minimale aanpassingen gedaan in de teksten ten opzichte van vorig jaar, zoals aanpassingen van het jaartal en een naamswijziging van HBO-raad in Vereniging Hogescholen. De uitnodigingstekst is nogmaals bekeken door de studenten die tijdens de NSE 2013 ook hebben meegekeken naar teksten. 4.3 COMMUNICATIE INSTELLINGEN Algemene informatie over de NSE was terug te vinden in het Online Routeboek voor de Nationale Studenten Enquête 2014 op de website In het Routeboek is het volledige proces van de NSE te lezen, evenals de planning en diverse instructies voor instellingen voor het aanleveren van informatie ten behoeve van de NSE. Nieuw dit jaar was dat het Routeboek niet meer in gedrukte versie is uitgekomen, maar alleen digitaal. De planning en de handleiding voor het aanleveren van studenten zijn ook in PDF klaargezet, zodat contactpersonen deze indien gewenst konden printen. Er is gekozen om alleen te werken met een digitaal routeboek omdat informatie op deze manier up-to-date gehouden kon worden gedurende het jaar. Op het moment dat er wijzigingen Onderzoeksverantwoording Nationale Studenten Enquête

24 in het traject optraden, konden deze gemakkelijk worden aangepast in het Online Routeboek. Contactpersonen NSE hebben in de evaluatie van de NSE 2014 aangegeven dat ze met het Online Routeboek goed overweg konden. Wel zouden ze op de hoogte gesteld willen worden van wijzigingen die worden aangebracht. Daar wordt voor komend jaar een oplossing voor gezocht in de vorm van een RSS-feed. Daarnaast werden de contactpersonen op de hoogte gehouden van ontwikkelingen via de NSE Bijblijver. In totaal zijn tijdens de NSE 2014 elf NSE Bijblijvers verstuurd. Voor de communicatie met deelnemende instellingen werd het centrale NSE adres gebruikt, van waaruit zowel Studiekeuze123 als GfK communiceerden gedurende het gehele uitvoeringstraject van de NSE Daarnaast was er ook een NSE telefoonnummer beschikbaar ( ). Voor, tijdens en na het veldwerk is op werkdagen dagelijks uitgelezen. Er werd snel gereageerd op vragen. De binnengekomen s via zijn geregistreerd in JIRA. JIRA is een systeem dat binnengekomen mails registreert in een zogenaamde call en vervolgens wordt deze call toegekend aan een lid van het projectteam (van GfK of Studiekeuze123) door een medewerker van GfK. Hiermee is eenvoudig de voortgang van calls te monitoren en er wordt voorkomen dat gestelde vragen tussen wal en schip belanden. GfK beheerde onder regie van Studiekeuze123 dit call-afhandelingssysteem. In totaal zijn er calls aangemaakt in de JIRA Servicedesk voor Ten opzichte van voor de NSE 2013 is dit een flinke daling. De piek in de binnenkomende communicatie lag in de voorbereidings- en uitvoeringsfase. Er was vooral contact over voorbereiding van het onderzoek (aanleveren studentgegevens, afstemming spamfilter, responsoverzichten). Andere onderwerpen die veel aan bod zijn gekomen, waren de vragenlijst, vragen over de bestanden en vragen over communicatie. De instellingen waren over het algemeen tevreden over de wijze en de snelheid van reageren. Dit is aan de orde geweest tijdens de evaluatie enquête onder de contactpersonen NSE en tijdens de externe evaluatiebijeenkomst van de NSE SOCIAL MEDIA Studenten hadden in 2014 de mogelijkheid om aan het einde van de vragenlijst automatisch een bericht te plaatsen op Facebook of Twitter. Het standaard bericht was als volgt: Nationale Studenten Enquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? nse.nl #NSE Het standaard bericht is in totaal 134 keer getwitterd. Het is niet te achterhalen hoe vaak berichten op Facebook zijn geplaatst. Verder is er door studenten 492 keer getwitterd over de NSE 2014 met een eigen bericht. Berichten waarin een vraag of opmerking stond, zijn door Studiekeuze123 via Twitter beantwoord. Studiekeuze123 heeft zelf gedurende het veldwerk 7 verschillende tweets verzonden. Deze zijn in totaal 71 keer geretweet. Bij het uitkomen van de resultaten zijn door Studiekeuze123 9 tweets verstuurd die in totaal 22 keer zijn geretweet. 4.5 SPECIAL INTEREST GROUP NSE De Special Interest Group NSE (SIG NSE) is een groep van instellingen die het interessant vinden om informatie en kennis uit te wisselen over onderwerpen die te maken hebben met de NSE. De Onderzoeksverantwoording Nationale Studenten Enquête

25 contactpersonen NSE zitten in deze SIG; al naar gelang onderwerpen die op de agenda staan, kunnen zij collega s meenemen. Voor de SIG NSE worden drie bijeenkomsten per jaar georganiseerd: de Startbijeenkomst, Tussenbijeenkomst en Slotbijeenkomst. De inhoudelijke thema s van de bijeenkomsten werden voorbereid door een kerngroep. In deze kerngroep zat in 2014 een vertegenwoordiging van de volgende instellingen: Hogeschool Inholland (voorzitter), Hogeschool Rotterdam, Technische Universiteit Delft, Markus Verbeek Praehep, GfK, Studiekeuze123 (secretaris). De Startbijeenkomst vond plaats op 3 oktober 2013 en had ongeveer 40 deelnemers. De aanpak van de NSE 2014 werd besproken en de kerngroep heeft het inhoudelijke programma verzorgd met twee thema s: van data naar informatie en het thema kwaliteit van data. De Tussenbijeenkomst op 20 maart 2013 trok 40 deelnemers. Tijdens het eerste gedeelte van de bijeenkomst is plenair gesproken over verschillende onderwerpen. Het Codeboek (zie paragraaf 7.1.1) werd gepresenteerd, er is een korte evaluatie geweest over het verloop van de veldwerkperiode, eerste inzichten in de respons, en de planning voor levering van resultaten is nogmaals toegelicht. In het tweede gedeelte van de bijeenkomst ging de groep uiteen in twee deelgroepen. In de ene groep (een expert workshop) werd in gegaan op betekenisgeving aan data. Er is behandeld hoe een prioriteitenmatrix kan worden gemaakt en er is een presentatie gegeven vanuit Expertisecentrum Handicap + Studie over hoe zij betekenis geven aan de data uit de NSE. De andere groep heeft een workshop SPSS voor dummies gevolgd. De Slotbijeenkomst viel dit jaar tegelijk met de Studiekeuzeconferentie die Stichting Studiekeuze123 organiseerde (zie paragraaf 4.6). 4.6 STUDIEKEUZECONFERENTIE Studiekeuze123 vierde op 22 mei 2014 haar 5-jarig bestaan als stichting. Studiekeuze123 had op deze dag een Studiekeuzeconferentie (Lustrumconferentie) georganiseerd. Op deze dag zijn ook de resultaten NSE 2014 openbaar geworden. De media is geïnformeerd via een persuitnodiging die inging op de conferentie met daarnaast een tipje van de sluier van een aantal resultaten uit de NSE Deze persuitnodiging is op 15 mei verzonden aan de media. Een verslaggever van Radio 1 was aanwezig bij de conferentie. Daarnaast hebben 5 journalisten op 22 mei 2014 (de dag dat de resultaten openbaar werden) contact gezocht met Studiekeuze123 voor een nadere toelichting, waaronder Metro/Spits, RTL Nieuws en een aantal regionale zenders. RTL Nieuws heeft in haar live-uitzending van uur een item gewijd aan de NSE waarvoor Studiekeuze123 telefonisch is geïnterviewd tijdens de uitzending. Daarnaast hebben zo n 30 dagbladen een artikel geschreven over de Nationale Studenten Enquête De Slotbijeenkomst van de NSE was geïntegreerd in de conferentie. Contactpersonen NSE konden met een korting deelnemen aan de conferentie. Verschillende workshops waren specifiek interessant voor de contactpersonen NSE: Van cijfers naar actie: de focus op kwaliteitsaspecten die voor de student het meest belangrijk zijn. (Mervin van Veen & Peter van de Vijver - GfK) Student Analytics en aansluiting VO-HO een verkenning van de mogelijkheden (Theo Bakker - Deloitte Consulting) Informatie of desinformatie: avonturen van de redactie van de Keuzegids met waarheidsvinding (Frank Steenkamp - C.H.O.I./Keuzegids) Wie wil kiezen, moet kunnen vergelijken (Arthur van Leeuwen - Weekblad Elsevier). Onderzoeksverantwoording Nationale Studenten Enquête

26 Twintig contactpersonen NSE hebben van de korting gebruik gemaakt en hebben de Studiekeuzeconferentie bezocht. Dit aantal viel tegen. Reden van afwezigheid die contactpersonen opgaven, waren het feit dat de conferentie een gehele dag duurde en tegelijk was met het openbaar maken van de NSE resultaten. Het was voor contactpersonen niet mogelijk een gehele dag afwezig te zijn van de instelling. Omdat de conferentie betaald was, vonden contactpersonen het zonde van het geld om slechts een dagdeel te komen. Ondanks het feit dat er niet zoveel contactpersonen NSE waren als verwacht, zijn alle NSE-gerelateerde workshops goed bezocht. 4.7 NSE ONLINE GESTOPT Voor de NSE 2014 zijn de resultaten niet meer ingeladen in de tool NSE Online. Reden hiervoor was dat de tool relatief weinig werd gebruikt en niet als gebruiksvriendelijk ervaren werd. Gedurende het jaar is op verschillende manieren hierover gecommuniceerd naar de Contactpersonen NSE. Zo is het tijdens alle bijeenkomsten benoemd, is het in meerdere NSE Bijblijvers gemeld en is er een aparte mailing over dit onderwerp verstuurd aan de Contactpersonen NSE. Om de Contactpersonen NSE die van deze tool gebruik maakten tegemoet te komen, is een workshop SPSS for dummies georganiseerd en zijn standaard SPSS syntaxen ontwikkeld die beschikbaar zijn gesteld op Studiekeuzeinformatie.nl. Deze syntaxen helpen bij het uitsplitsen van de NSE resultaten in SPSS. 4.8 TOTSTANDKOMING VAN VERNIEUWDE FACTSHEETS Studiekeuze123 levert elk jaar bij het uitkomen van de resultaten een zogenaamde Factsheet aan het CvB/de directie van de deelnemende instellingen. Op de Factsheet worden de resultaten van de betreffende instelling vergeleken met een relatief referentiepunt (andere universiteiten c.q. hogescholen) en met een absoluut referentiepunt (voorgaand jaar). De oude factsheet was moeilijk te lezen vanwege de hoge informatiedichtheid. Om deze reden was besloten een nieuwe Factsheet te ontwikkelen die op gemakkelijk te lezen wijze de resultaten van de betreffende instelling weergeeft. Om ervoor te zorgen dat de nieuwe Factsheet aansloot bij de wens van de instellingen, zijn de contactpersonen NSE uitgenodigd om in een klankbordgroep Factsheets plaats te nemen. Verschillende instellingen hebben zich hiervoor aangemeld. Met de klankbordgroep is tijdens een brainstormbijeenkomst een kader van eisen en wensen opgesteld waaraan de Factsheet diende te voldoen. Vervolgens zijn drie verschillende vormgevers die ervaring hadden met het visualiseren van data benaderd om een offertevoorstel te doen. De gekozen vormgever heeft een ontwerp gemaakt dat nogmaals is afgestemd met de klankbordgroep. GfK heeft zorggedragen voor de technische omgeving waarin de Factsheets zijn vervaardigd. De feitelijke beschrijving van de Factsheet is te vinden in paragraaf 7.2. Onderzoeksverantwoording Nationale Studenten Enquête

27 5. POPULATIE EN RESPONS 5.1 MAILING Het veldwerk van de NSE 2014 duurde acht weken, van maandag 13 januari 2014 tot en met zondag 9 maart Dat was twee weken korter dan in voorgaande jaargangen van de NSE. Het besluit om het veldwerk tijdens de NSE 2014 met twee weken te verkorten, is gevallen na de uitvoering van een pilot en een vervolganalyse tijdens en direct na de uitvoering van de NSE De slotconclusie van die analyse was dat een verkorting van het veldwerk naar 8 weken legitiem is, omdat het geen effecten heeft op de representativiteit en vergelijkbaarheid van de resultaten (Meurs & van den Vijver, 2013). Zie tevens paragraaf 5.3 De studenten zijn steeds benaderd op het beschikbare adres en - indien beschikbaar - ook op een tweede adres. Voor in totaal studenten is een tweede adres aangeleverd door de participerende instellingen. Elke verzending is gelijkmatig verspreid over de periode van één week. Het tweede adres is steeds aangeschreven op de maandag na deze verzendweek. In totaal zijn er s (alle verzonden s opgeteld) aan studenten verstuurd. Na de initiële uitnodigingsmail volgden nog drie reguliere herinneringsmails (met een interval van steeds twee weken). Studenten die al hadden gereageerd, of zich hadden afgemeld, zijn niet nogmaals benaderd. In de laatste week is nog een last shot -mail verstuurd om ook de laatste studenten, die nog niet hadden gereageerd, over de streep te trekken. 5.2 RESPONS De adressen van in totaal studenten zijn door de onderwijsinstellingen aangeleverd. Een overzicht van de aangeleverde studentenpopulatie is te zien in Tabel 5.1: Tabel 5.1: Samenstelling aangeleverde studentenpopulatie Soort hoger onderwijs Hogeschool Universiteit Totaal Percentage Aantal Percentage Aantal Percentage Aantal Geslacht Man 48,4% ,2% ,7% Vrouw 51,6% ,8% ,3% Type hoger onderwijs Bachelor 95,6% ,2% ,8% Master 3,1% ,8% ,4% Associate degree 1,3% ,0% 0 0,8% Studiejaar Eerstejaars 33,0% ,8% ,5% Ouderejaars 67,0% ,2% ,5% Totaal 100,0% ,0% ,0% Onderwijsvorm Voltijd 85,8% ,0% ,4% Deeltijd 12,2% ,8% ,2% Duaal 2,0% ,1% 103 1,4% Totaal 100,0% ,0% ,0% Onderzoeksverantwoording Nationale Studenten Enquête

28 In totaal zijn studenten benaderd om deel te nemen aan het onderzoek, zie Tabel 5.2. Tabel 5.2: Respons Aantal Typering Populatie initieel (bruto) Aangeleverd, maar buiten de doelgroep Dubbelingen adres niet bereikt (bouncers) Populatie bruikbaar (netto = responsbasis) Afmelders via unsubscribe button Afmelders via unsubscribe button (%) 0,3% 1,0% 1,8% 0,7% 0,6% - Respons bruto Respons bruto (%) 37,0% 36,6% 33,0% 40,4% 34,5% - Respons netto (gecleaned) Respons netto (%) 35,0% 35,2% 31,0% 39,5% 33,7% Van de studenten konden er niet deelnemen omdat zij niet via het beschikbare e- mailadres konden worden bereikt. Dit aantal is beduidend meer dan in 2013 (2.775). Hiervoor is nog geen sluitende verklaring gevonden. Deze studenten zijn uit de resultaten gefilterd. De hieruit resulterende netto populatie bedroeg studenten. Bij de NSE 2014 waren er geen foutief aangeleverde studenten. In vergelijking met vorig jaar is dat een verbetering want toen waren er studenten die niet tot de doelgroep behoorden. Foutief aangeleverde studenten zijn studenten die geen geaccrediteerd hoger onderwijs volgen, zoals post-masters en pre-masters. Elke student die minimaal de eerste inhoudelijke enquêtevraag (v14: algemene tevredenheid over de opleiding) had ingevuld, is in de respons meegerekend. Op basis hiervan bedroeg de bruto respons studenten (34,5%). Na cleaning op invulduur (zie paragraaf 6.1.3) kwam de netto respons uit op deelnemende studenten (33,7%). 0,6% van alle studenten heeft zich tijdens de uitvoering van het onderzoek afgemeld voor deelname door te klikken op de afmeldlink in de uitnodigingsmail of reminder ( unsubscribe ). De betreffende studenten zijn vervolgens binnen het mailsysteem uitgesloten voor verdere benaderingen. In de NSE 2013 bedroeg dit 0,7%. In de eerder aangehaalde analyse uitgevoerd door GfK in 2013 gericht op een mogelijke verkorting van de veldwerkduur tijdens de NSE 2014, werd de verwachting uitgesproken dat een verkorting van de veldwerkduur de NSE weliswaar respons zou gaan kosten, maar dat dit verlies relatief beperkt zou kunnen blijven en een respons van 36% nog altijd mogelijk zou moeten zijn. De conclusie na afronding van de NSE 2014 is dat de respons sterker is gedaald dan werd verwacht en nu dichter in de buurt komt van het niveau van de NSE 2012 (31%). Met andere woorden: er werd nu in acht weken slechts iets meer respons behaald dan in 2012 in 10 weken. Onderzoeksverantwoording Nationale Studenten Enquête

29 De vraag is waardoor de respons sterker is gedaald dan werd verwacht. Welke andere verklaringen hebben daarbij mogelijk een rol gespeeld? Met behulp van de beschikbare gegevens is getracht een zo goed mogelijk beeld van de redenen voor non-respons te schetsen, zie hiervoor paragraaf RESPONSGEDRAG De netto respons in 2014 was, zoals hiervoor geschetst, lager dan in 2013 maar komt redelijk overeen met de respons in 2010 (35%) en 2011 (35,2%) en ligt op het niveau van 2012 (zie Tabel 5.2). Tabel 5.3.: Netto respons en veldwerkduur in 2010 tot en met 2014 Jaar Netto respons Veldwerkduur % 10 weken ,2% 10 weken % 10 weken ,5% 8-10 weken ,7% 8 weken Figuur 5.1: Bruto responsverloop cumulatief en per dag Uit het bruto responsverloop in Figuur 5.1 blijkt het effect dat iedere remindermail heeft gehad (respons piekt). Ook is zichtbaar dat meer dan de helft van de uiteindelijke respons is behaald na de initiële uitnodigingsmail en de eerste herinnering. Op de maandag na elke verzendweek, zodra het 2 e beschikbare adres werd aangeschreven, is ook een piek zichtbaar. Dat komt enerzijds doordat het aantal s iets groter was dan bij de reguliere mailings, maar anderzijds werd hier ook gemiddeld beter op gerespondeerd. De laatste piek heeft te maken met de last shot -mail, die via het tweede adres is verstuurd. Deze piek is hoger dan alle andere tussenherinneringen. Deze piek is Onderzoeksverantwoording Nationale Studenten Enquête

30 in 2013 niet te zien. Dit heeft te maken met het experiment dat tijdens de NSE 2013 is uitgevoerd om de veldwerkduur te verkorten. In dit experiment zijn na acht weken geen s meer verstuurd richting studenten, maar kon de vragenlijst nog wel gewoon worden ingevuld. De instellingen hadden de mogelijkheid voor een extra herinnering, een laatste appèl in week 9, waarin een laatste beroep werd gedaan op studenten om alsnog deel te nemen. In twee gevallen is een uitzondering gemaakt op deze benadering. Twee instellingen hebben ervoor gekozen om in 2013 nog de oude benaderingsroutine toe te passen, met andere woorden: met één extra herinnering en de last shot - mail in de 10 e week. Door deze spreiding van de last shot -mail is er in 2013 geen eenduidige piek te zien. 5.4 HOE IS DE NSE INGEVULD? De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij de start van de vragenlijst konden studenten een taal kiezen, waarna de student direct werd doorgeleid naar de vragenlijst in de door hem/haar gekozen taal. In totaal vulde 90,7% de Nederlandse vragenlijst in, 6,3% de Engelse en 3,0% de Duitse. Deze percentages zijn vergelijkbaar met die van 2013 (zie Tabel 5.4). Tabel 5.4: Percentage ingevulde vragenlijst 2013 en 2014, uitgesplitst naar taal NSE 2010 NSE 2011 NSE 2012 NSE 2013 NSE 2014 Nederlands 93,0% 93,0% 91,0% 91,8% 90,7% Engels 5,7% 5,7% 5,7% 5,4% 6,3% Duits 1,3% 1,3% 3,6% 2,8% 3,0% Totaal 100% 100% 100% 100% 100% De gemiddelde invulduur van de vragenlijst bedroeg 12,7 minuten voor studenten die op locatie onderwijs volgden en 9,2 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden (zie paragraaf 6.1.3) 3. Belangrijk voor de datakwaliteit was de mate waarin de vragenlijst volledig (tot het einde, tot en met de ultimate question ) werd ingevuld. Op basis van de netto respons kan geconcludeerd worden dat 86,2% van de respondenten de vragenlijst integraal beantwoordde. Dit betekent een afname ten opzichte van de NSE 2013 (91%). Mogelijk hangt dit samen met de lagere respons in Omdat er geen maximum gesteld is aan de tijd die respondenten konden nemen voor het invullen van de vragenlijst, is de invulduur voor sommige respondenten extreem lang (bijvoorbeeld omdat zij tijdens het invullen iets anders zijn gaan doen en op een later moment de vragenlijst hebben afgerond. Om die reden zijn alle waarden boven 30 minuten invulduur (of 22 minuten voor studenten in het afstandsonderwijs) buiten beschouwing gelaten bij berekening van de gemiddelde invulduur. Onderzoeksverantwoording Nationale Studenten Enquête

31 % van degenen die vraag 14 hebben ingevuld Figuur 5.2: Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) Vraag 14 Vraag 15n Vraag 20h Vraag 25d Vraag 30d Vraag 42 Vraag 14: algemeen oordeel over de studie; Vraag 15n: tevredenheid over betrekken student bij opleiding; Vraag 20h: tevredenheid over kennis docenten beroepspraktijk; Vraag 25d: tevredenheid over de mogelijkheid om zonder vertraging de gewenste studieonderdelen te volgen; V30d: tevredenheid over de manier waarop je opleiding op klachten en problemen reageert; V42: Zou je jouw opleiding aanraden aan vrienden, familie of collega s? In Figuur 5.2 valt na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. De meeste studenten vielen snel na de algemene tevredenheidsvraag (v14) af. In vergelijking met 2013 valt ook tussen vraag 15 en vraag 20 nog een substantieel deel af; op het einde van de vragenlijst is er nog weinig sprake van uitval. Dit wijst erop dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. 5.5 ANALYSE NIEUWE VRAAG 33A Zoals vermeld in paragraaf 3.7 is omwille van de Wbp dit jaar een nadrukkelijke toestemmingsvraag opgenomen in de vragenlijst voor het delen van de antwoorden van de student met een functiebeperking met de onderwijsinstelling. De studenten die geen toestemming gaven, werden doorgeleid naar het volgende onderwerp in de vragenlijst. Een effect van het vragen om toestemming zou kunnen zijn dat het aantal antwoorden dit jaar veel lager zou zijn dan in eerdere jaren. Tabel 5.5 laat zien hoeveel studenten wel toestemming hebben gegeven en hoeveel niet. Tabel 5.5.: Antwoorden studenten op nieuwe vraag 33a. Vraag 33a Aantal Geen toestemming % Wel toestemming % Totaal % In 2013 hebben studenten dit vragenblok ingevuld. Dit betekent dat het aantal studenten dat aangeeft een handicap of beperking te hebben dit jaar bijna studenten hoger ligt dan vorig Onderzoeksverantwoording Nationale Studenten Enquête

32 jaar. Er is geen duidelijke verklaring te geven voor deze stijging. Dit punt is voorgelegd aan het Expertisecentrum Handicap + Studie. 5.6 NON-RESPONSANALYSE Het netto responspercentage voor de NSE 2014 bedroeg 33,7%. Dat wil zeggen dat ruim een derde deel van de studentenpopulatie heeft deelgenomen aan het onderzoek. In een analyse is uitgezocht in hoeverre er verschillen bestaan tussen degenen die respondeerden en de studenten die dat niet deden. Voor de analyse zijn percentages berekend voor de volgende groepen studenten: vragenlijst volledig ingevuld: studenten die de vragenlijst volledig hebben ingevuld; vragenlijst onvolledig ingevuld: studenten die de vragenlijst niet volledig hebben ingevuld, maar wel de algemene tevredenheidsvraag hebben beantwoord; de non-respons: studenten die de hebben ontvangen, maar niet hebben meegedaan met het onderzoek; afmelders: studenten die niet meer mee wilden doen aan het onderzoek; adres niet bereikt: studenten bij wie de niet was aangekomen ( bouncers ). De verschillen zijn voor de NSE 2013 geanalyseerd naar de volgende achtergrondkenmerken: Soort hoger onderwijs (hogeschool of universiteit) Type hoger onderwijs (Bachelor, Master of anders, bijvoorbeeld Associate degree) Opleidingsvorm (voltijd, deeltijd of duaal) Geslacht (man of vrouw) Studiejaar (eerstejaars of ouderejaars) Voor de NSE 2014 is deze analyse uitgebreid met de volgende achtergrondkenmerken: Onderwijssector Landsdeel Stedelijkheid Aantal beschikbare adressen (één of twee) In Tabel 5.6 worden per onderwerp de verschillen tussen de hiervoor genoemde responscategorieën getoond. Onderzoeksverantwoording Nationale Studenten Enquête

33 Tabel 5.6: Non-responsanalyse NSE Vragenlijst volledig ingevuld Vragenlijst gedeeltelijk ingevuld Non-respons Afmelders adres niet bereikt Totaal Totaal Soort hoger onderwijs Type hoger onderwijs Aantal adressen Hogescho Associate ol Universiteit Bachelor M aster Degree ,8% 31,1% 24,8% 29,1% 27,4% 32,0% 27,0% 33,8% 4,6% 4,9% 4,1% 4,8% 3,3% 4,8% 4,1% 5,9% 65,2% 62,5% 70,0% 64,8% 67,7% 61,7% 67,6% 58,9% 0,6% 0,6% 0,5% 0,6% 0,6% 0,4% 0,3% 1,4% 1% 1% 1% 1% 1% 1% 1% 0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% Vragenlijst volledig ingevuld Vragenlijst gedeeltelijk ingevuld Non-respons Afmelders adres niet bereikt Totaal Totaal Opleidingsvorm (vt dt du) Geslacht Studiejaar Voltijd Deeltijd Duaal M an Vrouw Eerstejaar s Ouderejaar s 28,8% 28,9% 29,3% 25,4% 25,5% 32,0% 32,3% 27,2% 4,6% 4,7% 4,1% 4,1% 4,2% 5,0% 5,6% 4,1% 65,2% 65,2% 65,0% 69,3% 68,7% 62,0% 60,6% 67,5% 0,6% 0,6% 0,8% 0,8% 0,8% 0,4% 0,6% 0,6% 1% 1% 1% 0% 1% 1% 1% 1% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% De respons was hoger voor hogescholen (36,3%) dan voor universiteiten (29,1%). Het responsverschil tussen hogescholen en universiteiten is in 2014 groter dan in 2013 (HBO: 40,5%, WO: 37.3%). De respons in het HBO is redelijk gelijk gebleven ten opzichte van 2013 (36,3% in 2014 versus 40,5% in 2013). De respons in het WO is sterk gedaald ten opzichte van 2013 (29,1% in 2014 versus 37,7% in 2013) De totale respons was iets hoger bij bachelorstudenten (33,9%) dan bij masterstudenten (30,7%); studenten uit de groep Associate degree hadden met 36,8% de hoogste respons. Dit jaar is ook gekeken naar het aantal adressen waarop de studenten is benaderd. Van iets meer dan een kwart van de studenten was naast het adres van de instelling óók het privé adres bekend. Onder deze laatste groep was de respons hoger (39,7%) dan onder de groep met slechts één adres (31,1%). Het aantal afmelders bij studenten met twee adressen lag iets boven dat van studenten met één adres. Wel was het aandeel onbestelbare s bij studenten met twee adressen lager (0,1% versus 1% bij studenten met één adres). Voltijd- en deeltijdstudenten respondeerden ongeveer even vaak, onder studenten in een duaal traject was de respons iets lager. Vrouwen respondeerden vaker (37,0%) dan mannen (29,7%), net als tijdens de NSE Mannen meldden zich daarbij iets vaker af voor deelname aan het onderzoek dan vrouwen. Eerstejaars (37,9%) respondeerden vaker dan ouderejaars (31,3%). Het verschil tussen beide groepen is groter dan tijdens de NSE 2013 (eerstejaars 38,3%; ouderejaars 34,5%). 4 Als percentages niet tot exact 100% optellen, komt dit door afrondingsverschillen. Onderzoeksverantwoording Nationale Studenten Enquête

34 Tabel 5.6: Non-responsanalyse NSE 2014 (vervolg) Vragenlijst volledig ingevuld Vragenlijst gedeeltelijk ingevuld Non-respons Afmelders adres niet bereikt Totaal Totaal Onderwijs Landbouw & Natuurlijke Omgeving Natuur Techniek Onderwijssector Gezondheidszorg Economie Recht Taal & Cultuur Gedrag & M aatschappij Sectoroverstijgend 28,8% 33,0% 33,5% 26,6% 30,9% 34,2% 26,3% 21,1% 28,3% 27,2% 33,5% 4,6% 4,9% 4,9% 3,9% 5,4% 4,6% 4,5% 3,5% 4,6% 4,1% 5,3% 65,2% 61,0% 59,6% 68,2% 62,0% 60,4% 67,8% 74,4% 66,1% 66,4% 60,0% 0,6% 0,5% 0,4% 0,6% 1,2% 0,4% 0,5% 0,4% 0,4% 0,5% 0,2% 1% 1% 2% 1% 0% 0% 1% 1% 1% 2% 1% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% Vragenlijst volledig ingevuld Vragenlijst gedeeltelijk ingevuld Non-respons Afmelders adres niet bereikt Totaal Totaal Landsdeel Noord Oost West Zuid Zeer sterk stedelijk Sterk stedelijk Stedelijkheid M atig stedelijk Weinig stedelijk Niet stedelijk 28,8% 26,3% 34,1% 26,0% 32,7% 26,1% 32,7% 33,5% 33,9% 33,0% 4,6% 3,8% 5,2% 4,4% 4,9% 4,2% 5,1% 5,0% 5,2% 6,1% 65,2% 68,8% 58,9% 68,5% 61,0% 68,5% 60,6% 60,8% 60,1% 59,2% 0,6% 0,3% 0,7% 0,7% 0,4% 0,6% 0,6% 0,2% 0,6% 1,7% 1% 1% 1% 0% 1% 1% 1% 0% 0% 0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% 100,0% Tussen de diverse onderwijssectoren zijn duidelijke responsverschillen zichtbaar. Studenten in de sectoren Landbouw & natuurlijke Omgeving (38,4%), Gezondheidszorg (38,8), Techniek (36,5%), Onderwijs (38,1%) en Sectoroverstijgende opleidingen (38,8%) laten respons zien van boven het gemiddelde; de sectoren Recht (24,6%), Natuur (30,5%), Economie (30,8%) en Taal en Cultuur (31,3%) scoren beneden gemiddeld. De sector Gedrag en Maatschappij bevindt zich qua respons net even onder het gemiddelde (33,0%). In de sector Techniek bevinden zich naar verhouding veel afmelders. Een uitsplitsing naar landsdeel 5 waar de onderwijsinstelling is gevestigd geeft het volgende beeld: in de landsdelen Oost (39,7%) en Zuid (38,0%) is de respons bovengemiddeld, in Noord (30,4%) en West (30,6%) is de respons het laagst. In Oost en West meldt men zich iets vaker zelf af voor deelname aan het onderzoek. Onderwijsinstellingen die in zeer sterk stedelijke gebieden zijn gevestigd laten een lagere respons (30,3%) zien dan instellingen uit de overige vier stedelijkheidsklassen (37,9%- 39,1%). Op basis van bovenstaande analyse kan worden geconcludeerd dat met name het soort onderwijs (HBO of WO), de beschikbaarheid van één of twee adressen, studiejaar, sekse en onderwijssector van invloed zijn op de respons. Tussen bachelor- (hogere respons) en masterstudenten (lagere respons) is ook een responsverschil te zien, dat komt overeen met het beeld over Studiejaar (lagere respons bij ouderejaars). 5.7 RESPONSOVERZICHTEN Op basis van de wens van verschillende instellingen is voorafgaand aan de NSE 2014 door Studiekeuze123, instellingen en GfK nagedacht over de vraag hoe de responsoverzichten gebruiksvriendelijker zouden kunnen worden gemaakt. Institutioneel onderzoekers van instellingen waren tevreden met het feit dat zij de respons op continue basis online konden naslaan, maar uitten 5 Oost = Flevoland, Overijssel en Gelderland. Zuid = Brabant en Limburg. Noord = Groningen, Friesland en Drenthe. West = Noord- en Zuid-Holland, Zeeland en Utrecht. Onderzoeksverantwoording Nationale Studenten Enquête

35 daarnaast de behoefte om in één totaaloverzicht in voldoende mate van detail het responsverloop te kunnen monitoren, zodat zij op basis daarvan de communicatieve inspanningen binnen hun instelling specifiek konden afstemmen op opleidingen en/of locaties, waar de respons nog een extra stimulans kon gebruiken. Op basis van deze wensen heeft GfK in opdracht van Studiekeuze123 een nieuwe responsmodule ontwikkeld, gebouwd buiten de GfK Drive-vragenlijstomgeving, maar daar wel direct aan gekoppeld. De nieuwe module, gebouwd als een tweedelig dashboard binnen de GfK Connect omgeving, haakte direct in op de GfK Drive omgeving en laadde daaruit steeds de meest actuele respons in de dashboards. Om toegang te krijgen tot de GfK Connect omgeving ontving men een instellings-specifieke toegangscode, waarmee de contactpersonen: 1) Een totaaloverzicht van de meest actuele, tussentijdse respons van alle deelnemende instellingen konden bekijken (Figuur 5.3). 2) Een instellings-specifiek overzicht konden naslaan met de meest actuele respons, uitgesplitst naar organisatieonderdeel, opleidingsnaam, CROHO-code, locatie en onderwijstype (voltijd, deeltijd, duaal). Dit laatste overzicht was alleen toegankelijk voor de instelling zelf en niet voor andere instellingen. De responstabellen toonden in absolute aantallen het aantal benaderde studenten, het aantal ingevulde vragenlijsten en het hieruit resulterende responspercentage (NB: het betrof de bruto respons, nog zonder enige vorm van cleaning of bewerking). Figuur 5.3: Fictief voorbeeld Dashboard I (totaalrespons per instelling) Onderzoeksverantwoording Nationale Studenten Enquête

36 Vanuit de instellingen zijn positieve reacties ontvangen op de vernieuwde responstool. Voor de NSE 2015 wordt beoogd om de snelheid van de tool te verbeteren, aangezien het laden wat lang duurde in de beleving van contactpersonen van instellingen. Onderzoeksverantwoording Nationale Studenten Enquête

37 6. DATACLEANING EN BESTANDSBEWERKING Na afronding van het veldwerk zijn de bestanden opgeschoond, gestructureerd en verrijkt met externe gegevens. Vervolgens zijn de gegevens geanalyseerd en zijn themascores berekend. Het responsbestand is gekoppeld aan het bestand met alle aangeleverde studentgegevens en de naamgeving van de variabelen is in overeenstemming gebracht met de naamgeving zoals gehanteerd in het Codeboek (Stichting Studiekeuze123, 2014e). De invulduur van de vragenlijst en de invuldatum zijn bepaald op basis van de in het interviewsysteem vastgelegde gegevens. De respons is als geldig beschouwd als V14 (algemene tevredenheid opleiding) was ingevuld; records van respondenten die de vragenlijsten in een ongeloofwaardige tijdsspanne hebben ingevuld, zijn verwijderd (zie paragraaf 6.1.3). Dit leidde tot een basisbestand, waarvan alle andere bestanden werden afgeleid. 6.1 VERRIJKING EN ANDERE BEWERKINGEN Aan het basisbestand zijn vanuit externe databases gegevens gekoppeld. Allereerst het CROHOregister: het register van DUO over alle geaccrediteerde opleidingen die in Nederland worden aangeboden in het hoger onderwijs. Het CROHO-register is vanuit Excel ingelezen in SPSS en geaggregeerd. De gemeentenamen in het CROHO-register zijn gesynchroniseerd met de meerjarige benchmarkbestanden, waarin de jaargangen 2010, 2011, 2012 en 2013 zijn opgenomen. De gegevens uit het CROHO-register zijn - op het kleinste aggregatieniveau - gekoppeld aan het basisbestand op basis van CROHO*BRIN*Locatie*OpleidingsVorm. Door de synchronisatie kon tevens worden gecontroleerd of alle codes in het bestand geldige en actuele codes waren. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleiding met instroom), zijn in dit bestand alle actuele opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder bekostigingskenmerken, CROHOonderdelen en fixusgegevens toegevoegd. Ook is er een variabele aangemaakt, waarmee samenwerkingsverbanden zijn te herkennen (combinatie-opleidingen die gezamenlijk door enkele instellingen worden aangeboden, zie hiervoor ook paragraaf 3.2). De variabelen stedelijkheid en landsdeel waren afkomstig uit CBS Statline en zijn op gemeentecode aan het basisbestand gekoppeld. Op basis van de CROHO-code zijn de velden BaMa (bachelor-master: Type hoger onderwijs) en soort hoger onderwijs (HBO-WO: Soort hoger onderwijs) aangemaakt. Missende records in het door instellingen aangeleverde studentenbestand zijn achteraf aangevuld vanuit de antwoorden op de vragenlijst (sekse, leeftijd en vooropleiding); in geval van tegenstrijdige gegevens hebben de door de instellingen aangeleverde gegevens voorrang gekregen. Etniciteit is vanaf de NSE 2013 niet meer bevraagd in de vragenlijst: voor zover de informatie in het basisbestand was opgenomen, betrof het de door instellingen zelf aangeleverde gegevens. Bij de tevredenheidsvragen is er onderscheid gemaakt tussen werkelijk missende scores (-1) en een code voor de vragen die niet van toepassing waren (-2). Beide codes zijn in het bestand gedefinieerd als missing value. Het voordeel van deze codering is dat deze gegevens niet worden meegerekend bij berekeningen maar nog wel zichtbaar zijn als zodanig in het databestand Hercoderen open vragen Handicap & Studie Bij vraag 34 en 35 van dit blok werd gevraagd welke functiebeperkingen, aandoeningen of ziektes de student heeft. Bij beide vragen werd een lijst gepresenteerd met items waar studenten er één of meerdere van konden kiezen. Dit waren dus geen tevredenheidsvragen. Beide vragen hadden een antwoordcategorie Anders, namelijk, waarna de studenten een open antwoord konden geven. Dit Onderzoeksverantwoording Nationale Studenten Enquête

38 is achteraf gerubriceerd. In 2014 leverde dit antwoorden op. Deze zijn door een basisarts achteraf (na)gecodeerd. In meer dan 95% van de gevallen konden de open antwoorden herleid worden tot een categorie die in het vragenblok Handicap & Studie werd gebruikt. In 2013 waren er antwoorden bij de categorie Anders, namelijk ingegeven. Hiervan kon 99% naar een bestaande categorie worden ingedeeld Huurwaarden Er bevonden zich in de NSE 2014 geen onrealistische huurwaarden aan de hoge kant van het spectrum (zie Figuur 6.1): de situatie is daarmee vergelijkbaar met die van de NSE De meeste afwijkingen waren te vinden aan de lage kant van het spectrum, maar ook hier ging het om relatief beperkte aantallen en bestond geen aanleiding om te denken dat het om irreële bedragen ging. Er is daarom besloten om in 2014 (net als in 2013) geen correctie op extreme huurwaarden toe te passen. Figuur 6.1: Histogram van de huurwaarden in de NSE Huurwaarden NSE Invultijd De antwoorden van studenten die de enquête in minder dan 5 minuten invulden zijn, net zoals in eerdere jaren, verwijderd. Een invulduur langer dan 30 minuten is afgekapt op deze 30 minuten, temeer omdat wanneer studenten dat wilden, ze de vragenlijst tussentijds konden onderbreken en later weer konden verder gaan. Omdat studenten afstandsonderwijs een deel van de vragenlijst niet voorgelegd krijgen, is in 2013 door GfK voorgesteld om de minimale invulduur voor studenten afstandsonderwijs op 3,5 minuut te stellen. Dit is toen vastgesteld op basis van de gemiddelde invulduur van de volledige vragenlijst versus die van de vragenlijst voor studenten afstandsonderwijs. De ratio tussen beide cijfers is vermenigvuldigd met de minimale invulduur voor de volledige vragenlijst (invulduur afstandsonderwijs / invulduur volledige vragenlijst * 5 minuten = 3,5 minuut). Onderzoeksverantwoording Nationale Studenten Enquête

39 De volgende vragen zijn niet gesteld aan studenten die afstandsonderwijs volgden: Inhoud en opzet van het onderwijs (9 wel, 2 niet: 16J en 16K); Samenwerking met anderen (17E); Studieroosters (2 vragen); Contacttijd (4 vragen); Groepsgrootte (3 vragen); Stages (6 vragen); Studiefaciliteiten (5 vragen niet, 1 vraag wel: 29F); Studieomgeving (7 vragen); Woonsituatie (2 vragen); Handicap en studie (8 vragen) Studiejaar student De variabele studiejaar student bevatte het antwoord op vraag 9 uit de vragenlijst, waarbij de student werd gevraagd naar het studiejaar waarin hij/zij studeert. De student werd hier gevraagd het studiejaar in te vullen van het jaar waarin hij/zij de meeste vakken volgde. Deze variabele verschilt van de door de instellingen zelf aangeleverde variabele studiejaar, welke bij de NSE als formeel juist wordt beschouwd. Beide variabelen zijn vanaf meetjaar 2014 opgenomen in de bestanden en niet met terugwerkende kracht aangevuld voor voorgaande jaargangen. 6.2 THEMASCORES EN INSTELLINGSVRAGEN Net als in 2013 zijn de afzonderlijke vraagitems samengevat in een aantal themascores. Dat gebeurde door het berekenen van een gemiddelde score van de bij elk thema horende vraagitems. Studenten hoefden niet alle vraagitems behorende bij het thema te hebben ingevuld, maar er is wel een minimum gehanteerd, volgens de criteria in Tabel 6.1. De criteria zijn afgeleid van de berekeningswijze van de themascores in 2012 en ook toegepast op alle nieuwe themascores die sinds 2013 worden berekend. Tabel 6.1: Minimaal vereiste aantal stellingen voor de berekening van de themascores Aantal stellingen behorende bij thema Minimum aantal stellingen in themascore >= Hiermee werd aangesloten bij de logica die in voorgaande metingen is gehanteerd. Een voorbeeld: als er acht items bij een thema hoorden, dan diende een student over minimaal zes van deze items een mening te hebben gegeven om te worden meegenomen in de berekening van dit thema. Na de fase van cleaning en bewerking van de resultaatbestanden zijn Principale Componenten- (PCA) en betrouwbaarheidsanalyses (RA = Reliability Analysis) uitgevoerd, waarna de themascores konden worden berekend (zie Tabel 6.2). Het doel van de PCA was om de validiteit van de themascores te Onderzoeksverantwoording Nationale Studenten Enquête

40 controleren. Dat wil zeggen: dekken de stellingen die in 2013 onder het thema vielen nog steeds de inhoudelijke lading van dat thema? Of blijkt uit de empirie dat een stelling eigenlijk inhoudelijk niet goed meer bij het thema past (hetgeen tot uitdrukking zou komen in een lage componentlading)? Een PCA werkt als volgt: Er wordt een aantal latente ( virtuele ) variabelen aangemaakt, die niet aan elkaar gecorreleerd zijn (de componenten). De correlaties van de vraagitems met de componenten worden berekend (de componentladingen). Daarbij worden de componenten vaak geroteerd 6, wat inhoudt dat de statistische software de componenten dusdanig samenstelt dat de vraagitems met zo min mogelijk componenten sterk correleren. Dat leidt er doorgaans toe dat vraagitems die inhoudelijk bij elkaar passen met dezelfde component correleren (en minder sterk met de andere componenten), waardoor de componenten inhoudelijk sterker van elkaar zullen verschillen en beter interpreteerbaar worden 7. De PCA laat ook zien welk deel van de variantie van de vraagitems wordt verklaard door de component (de communaliteiten), ofwel (in het geval van een enkele component) de gekwadrateerde correlaties (componentladingen) van de items met de component. Omdat de samenstelling van de componenten reeds bekend was uit de meting van 2013, is in 2014 geen PCA op alle items tezamen uitgevoerd, maar zijn voor elk thema afzonderlijke PCA s berekend. Daarbij zijn de vraagitems per thema telkens op één component geforceerd, ter controle van de componentladingen. Als zou blijken dat één of meer vraagitems een lage componentlading hebben, dan zou exclusie van de vraagitems uit de themascore kunnen worden overwogen, of wellicht zelfs een hernieuwde analyse van alle vraagitems in een enkele PCA 8. Per component is ook het totale percentage verklaarde variantie weergegeven: dit percentage lag tussen 0% en 100% en geeft aan hoe goed de vraagitems tezamen het achter de component liggende concept (het thema) meten. De verklaarde variantie lag bij alle thema s rond of ruim boven 50%. Als vuistregel wordt gehanteerd dat waarden rond 50% ruim voldoende zijn, waarden vanaf 60% goed en waarden boven 70% uitzonderlijk goed 9. Het doel van de betrouwbaarheidsanalyse (RA) was om vervolgens de mate van betrouwbaarheid van de stellingen die tezamen de indicator voor het thema vormen (ook wel een schaal genoemd) vast te stellen. Uit de PCA kan namelijk blijken dat de stellingen hetzelfde concept (thema) meten, daarmee is nog niet gezegd dat het opnemen van alle stellingen leidt tot een betrouwbaardere schaal. Met behulp van een RA kan dit worden gecontroleerd, dit komt tot uitdrukking in de statistische maat Cronbach s Alpha. Als de waarde van Cronbach s Alpha beduidend toeneemt door weglating van een vraagitem uit de schaal ( Alpha if item deleted ), dan is dat een aanwijzing dat het item wellicht beter niet in de berekening van de schaalscore kan worden meegenomen. Cronbach s Alpha kan een waarde tussen 0 en 1 innemen. In de sociale wetenschappen wordt een Cronbach s Alpha waarde van 0,7 of hoger als 6 Meestal met de Varimax-methode met Kaiser Normalization, zo ook bij de NSE. 7 Missende waarden in de PCA zijn behandeld volgens de methode pairwise deletion, dat wil zeggen ook studenten die een missende waarde op een of meer vraagitems hadden, zijn meegenomen in de analyse. Deze aanpak komt overeen met de uiteindelijke berekening van de themascores, waarbij ook, afhankelijk van het aantal vraagitems, één of meer missende waarden zijn toegestaan op de items waaruit de score is opgebouwd. Hierdoor wordt optimaal gebruik gemaakt van de beschikbare gegevens en wordt het - reeds beperkte - aantal missende waarden verder gereduceerd. 8 Alhoewel er geen duidelijke regels voor zijn, kan een componentlading van <0,6 als laag worden beschouwd. In 2014 bestond hier geen aanleiding toe. 9 Deze waarden worden geformuleerd op basis van de gemiddelde onderzoekresultaten van veel sociaalwetenschappelijk uitgevoerd onderzoek. Onderzoeksverantwoording Nationale Studenten Enquête

41 betrouwbaar behandeld. In het geval van de themascores die voor de NSE 2014 werden berekend, is ruimschoots aan dat criterium voldaan. De resultaten van zowel de PCA als de RA zijn bij de NSE door de jaren heen zeer stabiel; zowel factorladingen en betrouwbaarheidsscores verschillen nauwelijks van die van 2013 (en 2012). Na berekening van de PCA en RA is vervolgens uit de bij elkaar passende vraagitems een themascore berekend. Onderzoeksverantwoording Nationale Studenten Enquête

42 Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses Inhoud (themascore) Communaliteiten Componentladingen Alpha if item deleted Het niveau van je opleiding 0,53 0,73 0,92 De aansluiting van de inhoud bij het beeld dat je van je opleiding had 0,59 0,77 0,92 De aansluiting van je opleiding bij je vooropleiding 0,38 0,62 0,93 De mate w aarin de inhoud van je opleiding stimulerend is 0,65 0,80 0,92 De aansluiting van de inhoud van je opleiding bij actuele ontw ikkelingen 0,53 0,73 0,92 De samenhang tussen de verschillende onderdelen van je opleiding 0,51 0,71 0,92 De in jouw opleiding gehanteerde w erkvormen 0,54 0,74 0,92 De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen 0,41 0,64 0,93 De inhoudelijke kw aliteit van het studiemateriaal 0,54 0,73 0,92 De aansluiting bij je w erkervaring (nieuw vanaf 2013) 0,66 0,81 0,92 De mate w aarin je het geleerde kunt toepassen in je baan (nieuw vanaf 2013) 0,61 0,78 0,92 % verklaarde variantie 54,0 Cronbach's Alpha 0,93 Algemene vaardigheden (themascore) Communaliteiten Componentladingen Alpha if item deleted Het aanleren van een kritische houding 0,59 0,77 0,84 Probleemoplossend vermogen 0,65 0,81 0,83 Het onderbouw en van conclusies 0,67 0,82 0,83 Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) 0,52 0,72 0,85 Samenw erken met anderen 0,46 0,68 0,85 Argumenteren/redeneren 0,66 0,81 0,83 % verklaarde variantie 59,2 Cronbach's Alpha 0,86 Wetenschappelijke Vaardigheden WO (themascore) Communaliteiten Componentladingen Alpha if item deleted Analytisch denken 0,49 0,70 0,86 Het kritisch beoordelen van w etenschappelijk w erk 0,65 0,80 0,84 Het schrijven van w etenschappelijke artikelen 0,67 0,82 0,83 Methoden en technieken van onderzoek 0,73 0,85 0,82 Het doen van onderzoek (w as WetenschappelijkeVaardighedenWo_06 tot 2012, gew ijzigde vraagstelling in 2013) 0,71 0,84 0,82 % verklaarde variantie 64,7 Cronbach's Alpha 0,86 Wetenschappelijke Vaardigheden HBO (themascore) Communaliteiten Componentladingen Alpha if item deleted Analytisch denken 0,64 0,80 0,87 Het kritisch beoordelen van praktijkgericht onderzoek 0,78 0,88 0,83 Het schriftelijk rapporteren over praktijkgericht onderzoek 0,76 0,87 0,84 Methoden en technieken van praktijkgericht onderzoek 0,76 0,87 0,84 % verklaarde variantie 73.3 Cronbach's Alpha 0,88 Onderzoeksverantwoording Nationale Studenten Enquête

43 Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Voorbereiding Beroepsloopbaan (themascore) Communaliteiten Componentladingen Alpha if item deleted Het opdoen van vaardigheden voor de beroepspraktijk 0,81 0,90 0,77 De praktijkgerichtheid van je opleiding 0,82 0,91 0,76 Het contact met de beroepspraktijk (bijv. stages, gastsprekers) 0,71 0,84 0,87 % verklaarde variantie 78,1 Cronbach's Alpha 0,86 Docenten (themascore) Communaliteiten Componentladingen Alpha if item deleted De inhoudelijke deskundigheid van docenten 0,61 0,78 0,91 De didactische kw aliteit van docenten 0,63 0,79 0,90 De bereikbaarheid van docenten buiten contacturen 0,54 0,73 0,91 De betrokkenheid van de docenten bij de studenten 0,68 0,82 0,90 De kw aliteit van de begeleiding door docenten 0,74 0,86 0,90 De kw aliteit van feedback van docenten 0,64 0,80 0,90 De mate w aarin docenten inspirerend zijn 0,67 0,82 0,90 De kennis van de docenten over de beroepspraktijk 0,52 0,72 0,91 % verklaarde variantie 62,8 Cronbach's Alpha 0,92 Studiebegeleiding (themascore) Communaliteiten Componentladingen Alpha if item deleted De mogelijkheid tot begeleiding 0,85 0,92 0,84 De kw aliteit van de begeleiding 0,85 0,92 0,84 De mate w aarin jouw opleiding initiatief neemt in ondersteuning of begeleiding (nieuw vanaf 2013) 0,80 0,89 0,88 % verklaarde variantie 83,2 Cronbach's Alpha 0,90 ToetsingBeoordeling (themascore) Communaliteiten Componentladingen Alpha if item deleted De duidelijkheid van criteria w aarop beoordeeld w ordt 0,64 0,80 0,87 De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding 0,78 0,88 0,82 De kw aliteit van de toetsing op kennis en inzicht (nieuw vanaf 2013) 0,77 0,88 0,82 De kw aliteit van de toetsing op vaardigheden (nieuw vanaf 2013) 0,72 0,85 0,84 % verklaarde variantie 72,7 Cronbach's Alpha 0,87 Informatievoorziening (themascore) Communaliteiten Componentladingen Alpha if item deleted De informatie over jouw studievoortgang 0,64 0,80 0,87 De informatie over regels en procedures 0,78 0,88 0,82 De informatie over de opzet van de opleiding (nieuw vanaf 2013) 0,77 0,88 0,82 Het tijdig bekend maken van resultaten van toetsen en beoordelingen (w as voorheen ToetsingBeoordeling_03) 0,72 0,85 0,84 % verklaarde variantie 61,8 Cronbach's Alpha 0,79 Onderzoeksverantwoording Nationale Studenten Enquête

44 Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studierooster (themascore) Communaliteiten Componentladingen Alpha if item deleted Het tijdig bekendmaken van de studieroosters 0,84 0,92 n.v.t. Het tijdig bekendmaken van w ijzigingen in het studierooster 0,84 0,92 n.v.t. % verklaarde variantie 84,4 Cronbach's Alpha 0,82 Studielast (themascore) Communaliteiten Componentladingen Alpha if item deleted De spreiding van de studielast over het studiejaar 0,67 0,82 0,77 De haalbaarheid van deadlines 0,71 0,84 0,75 De mate w aarin de studiepunten (EC) overeenkomen met de daadw erkelijke studielast (w as Studielast_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) 0,60 0,77 0,79 De mogelijkheid om zonder vertraging de gew enste studie-onderdelen te volgen (nieuw vanaf 2013) 0,63 0,79 0,78 % verklaarde variantie 65,0 Cronbach's Alpha 0,82 Groepsgrootte (themascore) Communaliteiten Componentladingen Alpha if item deleted De groepsgrootte bij w erkgroepen (nieuw vanaf 2013) 0,70 0,84 0,81 De groepsgrootte bij hoorcolleges (nieuw vanaf 2013) 0,74 0,86 0,77 De verhouding kleinschalig versus grootschalig onderw ijs in mijn opleiding (nieuw vanaf 2013) 0,80 0,89 0,71 % verklaarde variantie 75,0 Cronbach's Alpha 0,83 Stage En Opleiding (themascore) Communaliteiten Componentladingen De kw aliteit van de stagebegeleiding vanuit de opleiding (w as VoorbereidingBeroepsloopbaan_04 tot 2012) Alpha if item deleted 0,81 0,90 n.v.t. De voorbereiding op de stage door de opleiding (nieuw vanaf 2013) 0,81 0,90 n.v.t. % verklaarde variantie 81,0 Cronbach's Alpha 0,76 Stage Ervaring (themascore) Communaliteiten Componentladingen De begeleiding op je stageplek door het bedrijf of de instelling w aar je stage loopt (nieuw vanaf 2013) Alpha if item deleted 0,67 0,82 0,72 Wat je tijdens je stage hebt geleerd (nieuw vanaf 2013) 0,77 0,88 0,61 De aansluiting van de stages bij het overige onderw ijs (w as VoorbereidingBeroepsloopbaan_05 tot 2012) 0,63 0,80 0,75 % verklaarde variantie 69,2 Cronbach's Alpha 0,77 Onderzoeksverantwoording Nationale Studenten Enquête

45 Tabel 6.2: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studiefaciliteiten (themascore) Communaliteiten Componentladingen Alpha if item deleted De geschiktheid van de onderw ijsruimten 0,60 0,77 0,88 De geschiktheid van w erkplekken (bv. computers, studieruimten van voldoende kw aliteit) 0,74 0,86 0,87 De beschikbaarheid van w erkplekken (bv. voldoende w erkplekken) 0,65 0,81 0,88 De bibliotheek/mediatheek 0,62 0,79 0,88 De ICT-faciliteiten 0,73 0,85 0,87 De digitale leeromgeving 0,58 0,76 0,89 % verklaarde variantie 65,3 Cronbach's Alpha 0,90 Kw aliteitszorg (themascore, w as Betrokkenheid tot 2012) Communaliteiten Componentladingen Onderw ijsevaluaties die onder studenten plaatsvinden (w as Betrokkenheid_01 tot 2012) Informatie over de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_02 tot 2012) De w ijze w aarop je opleiding gebruik maakt van de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_03 tot 2012) De manier w aarop je opleiding op klachten en problemen reageert (w as Betrokkenheid _04 tot 2012) Alpha if item deleted 0,65 0,80 0,87 0,74 0,86 0,85 0,84 0,91 0,82 0,72 0,85 0,86 % verklaarde variantie 73,4 Cronbach's Alpha 0,88 Studieomgeving (themascore) Communaliteiten Componentladingen Alpha if item deleted De bereikbaarheid van je instelling (openbaar vervoer e.d.) 0,41 0,64 0,72 De restauratieve voorzieningen op je instelling 0,40 0,63 0,71 De sportvoorzieningen vanuit je instelling (w as Studieomgeving_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) 0,35 0,60 0,75 De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) 0,70 0,84 0,66 Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) 0,67 0,82 0,67 % verklaarde variantie 50,8 Cronbach's Alpha 0,74 Huisvesting (themascore) Communaliteiten Componentladingen Alpha if item deleted De beschikbaarheid van w oonruimte in je studiestad 0,90 0,95 n.v.t. De betaalbaarheid van w oonruimte in je studiestad 0,90 0,95 n.v.t. % verklaarde variantie 89,7 Cronbach's Alpha 0, NIEUWE THEMASCORES VANAF Achtergrond en basis voor besluitvorming door Studiekeuze123 Na afloop van de NSE 2012 is de NSE-vragenlijst door alle stakeholders bestudeerd en besproken. Op basis hiervan is besloten om de vragenlijst op enkele punten aan te passen. Onderzoeksverantwoording Nationale Studenten Enquête

46 Deze aanpassingen zorgden ervoor dat de samenstelling van de thema s ten behoeve van de berekening van de themascores 10 in sommige gevallen diende te worden veranderd. Hoe de besluitvorming hierover destijds tot stand is gekomen, wordt in deze paragraaf toegelicht, aangezien dit afwegings- en besluitvormingsproces in de verantwoording van de NSE 2013 niet is behandeld. Voor de volledigheid behandelen we het hier. Niet alle themascores zijn van 2012 op 2013 veranderd. Het gaat feitelijk om drie typen themascores: Gelijk gebleven thema s Aangepaste thema s Nieuwe thema s Bij de totstandkoming van de aanpassingen in de vragenlijst en de hieruit voortvloeiende veranderingen in de samenstelling van de thema s en berekening van de themascores is door Studiekeuze123 de volgende lijn gevolgd: 1. De aanbevelingen over de vragenlijst door de onafhankelijke Werkgroep Vragenlijst NSE (2012, zie ook paragraaf 6.3.2) zijn opgevolgd. Deze zijn gebaseerd op de validatie van ResearchNed uit 2009 (Pass & van den Broek, 2009) en zijn door de Werkgroep Vragenlijst NSE in 2012 verder aangevuld. De aanbevelingen bestonden uit het toevoegen van nieuwe vragen en duidingsvragen, maar ook uit het verplaatsen, wijzigen en verwijderen van vragen. Ook zijn nieuwe thema s toegevoegd aan de vragenlijst. 2. Indien de door de onafhankelijke Werkgroep Vragenlijst voorgestelde thematische indeling van de vragen niet overeenkwam met de uitkomsten van factoranalyses, zijn de uitkomsten van de factoranalyses bepalend geweest voor de indeling van thema s. Zo is het thema Internationale Studenten opgesplitst in twee thema s, namelijk Engels taalaanbod en Internationale Studenten. Het thema stages is ook opgesplitst in twee thema s, namelijk Stage en Opleiding en Stage Ervaring. Het thema Huisvesting is ook opgesplitst in twee thema s, namelijk Huisvesting en Studieomgeving. De naam van het thema Betrokkenheid is veranderd in Kwaliteitszorg. 3. Het Benchmarkbestand NSE 2013 (met daarin ook de resultaten uit de meetjaren 2010 t/m 2012) is qua structuur zodanig aangepast, dat de belangrijke uitgangspunten, namelijk continuïteit en directe bruikbaarheid van de vragenlijst en de themascores, optimaal gewaarborgd bleven Onafhankelijke Werkgroep Vragenlijst De onafhankelijk Werkgroep Vragenlijst NSE (2012) heeft in 2012 een advies uitgebracht waarbij een aantal vragen is toegevoegd, vervallen, een aantal blokken is versterkt en de routing voor afstandsonderwijs is aangepast. Ook is het voorstel getest door een studentenpanel. De Werkgroep is niet zover gegaan dat zij ook een advies heeft gegeven over hoe de themascores eruit moesten zien. In de hierop volgende paragrafen wordt ingegaan op het trendbestand, de uitgangspunten die ten grondslag lagen aan de afwegingen en analyses en tenslotte wordt aandacht besteed aan de totstandkoming van de thema-indeling. 10 NB: Themascores zijn de gemiddelde scores van de vragen die betrekking hebben op hetzelfde onderwerp (thema). Onderzoeksverantwoording Nationale Studenten Enquête

47 6.3.3 Trendbestand Het huidige NSE 2014 Benchmarkbestand is een trendbestand met studentoordelen. In dit trendbestand zijn de studentoordelen opgenomen vanaf Het jaar 2010 kan als nulmeting worden beschouwd. De vragenlijst is in 2013 aangepast. Een deel van de vragen ligt in principe voor 9 jaar vast, een andere deel voor 3 jaar Uitgangspunten van de afwegingen en analyses Thema s worden geconstrueerd (in feite: gemiddeld) op basis van inhoudelijk samenhangende items uit de vragenlijst. Een nieuwe indeling van thema s moet zorgvuldig worden verantwoord. De bedoeling van deze paragraaf is dan ook om in te gaan op de afwegingen en analyses die hebben geleid tot een aangepaste vragenlijst en aanpassing in de thema-indeling in Belangrijke uitgangspunten van de afwegingen en analyses waren: Continuïteit: het trendbestand is een meerjarig bestand en moet een meerjarig bestand blijven, ondanks aanpassingen in de samenstelling van de thema s en vragen; Bruikbaarheid: een gebruiker moet het bestand direct kunnen gebruiken, zonder nadere bewerkingen uit te hoeven voeren; Kwaliteit van de data: de gehanteerde indeling van thema s moet op een duidelijke manier worden verantwoord Datakwaliteit (verantwoording thematische indeling van de vragen) De onafhankelijke Werkgroep Vragenlijst heeft zich gebogen over de herziening van de NSE 2013 vragenlijst. Verder heeft bureau Sixtat een review uitgevoerd gericht op de overgang van de uitvoering van de NSE van ResearchNed naar GfK. GfK heeft op basis van deze review een aantal additionele analyses uitgevoerd betreffende de thematische indeling van de vragen op basis van het (voorlopige) resultaatbestand uit Verder heeft GfK ook een analyse gedaan op basis van de data uit Deze werkwijze wordt in paragraaf nader toegelicht Review Sixtat betreffende transitie uitvoerder Bureau Sixtat heeft een review uitgevoerd op de transitie qua uitvoering van ResearchNed naar GfK. Dat vond plaats in twee fasen: de eerste was een algemene review op de overgang en de startfase van de NSE 2013 en de tweede fase bestond uit een proefoplevering van het voorlopige Benchmarkbestand van de NSE In fase 1 van de review is het NSE-project in de volle breedte besproken, waarbij niet alleen de werkzaamheden zelf werden besproken, maar bijvoorbeeld ook hoe de samenwerking en taakverdeling tussen Studiekeuze123 en GfK in elkaar stak. Tijdens de 1 e fase van de review is ook het GfKinventarisatiedocument besproken, waarin de controles en bewerkingen stonden beschreven, om zo - bij gebrek aan gedetailleerde overdrachtsdocumentatie - bevestigd te krijgen wat exact gedaan moest worden in termen van datahandling en -bewerking. Het gesprek in fase 1 heeft vooral tot meer duidelijkheid geleid over de uit te voeren werkzaamheden en de zaken die daarbij specifieke aandacht verdienden. Het GfK-document werd door Sixtat beoordeeld als juist en volledig. In fase 2 is op basis van responsdata tot en met 11 februari 2013 een voorlopige bestandsoplevering uitgevoerd, om te onderzoeken of dit bestand qua structuur en opbouw aan de vereisten voldeed, maar ook om inhoudelijk te bepalen in hoeverre sprake was van opmerkelijke uitkomsten, die zouden kunnen wijzen op een trendbreuk met Op basis hiervan is door bureau Sixtat geconcludeerd dat er geen duidelijke risico s (b)leken te zijn. Wel werd aandacht gevraagd voor een afgewogen besluitvorming omtrent de themascores, gebaseerd op alle beschikbare informatie. Onderzoeksverantwoording Nationale Studenten Enquête

48 6.3.7 Analyses en advies GfK GfK heeft in de fase van de voorlopige bestandsoplevering, als follow-up op de review, een nadere analyse uitgevoerd gericht op de groepering van de vraagitems onder de diverse thema s. Het doel van de analyse was om de besluitvorming hieromtrent door Studiekeuze123 beter te kunnen afwegen en onderbouwen. Vanuit de meting van 2012 bestond daar al een theoretische basis voor, maar vanwege mutaties in de vragenlijst was het nodig de indeling nog eens tegen het licht te houden. Hiertoe is een verkennende PCA 11 uitgevoerd, met een drieledig doel: 1) Ten eerste om te controleren of de indeling van bestaande, ongewijzigde en van eerdere metingen overgenomen thema s nog standhield, met het oog op de mutaties in de vragenlijst; dit bleek het geval. 2) Ten tweede had de PCA als doel om te bezien of de nieuw toegevoegde items konden worden gegroepeerd volgens de verwachtingen, met andere woorden: kwam de indeling die bedacht is bij het opstellen van de nieuwe vragenlijst overeen met de empirische werkelijkheid? Dit bleek niet in alle gevallen zo te zijn, meer specifiek bij de thema s stages, huisvesting en internationale studenten (zie daarvoor de componentenmatrices in Tabel 6.3 tot en met Tabel 6.5, de items met een gele markering op dezelfde component horen empirisch gezien bij elkaar). 3) Een laatste doel van het uitvoeren van deze analyse en een aanvullende betrouwbaarheidsanalyse was om na te gaan of zowel bestaande als nieuw te vormen schalen voldoende interne consistentie vertoonden om een berekening tot een themascore te rechtvaardigen. Dit bleek zo te zijn, mits de uitkomsten van de PCA ten aanzien van de nieuwe items werden gevolgd. De uitkomsten van deze analyses en het hieruit voortvloeiende advies zijn vastgelegd in de Notitie invloed veranderingen vragenlijst op oplevering NSE-2 (GfK, 2013). De belangrijkste uitkomst was dat op basis van de empirie (de echte tussentijdse responsdata) geadviseerd werd om elk van de bovengenoemde thema s te splitsen in twee separate themascores. Zie ook de onderstaande tabellen, waaruit blijkt dat de items steeds uiteenvallen in 2 samenhangende thema s (of componenten). 11 Zie voor een nadere toelichting op de PCA-methodiek de beschrijving in paragraaf 6.2. Onderzoeksverantwoording Nationale Studenten Enquête

49 Tabel 6.3: Componentenmatrix voor thema Studieomgeving/Huisvesting R o tated C o mpo nent M atrix a Component 1 2 De bereikbaarheid van je instelling (openbaar vervoer e.d.),624,121 De restauratieve voorzieningen op je instelling,543,298 De sportvoorzieningen vanuit je instelling,497,342 De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) De beschikbaarheid van woonruimte in je studiestad (was voorheen Huisvesting_01) De betaalbaarheid van woonruimte in je studiestad (was voorheen Extraction Huisvesting_02) M ethod: Principal Component Analysis. Rotation M ethod: Varimax with Kaiser Normalization. a. Rotation converged in 3 iterations.,872 -,006,864 -,023,122,918,070,938 Tabel 6.4: Componentenmatrix voor thema Stage en Opleiding/Stage ervaring R o tated C o mpo nent M atrix a 1 2 De kwaliteit van de stagebegeleiding vanuit de opleiding (was voorheen VoorbereidingBeroepsloopbaan_04),154,878 De voorbereiding op de stage door de opleiding Component,173,885 De begeleiding op je stageplek door het bedrijf of de instelling waar je stage loopt,832,112 Wat je tijdens je stage hebt geleerd,891,105 De aansluiting van de stages bij het overige onderwijs (was voorheen VoorbereidingBeroepsloopbaan_05),691,414 Extraction M ethod: Principal Component Analysis. Rotation M ethod: Varimax with Kaiser Normalization. a. Rotation converged in 3 iterations. Tabel 6.5: Componentenmatrix voor thema Internationale studenten/engels taalaanbod R o tated C o mpo nent M atrix a Component 1 2 De geboden hulp door je instelling (bijv. bij inschrijving, huisvesting, visa e.d.),743,320 De hulp door je instelling bij de integratie in de Nederlandse cultuur (bijv. een Engelse of Nederlandse,851,108 taalcursus, buddy-systeem) De persoonlijke begeleiding door je mentor/begeleider,808,148 Het aanbod aan Engelstalige vakken,155,866 De beheersing van de Engelse taal van medewerkers van de Extraction instelling M ethod: Principal Component Analysis. Rotation M ethod: Varimax with Kaiser Normalization. a. Rotation converged in 3 iterations.,210,838 Onderzoeksverantwoording Nationale Studenten Enquête

50 Het advies van GfK is - als gezegd - volledig gebaseerd op de empirie (op de echte data ), zodat Studiekeuze123 op basis daarvan in staat werd gesteld een afweging te maken ten opzichte van de meer theoretische basis, zoals neergelegd door de Werkgroep Vragenlijst. Een ander element van de analyses die als follow-up op de review door GfK zijn uitgevoerd, waren de vergelijkingen van de themascores tussen 2012 en 2013, met name gericht op de thema s die qua samenstelling zijn veranderd, of waar één of meerdere vraagitems qua vraagformulering is gewijzigd. De uitkomsten van deze analyses zijn vastgelegd in het document Check themascores op bestanden 2012 (GfK, 2012). Hieruit bleek dat bij herberekening en vergelijking van de themascores voor 2012 en 2013 er nauwelijks sprake was van verschillen. Indien toch aanwezig, ging het slechts om marginale verschillen. Omtrent de themascores is er door Studiekeuze123, op basis van de analyses van GfK, de input en adviezen van Bureau Sixtat en de Vrije Universiteit en na consultatie van het Deskundigenpanel, uiteindelijk de keuze gemaakt om - op basis van de empirische realiteit - de thema s stages, huisvesting en internationale studenten op te splitsen in elk twee themascores. 6.4 WEGING Om te corrigeren voor de responsverschillen tussen opleidingen en instellingen, is de netto respons gewogen op het niveau van BRIN*CROHO*Locatie. Hiertoe is eerst de respons bepaald per mogelijke combinatie. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. Vervolgens is de range van de resulterende weegfactoren onderzocht om vast te stellen in hoeverre sprake was van extreme weegfactoren. Er was geen sprake van extreme waarden aan het lage uiteinde van het spectrum: de laagste waarde bedroeg 0,34. De weegfactoren boven een waarde van 4 zijn op 4,0 gefixeerd, zoals in In totaal zijn 34 (van de in totaal 2.939) cellen gefixeerd, corresponderend met 74 respondenten. Een cel was in dit geval een BRIN*CROHO*Locatie combinatie. 22 cellen hadden een weegfactor tussen de vier en zes; in zeven cellen lag de weegfactor tussen zes en 10 en in vijf gevallen had de weegfactor een waarde van meer dan 10. Tot slot is de weegfactor herschaald (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht wederom uitkwam op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk waren aan de gewogen aantallen (Stichting Studiekeuze123, 2014f). 6.5 SYNCHRONISATIE MET VOORGAANDE METINGEN Om de trendbestanden op te stellen, was een synchronisatie van de organisatorische mutaties op basis van het CROHO-register nodig. Dit gebeurde als volgt: update voor mutaties tussen aanlevering en afsluiting veldwerk NSE 2014; update voor mutaties die ten opzichte van voorgaande jaren hadden plaatsgevonden. De mutaties konden betrekking hebben op BRIN, CROHO en Locatie. Om dit te inventariseren zijn het meerjarige Benchmarkbestand, de door instellingen aangeleverde studentgegevens (NSE 2014) en het op dat moment meest actuele CROHO-register (van ) naast elkaar gelegd. Daarnaast is gebruik gemaakt van een door ResearchNed geleverd bestand met BRIN/CROHO mutaties die niet in Onderzoeksverantwoording Nationale Studenten Enquête

51 het CROHO-register zijn verwerkt. Het aantal te synchroniseren zaken was beperkt (ongeveer 30 opleidingen). In de door GfK uitgeleverde bestanden (als belangrijkste het meerjarige Benchmarkbestand) is in de variabelen BRINActueel, BRINNaamActueel, CROHOActueel en CROHONaamActueel de meest actuele naam en codering van instelling en opleiding terug te vinden. De benaming en codering, als oorspronkelijk aangeleverd door de instelling in het desbetreffende jaar, zijn nog altijd terug te vinden in de variabelen BRIN, BRINNaam, CROHO en CROHONaam. 6.6 AANMAAK RESULTAATBESTANDEN Op basis van bestanden uit eerdere jaren en het bestand voor de NSE 2014 is door GfK een meerjarig moederbestand gemaakt. Dit moederbestand is gebruikt als basis voor de bestanden voor de NSE Onderzoeksverantwoording Nationale Studenten Enquête

52 7. OPGELEVERDE PRODUCTEN 7.1 BESTANDEN Na afloop van het veldwerk is er een aantal bestanden geproduceerd. Het betrof databestanden: voor de deelnemende instellingen; voor verwerking van de NSE-resultaten door Studiekeuze123 en door anderen. Daarnaast is er - in opdracht van Studiekeuze123 - een volledig nieuwe Factsheet ontworpen en geprogrammeerd, welke is verstuurd naar het CvB/de directie van elke deelnemende instelling. De NSE oordelen zijn geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website De oplevering van bestanden vond plaats in de beveiligde GfK Drive omgeving. Met inloggegevens kon men daar de door GfK voor de gebruiker klaargezette bestanden downloaden. Hieronder volgt een algemene beschrijving van alle in het kader van de NSE 2014 uitgeleverde bestanden. Detailinformatie is beschikbaar in de NSE productencatalogus Bestanden voor deelnemende instellingen Codeboek De wijzigingen in het openbaar Benchmarkbestand worden elk jaar gedocumenteerd in het Codeboek (2014e). Het Codeboek geeft de semantiek van de variabelen in het SPSS bestand. Het bevat ook een gedetailleerde beschrijving van hoe wijzigingen in de vragenlijst sinds 2013 zijn doorgevoerd in het huidige Benchmarkbestand. De basis voor het huidige Codeboek is gelegd tijdens de NSE 2013, toen door een aantal wijzigingen in de vragenlijst het Benchmarkbestand qua opbouw is veranderd. Studiekeuze123 heeft er toen voor gekozen om de wijzigingen in de vragenlijst met terugwerkende kracht door te voeren in het Benchmarkbestand. Zie voor meer informatie paragraaf 6.3. Bij de NSE 2014 is de structuur van het bestand nauwelijks gewijzigd; wel is de variabele Studiejaar (aangeleverd door instelling) en de variabele StudiejaarStudent (als aangegeven door student) aan het Benchmarkbestand toegevoegd. Deze variabelen zijn uitgeleverd op verzoek van instellingen, om nadere analyses naar studiefase/-jaar beter mogelijk te maken. In het Codeboek en in het SPSS-bestand zijn in de beschrijving van de variabelen aantekeningen gemaakt over wijzigingen, zodat een verwerker die het Codeboek niet bij de hand heeft, toch een indicatie heeft van de wijzigingen. Zie Tabel 7.1 en 7.2. Tabel 7.1: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2014) Tabel 7.2: Voorbeeld documentatie SPSS-bestand (betreft wijziging per 2013) Onderzoeksverantwoording Nationale Studenten Enquête

53 Openbaar Benchmarkbestand ( ) Dit bestand bevat voor alle deelnemende instellingen alle antwoorden sinds 2010 op de standaard NSE vragenlijst. Het bestand is geanonimiseerd. Bovendien zijn door middel van verrijking gegevens uit externe bronnen (als het CROHO-register) en gegevens uit de door instellingen aangeleverde informatie over studenten toegevoegd (zie ook hoofdstuk 3). Het bestand bevat geen instellingsspecifieke vragen of informatie (labels) en ook geen privacygevoelige gegevens. Het Benchmarkbestand is te openen en te bewerken in het softwarepakket SPSS (Statistical Package for the Social Sciences) van IBM Corp (2013). Dit bestand is tevens een openbaar bestand, in die zin dat het bij Studiekeuze123 opvraagbaar is door externe partijen. Het Benchmarkbestand voor de NSE 2014 heet Definitief Benchmarkbestand ( ) v1.0.sav. Met een digitale handtekening kan de authenticiteit van het bestand vastgesteld worden. De digitale handtekening voor dit bestand (2014) is: 06a0c568c41a5c98fdd8e96d3acf19a8. Het bestand bevatte de volgende variabelen: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, oorspronkelijke instellingscode, oorspronkelijke instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, oorspronkelijke opleidingscode, oorspronkelijke opleidingsnaam, locatie volgens CROHO, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), alle tevredenheidsoordelen, duidingsvragen, contacttijd, huur, woonsituatie en de antwoorden op de ultimate question. De antwoorden op de vragen over Handicap & Studie, internationale studenten en Engels taalaanbod waren niet opgenomen. Nieuw dit jaar is dat in het Benchmarkbestand ook de achtergrondvariabele studiejaar is opgenomen. Er is beschikking over het studiejaar zoals aangeleverd door de hoger onderwijsinstelling en over het antwoord van de respondent van welk studiejaar hij/zij de meeste vakken volgt. Omdat beide variabelen hun zwakheden hebben, is besloten om beide variabelen aan het benchmarkbestand toe te voegen, getiteld Studiejaar en Studiejaarstudent : Studiejaar: Het veld studiejaar wordt aangeleverd door de deelnemende hoger onderwijsinstellingen als eerstejaars of ouderejaars onder de volgende definitie: Eerstejaars: student is in 2013 ingeschreven voor huidige hoofdopleiding. Ouderejaars: student is <2013 ingeschreven voor huidige hoofdopleiding. Studiejaarstudent: Deze variabele bevat het antwoord op vraag 9 uit de vragenlijst, waarbij de student wordt gevraagd naar het studiejaar waarin hij/zij studeert. De student wordt hier gevraagd het studiejaar in te vullen van het jaar waarin hij/zij de meeste vakken volgt. Een belangrijk verschil tussen beide variabelen is dat de eerste wordt aangeleverd door de instelling en de tweede door de student. De eerste variabele kan als formeel juist beschouwd worden, de tweede alleen als mening of observatie. Beide variabelen zijn vanaf de NSE 2014 opgenomen in de bestanden en niet met terugwerkende kracht aangevuld. Studiekeuze123 heeft een analyse gedaan over de eerste studenten die de NSE 2014 hadden ingevuld. Uit de analyse bleek dat instellingen die studenten markeerden als eerstejaars studenten en waarvan studenten aangaven de meeste vakken in het eerste jaar te volgen overeenkwam met 91,1%. Een groep van 8,9% van studenten waren volgens de instelling eerstejaars Onderzoeksverantwoording Nationale Studenten Enquête

54 studenten, maar gaven zelf aan voornamelijk vakken in tweede, derde, vierde en zelfs zesde jaar te volgen. Van de ouderejaars studenten gaf 11,8% van de studenten aan de meeste vakken in het eerste jaar te volgen, terwijl deze gemarkeerd waren door de instelling als ouderejaars studenten. Tabel 7.3: Studiejaar eerstejaars en ouderejaars volgens onderwijsinstelling afgezet tegen mening studenten Jaar binnen soort onderwijs Studiejaar Percentage Aantal Eerstejaars 1 91,1% volgens 2 5,8% onderwijsinstelling 3 1,7% ,5% ,0% 1 Totaal 100,0% Ouderejaars 1 11,8% volgens 2 35,7% onderwijsinstelling 3 28,8% ,6% ,0% 2 6 0,0% ,0% 5 8 0,0% 5 Totaal 100,0% De antwoorden van de eerste respondenten van de NSE 2014 uitgesplitst naar master: Tabel 7.4: Studiejaar master student volgens onderwijsinstelling afgezet tegen mening studenten Studiejaar volgens onderwijsinstelling Aantal Eerstejaars Master Master Master Master Ouderejaars Master Master Master Master Hier is zichtbaar dat studenten zijn aangeleverd door de instelling als een eerstejaars master student, maar waarvan 709 studenten aangaven voornamelijk vakken in het tweede, derde en vierde jaar te volgen. Er waren studenten gelabeld als ouderejaars student door de instelling, die zelf aangaven de meeste vakken in het eerste jaar van de opleiding te volgen. Deze 'mismatch' lijkt grotendeels een logische achtergrond te hebben, doordat er een verschil bestaat tussen hoe de student geregistreerd staat en hoever de student inmiddels daadwerkelijk is gevorderd binnen de studie. Onderzoeksverantwoording Nationale Studenten Enquête

55 Instellingsbestand Het Instellingsbestand is een extract uit het Benchmarkbestand met de antwoorden van alle deelnemende studenten van een specifieke instelling. Het is geleverd in SPSS formaat en op verzoek in Microsoft Office Excel formaat. Bovendien bevatte het Instellingsbestand de instellings-specifieke vragen (indien gesteld), de informatie die door de instelling zelf was aangeleverd in labels, de achtergrondkenmerken (leeftijd, geslacht, vooropleiding en etniciteit) en de antwoorden op Handicap & Studie, internationale studenten en Engels taalaanbod. Besloten is dit jaar de variabele `Toestemming toe te voegen aan het blok Handicap en Studie. Deze laatste variabele komt alleen voor in het instellingsbestand. In het geval een student aangeeft een beperking, aandoening of ziekte te hebben wordt vervolgens gevraagd of deze gegevens gedeeld mogen worden met de instelling. Dit is noodzakelijk vanwege de Wbp omdat het hier bijzondere persoonsgegevens betreft (zie eerder in paragrafen 3.7 en 5.5). Indien de student akkoord gaat met terug leveren krijgt hij/zij de vervolgvragen en zal er geen verdere bewerking op de data plaatsvinden. Indien de student geen toestemming geeft deze gegevens te delen, wordt zijn antwoord op de vraag of hij een beperking, aandoening of ziekte heeft gewist en zijn overige vragen over Handicap & Studie niet ingevuld. Sleutelbestand Het Sleutelbestand legt de relatie tussen het ID als gebruikt in de NSE en het StudentID als aangeleverd door de instelling. Dit Sleutelbestand stelde instellingen in staat om de NSE-resultaten te koppelen aan andere gegevens die in hun studentenregistratie beschikbaar waren (denk bijvoorbeeld aan studievoortgang). Het bestand werd geleverd in SPSS formaat. Dit bestand is alleen geleverd aan instellingen waarmee de aanvullende overeenkomst is afgesloten. Open vraag bestand Dit bestand bevatte voor iedere instelling antwoorden van alleen de eigen studenten op de volgende open vraag, die als afsluiting van de NSE vragenlijst werd gesteld: Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs. De open antwoorden op bovengenoemde vraag zijn achteraf niet bewerkt en werden dus in ruwe vorm uitgeleverd aan de instellingen. Naar aanleiding van de NSE 2013 bleek bij diverse instellingen de behoefte te bestaan om de open antwoorden tot op een lager niveau te kunnen terugkoppelen en zo beter te kunnen gebruiken voor een kwaliteitsverbetering binnen hun instellingen. In samenspraak met Studiekeuze123 is daarom besloten om naast de opleidingsnaam en locatie - drie extra kenmerken mee te leveren: opleidingsvorm (voltijd, deeltijd, duaal), Studiejaar (eerstejaars versus ouderejaars, volgens instelling) en StudiejaarStudent (Bachelor 1-4, Master 1-4, Oude Stijl 1-8 en Associate degree 1-2). Het bestand werd geleverd in Excel formaat via de beveiligde downloadomgeving (GfK Drive). Onderzoeksverantwoording Nationale Studenten Enquête

56 7.1.2 Overige verwerking Populatiebestand Het Populatiebestand is een bestand waarin de populatie (bruto N) en de respons (netto n) is opgenomen en wordt uitgesplitst naar alle mogelijke combinaties van de volgende achtergrondkenmerken: BRINActueel, CROHOActueel, Locatie, Fixus, Decentraal, Bekostiging, Opleidingsvorm3, Geslacht, Leeftijd, Etniciteit, Vooropleiding, Studiejaar en Woonsituatie. Dit bestand is de basis voor de beslissing op welk niveau wel/niet wordt gerapporteerd in de Studiekeuzedatabase en wordt door Studiekeuze123 gebruikt als naslagwerk. Dit bestand werd gebruikt bij de beslisregels voor het tonen van NSE resultaten op en voor Studie in Cijfers. Tevens werd (een aggregatie van) dit bestand gebruikt voor de Studiekeuzedatabase. De beslisregels staan op de website Benchmarkbestand Plus Het Benchmarkbestand Plus is een versie van het reguliere Benchmarkbestand aangevuld met de achtergrondkenmerken Leeftijd en Geslacht plus alle antwoorden van het blok Handicap & Studie (vraag 33-40). Dit bestand is gebruikt voor verwerking door Studiekeuze123 voor Studie in Cijfers ( en de Studiekeuzedatabase (zie paragraaf 7.3). 7.2 FACTSHEETS Iedere deelnemende instelling ontving bij de definitieve bestandoplevering (16 mei 2014) ook een Factsheet op instellingsniveau. Op basis van de in eerdere jaren geconstateerde problemen met de leesbaarheid van de oude Factsheet, heeft Studiekeuze123 het initiatief genomen om de Factsheet op een andere wijze vorm te geven. Uitgangspunt was ten eerste de informatie visueel aantrekkelijker te maken en ten tweede het beperken tot de essentie van de te presenteren gegevens. Een grafisch ontwerper heeft het ontwerp gemaakt en GfK heeft het ontwerp geprogrammeerd, zodat de achterliggende gegevens voor elke instelling op de juiste wijze konden worden gepresenteerd. De voorkant van de Factsheet bestond uit een overzicht van een aantal tevredenheidsvragen en ontwikkelingen (zie Figuur 7.2): Bovenaan, horizontaal, is te vinden: algemene tevredenheid over de opleiding, sfeer op de opleiding en of de student de studie zou aanraden aan anderen. Van boven naar beneden de themascores van de instelling voor de NSE 2014, inclusief vergelijking met vorig jaar en met de landelijke themascores dan wel met een door de instelling aangegeven referentiegroep. Instellingen konden zelf kiezen met welke instellingen zij werden vergeleken op de Factsheets. Zij konden worden vergeleken met het landelijk gemiddelde (uitgesplitst naar WO of HBO). In plaats van dit landelijk gemiddelde hadden zij de mogelijkheid om zichzelf te vergelijken met maximaal zeven zelf te kiezen instellingen (zelf gekozen referentiegroep). Tien instellingen hebben van deze laatste mogelijkheid gebruik gemaakt. Op de achterkant van de Factsheet zijn de scores voor de onderliggende items (2013 en 2014) vermeld, waarbij ook is aangegeven of de score in 2014 significant lager of hoger was dan in Onderzoeksverantwoording Nationale Studenten Enquête

57 Middels een symbool is getoond of het item significant hoger, lager, of dat er geen significant verschil is met het landelijk gemiddelde of een zelf gekozen referentiegroep. Zie Figuur 7.1. Figuur 7.1: Gebruikte symbolen op Factsheet NSE 2014 Een wens van de instellingen was om de Factsheet meer eigen te maken. Daarom was het voor de instelling mogelijk een logo op te laten nemen op de Factsheet. Van deze mogelijkheid hebben 39 instellingen gebruik gemaakt. Naast een Factsheet voor de deelnemende instellingen is er ook een Factsheet ontwikkeld voor respectievelijk het gehele WO en het gehele HBO. Deze staan op Onderzoeksverantwoording Nationale Studenten Enquête