Onderzoeksverantwoording Nationale Studenten Enquête 2013

Transcriptie

1 Onderzoeksverantwoording Nationale Studenten Enquête 2013

2 Colofon Dit is een uitgave van Stichting Studiekeuze123 met bijdrages van GfK en ResearchNed, april Onderdelen uit deze Onderzoeksverantwoording Nationale Studenten Enquête 2013 mogen worden overgenomen met bronvermelding (bron: Studiekeuze123). Hoewel de grootst mogelijke zorg is besteed aan de inhoud van deze Onderzoeksverantwoording Nationale Studenten Enquête 2013, kunnen er geen rechten aan worden ontleend. Voor meer informatie: Onderzoeksverantwoording Nationale Studenten Enquête

3 Inhoudsopgave Inleiding 5 1. De opzet en methode van onderzoek 6 2. Technische infrastructuur GfK Atlas Functionality Deliverability GfK Drive Testen van de vragenlijst Beveiliging Privacy Incidenten Voorbereiding veldwerk Overzicht en analyse van deelnemende instellingen NSE Combinatie-opleidingen Overeenkomst(en) tot deelname Startbijeenkomst en Routeboek Aanlevering van studentgegevens Verwerking van studentgegevens De vragenlijst Communicatie Communicatie studenten Uitnodigingstekst en reminders Communicatie instellingen Sociale media Special Interest Group NSE Persbericht Populatie en respons Mailing Respons Responsgedrag Hoe is de NSE ingevuld? Non-respons analyse Responsoverzichten Analyse verkorting veldwerk Onderzoek respons beïnvloeding Datacleaning en bestandswerking Verrijking en andere bewerkingen Hercoderen open vragen Handicap & Studie Huurwaarden Invultijd Themascores en instellingsvragen Weging Synchronisatie met voorgaande metingen Aanmaak resultaatbestanden 35 Onderzoeksverantwoording Nationale Studenten Enquête

4 7. Opgeleverde producten Bestanden Bestanden voor deelnemende instellingen Overige verwerking Factsheets Verwerking studentenoordelen in Studiekeuzedatabase (DB ) Cleaning ten behoeve van koppeling met de Studiekeuzedatabase Opnamecriteria Controleren van respons per vraag Samenvoegen van opleidingen bij onvoldoende respons Aggregeren: het berekenen van de scores per opleiding Analyse wisseling uitvoerder Valorisatie 44 Nawoord 46 Bronvermelding 47 Tabellen- en Figurenoverzicht 48 Figuren 48 Tabellen 48 Bijlagen 49 Bijlage 1: Overzicht deelnemende instellingen Onderzoeksverantwoording Nationale Studenten Enquête

5 Inleiding De Nationale Studenten Enquête (NSE) is een grootschalig landelijk onderzoek. Jaarlijks worden bijna alle studenten in het hoger onderwijs uitgenodigd om deel te nemen aan de NSE. Met deelname geven studenten hun mening over hun opleiding en instelling. Onderwerpen zijn de inhoud van de opleiding, verworven vaardigheden, voorbereiding op de beroepsloopbaan, docenten, studiebegeleiding, toetsing en beoordeling, informatie vanuit de opleidingen, studieroosters, studielast, contacttijd, groepsgrootte, stages, studiefaciliteiten, kwaliteitszorg, studieomgeving, handicap & studie, internationale studenten. Ook wordt gevraagd naar de opinie van studenten over de stad waarin zij studeren en over de beschikbaarheid en betaalbaarheid van huisvesting. Studiekeuze123 is sinds 2009 verantwoordelijk voor de uitvoering van de NSE. Stichting Studiekeuze123 is een initiatief van de Vereniging Hogescholen, de VSNU en de NRTO en de studentenorganisaties LSVb en ISO, en vertegenwoordigt daarmee het gehele hoger onderwijs. Studiekeuze123 wordt volledig gefinancierd door het ministerie van OCW, met als één van de taken de jaarlijkse uitvoering van de NSE. Dit vanuit de behoefte naar beschikbare en transparante studiekeuzeinformatie, zodat de (aanstaande) studenten kunnen kiezen voor een opleiding die bij hen past. Studiekeuze123 wil zo een bijdrage leveren aan het verhogen van studierendement. Daarnaast geldt de NSE als impuls voor de hoger onderwijsinstellingen voor benchmarking in de ondersteuning van het horizontaal toezicht en beleidsontwikkeling. De NSE resultatenbestanden zijn publiek beschikbaar. Niet alleen Studiekeuze123 gebruikt de resultaten voor studiekeuze-informatie op haar website Studiekeuze123.nl, ook commerciële aanbieders zoals Elsevier met de jaarlijkse special De Beste Studies en C.H.O.I. met de Keuzegidsen gebruiken de NSE-resultaten. Daarnaast wordt de NSE gebruikt voor onderzoekstoepassingen en beleidsontwikkeling, zoals institutional research door de hoger onderwijsinstellingen zelf, de Onderwijsinspectie, Expertisecentrum Handicap en Studie en andere geïnteresseerden. Instellingen gebruiken de NSE-resultaten ook ter onderbouwing in NVAO-accreditaties en voor hun eigen marketing. De NSE heeft daarmee een steeds belangrijkere positie verworven. Vanuit de informatiebehoefte naar trends in studenttevredenheid is het van groot belang de vragenlijst van de NSE zo min mogelijk te wijzigen in de verschillende jaren. Tegelijkertijd is er een toename in verzoeken vanuit de omgeving om de vraagstelling uit te breiden of aan te passen. Als reactie heeft het bestuur van Studiekeuze123 eind 2011 besloten om de vragenlijst van de NSE 2012 ongewijzigd te laten maar daarnaast een werkgroep in te stellen met de opdracht een herzieningsvoorstel te verzorgen voor de NSE In de vragenlijst 2013 zijn, na een uitvoerig traject, beperkte wijzigingen doorgevoerd. Het volledige rapport van dit wijzigingstraject vindt u op Deze wijzigingen vroegen dit jaar extra aandacht in de oplevering van het benchmarkbestand Studiekeuze123 voert de NSE niet zelf uit, maar werkt hiervoor samen met een onderzoeksbureau. De NSE 2009 t/m 2012 is uitgevoerd door ResearchNed. Dit contract liep af waarna, na een Europees aanbestedingstraject, de uitvoering is gegund aan GfK (voorheen GfK Intomart). De NSE 2013 is onder regie van Studiekeuze123 in samenwerking met GfK uitgevoerd. Onderzoeksverantwoording Nationale Studenten Enquête

6 1. De opzet en methode van onderzoek De Nationale Studenten Enquête (NSE) is het grootschalige landelijke onderzoek waarin jaarlijks bijna alle studenten in het hoger onderwijs worden uitgenodigd om hun mening te geven over hun opleiding. Alle NVAO-geaccrediteerde opleidingen aan hogescholen en universiteiten in Nederland kunnen participeren aan dit onderzoek. Sinds 2009 wordt dit onderzoek uitgevoerd door Studiekeuze123. De uitvoering van de NSE 2013 bestond uit drie fasen: voorbereiding, veldwerk en leveren van resultaten. Voorbereiding De voorbereiding startte met een bijeenkomst voor alle bestaande en eventueel nieuwe instellingen die geaccrediteerde opleidingen in het hoger onderwijs aanbieden, zowel publiek als privaat. Op deze startbijeenkomst werd de planning doorgenomen en werd aangegeven wat Studiekeuze123 van deelnemende instellingen verwacht en wat deelnemers mochten verwachten van Studiekeuze123. Daarna kregen de directies of Colleges van Bestuur (CvB) van de instellingen van Studiekeuze123 een uitnodiging om mee te doen aan de NSE. Ze deden dat door een ondertekende overeenkomst retour te sturen. Deelnemende instellingen leverden in de voorbereidingsfase achtergrondgegevens van alle studenten aan, zoals een adres en de opleiding die gevolgd wordt. Deze gegevens werden door GfK gecontroleerd en na akkoord gebruikt voor het uitvoeren van het veldwerk. Instellingen konden ook extra vragen aanleveren die ingingen op instellings-specifieke zaken. Deze vragen werden geprogrammeerd in de webvragenlijst en alleen gesteld aan studenten van die specifieke instelling nà de vragen van de NSE. Studiekeuze123 stelde ook divers promotiemateriaal ter beschikking dat deelnemende instellingen konden gebruiken om de NSE onder de aandacht te brengen. Veldwerk De NSE is een online afgenomen enquête. Studenten ontvingen een met een uitnodiging tot deelname, in de vorm van een persoonlijke url. Ze konden de enquête in delen afronden. Het veldwerk duurde in 2013 tien weken, van 14 januari tot en met 24 maart. Studenten die de enquête nog niet ingevuld hadden, ontvingen elke 2 weken een reminder. Studenten konden zich afmelden voor deelname. Contactpersonen van instellingen konden real-time de ontwikkeling van de respons bijhouden. Studiekeuze123 stuurde wekelijks een overzicht van de responsontwikkeling van alle instellingen aan stakeholders. Onder de deelnemende studenten werden de volgende prijzen verloot: 5 iphones 5 t.w.v. 800,-; 5 ipads mini t.w.v. 400,- en 240 Bol.com bonnen van 25,-. Leveren van resultaten In de laatste fase werden de antwoorden van de studenten door GfK geconsolideerd in een aantal bestanden die geleverd werden aan de deelnemende instellingen. De resultaten werden gesynchroniseerd met die van eerdere jaren. Het CvB dan wel de directie ontving een Factsheet met de belangrijkste resultaten van de instelling. De NSE oordelen werden geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website en in Studie in Cijfers. Deze fase werd afgesloten met een slotbijeenkomst. Hier werd ook geëvalueerd wat er goed was gegaan en wat er beter kon. Dat wordt gebruikt als input voor het volgend jaar. Onderzoeksverantwoording Nationale Studenten Enquête

7 2. Technische infrastructuur Voor de NSE 2013 werd gebruik gemaakt van een technische infrastructuur bij GfK die ook voor andere onderzoeken gebruikt wordt. Deze infrastructuur bevat voorzieningen gericht op het in stand houden van de dienstverlening (continuïteit) en het waarborgen van informatiebeveiliging (beschikbaarheid, vertrouwelijkheid en data-integriteit). De infrastructuur bestaat uit twee componenten: GfK Atlas voor het versturen van grote hoeveelheden mail en GfK Drive voor het veldwerk. Beide systemen draaiden in het centrale GfK data-center en waren volledig redundant uitgevoerd met een 24/7 monitoring door een team van IT specialisten. Dit team was 24 uur per dag stand-by om in het geval van calamiteiten snel een oplossing te kunnen bieden. In dit hoofdstuk wordt uitgelegd wat beide componenten doen, daarna wordt uitgelegd hoe de vragenlijst getest is en hoe de informatiebeveiliging van de NSE geregeld is. Tot slot volgt een overzicht van incidenten die zich gedurende het veldwerk hebben voorgedaan. 2.1 GfK Atlas Voor het verzenden van bulk mail werd gebruik gemaakt van de software GfK Atlas. GfK Atlas bestaat uit twee hoofdcomponenten: de functionaliteit voor het versturen van de s (Functionality) en de component die ervoor zorgt dat de s ook bezorgd worden (Deliverability). Deze laatste component zorgde er onder andere voor dat ontvangende servers geen belemmeringen opwierpen voor de bezorging van de s. Schematisch zag dit er als volgt uit: Figuur 2.1: GfK Atlas Atlas Mailer Functionality Deliverability Mail Merge ISP / IP Throttling Campaign Scheduling Return Path Support Feedback Processing DNS Functionality Binnen de component Functionality vond het volgende plaats: 1. Mailmerge Het samenvoegen van de gegevens van het steekproefbestand met de mailtemplates voor verzending van de uitnodigingen; Onderzoeksverantwoording Nationale Studenten Enquête

8 2. ISP / IP Throttling Inregelen (doseren) van het aanbieden van s aan providers, zodat meer dan 1 miljoen s per dag gegarandeerd verzonden konden worden zonder dat GfK op een black list terecht kwam; 3. Campaign scheduling Planning van hoeveelheden en tijdintervallen wat ervoor zorgde dat de bulk mail in golven (gecontroleerd) kon worden verzonden Deliverability Binnen de component Deliverability vond het volgende plaats: 1. Return Path Support Hiermee werd aan de hand van terugontvangen data actief gemonitord hoe goed de aflevering was bij de diverse providers, waarbij GfK dus op de white list bleef; 2. Feedback processing Mogelijkheden om geautomatiseerd bounce-informatie te vertalen in opvolgacties (deze waren in te stellen); 3. DNS Support op reverse DNS/PTR record (bezorgen mail), SPF record (verminderen spam) en DKIM (idem.); Verder zijn de volgende technische details van belang geweest voor de uitvoering: GfK Atlas draaide in een centraal GfK data-center; de servers draaiden daar in een geclusterde omgeving. Servers zaten achter een loadbalancer met failover, voor het verdelen van de last en waardoor, bij uitval, automatisch werd overgeschakeld naar een secundaire server. De internetconnectie vanuit het data-center was 1,5 Gigabyte, waarbij er een redundante omgeving was opgesteld zodat bij uitval direct kon worden overgegaan op de tweede node. De database omgeving was een SQL server 2008 omgeving met een actieve database en een passieve database die direct gesynchroniseerd was met de actieve database. Bij uitval kon dus naadloos worden omgeschakeld en ging geen data verloren. Er is tijdens de uitvoering van NSE 2013 geen failover-procedure noodzakelijk gebleken. Er is dus geen ervaring met de feitelijke werking van die failover-procedure. 2.2 GfK Drive Voor het veldwerk is gebruik gemaakt van de GfK Drive applicatie. Een belangrijk voordeel hiervan was de end-to-end oplossing die dit pakket bood voor het doen van enquêteonderzoek: steekproef management; Vragenlijstprogrammering; online realtime responsmonitoring en -analyses; online analyses en rapportages; oplevering van onderzoekdata in elk gewenst format (doorgaans in Microsoft Office Excel of SPSS (Statistical Package for the Social Sciences) van IBM). Onderzoeksverantwoording Nationale Studenten Enquête

9 De technische omgeving van GfK Drive zag er als volgt uit: Figuur 2.2: Technische omgeving GfK Drive Naast het diagram waarin schematisch te zien is hoe de technische infrastructuur voor de NSE is ingericht, is in dit kader nog een aantal zaken van belang om te benoemen: GfK Drive bestond uit een cluster van interviewmachines zonder single point of failure. Dat wil zeggen dat de rol van machine-1 automatisch door machine-2 wordt overgenomen indien machine-1 onverhoopt uitvalt. De kans op down time werd door dit alles geminimaliseerd. De omgeving werd niet gedeeld met andere applicaties; Naast de interviewmachines gold dit ook voor de webservers, firewalls en SQLdataservers. De firewall-omgeving was een Checkpoint firewall in een geclusterde omgeving achter een loadbalancer met automatische failover-regeling; GfK Drive is gebouwd met als doel maximale compatibiliteit met diverse soorten en versies van browsers en operating systems. Er werd continu gewerkt om deze compatibiliteit te optimaliseren. Vooral in een setting waarin de variatie van gebruikersomgevingen groot is, zoals bij de NSE, was het van groot belang dat de vragenlijstsoftware goed correspondeerde met diverse omgevingen; GfK Drive bewaarde alle verzamelde data realtime op een Enterprise class filer storage unit met continue synchronisatie. Dit stelde respondenten ook in staat tussentijds de vragenlijst af te breken en op een later moment verder te gaan met invullen. Van de filer storage unit werd dagelijks een back-up gemaakt; Het team bestond uit IT-specialisten, die de systemen monitorden en beschikten over een zogenaamd administrative account, waarbij zowel de rechten werden geregeld als via track en trace de uitgevoerde handelingen konden worden nageslagen; GfK Drive leverde de data direct uit in Excel (.xls) of SPSS (.sav). Hier zat geen (extra) conversieslag tussen; er was dus geen risico op fouten; Onderzoeksverantwoording Nationale Studenten Enquête

10 2.3 Testen van de vragenlijst Zoals hierboven vermeld, heeft GfK gekozen om voor de uitvoering van de NSE 2013 gebruik te maken van de combinatie van GfK Atlas (voor verzending van de s en het samplebeheer) en GfK Drive (voor het hosten van de vragenlijst en de uiteindelijke data storage). Deze combinatie wordt door GfK vaker voor kwantitatieve, grootschalige projecten gebruikt. Een technische capaciteitstest vooraf is niet uitgevoerd, maar continue monitoring van eventuele hickups tijdens de uitvoering wel. Door dit monitoren werd op de eerste dag van het veldwerk ontdekt dat de snelheid van laden van de vragenlijst onvoldoende was. Na analyse bleek dit te liggen aan een instelling voor het doorladen van achtergrondgegevens - relevant voor het kunnen toepassen van selecties in de vragenlijst op samplekenmerk. Dit is direct aangepast en geoptimaliseerd. Met testen vooraf had dit wellicht eerder ontdekt kunnen worden. De vragenlijst is in technische zin getest door een controle uit te voeren of de gegeven antwoorden juist werden vastgelegd in het databestand. Hiermee konden ook selecties en routings op die manier op juistheid vanuit de data worden afgelezen. Inhoudelijk is de basisvragenlijst, in het Nederlands, Engels en Duits, voor de NSE 2013 door de projectleiding van GfK meermaals uitvoerig getest, in samenwerking met Studiekeuze123. De issues die op basis van de tests naar voren kwamen, waren beperkt en daardoor goed beheersbaar: het betrof relatief kleine tekstuele aanpassingen. 2.4 Beveiliging In het kader van de informatiebeveiliging is het belangrijk te constateren dat het aantal verschillende rollen beperkt is door de kernachtige opzet van het projectteam. Bovendien waren er - buiten GfK - geen andere externe partijen betrokken bij de uitvoering, waardoor van een overdracht tussen partijen met alle veiligheidsrisico s die daarbij aan de orde zijn geen sprake was. De verantwoordelijkheid lag dus in alle gevallen bij de projectleiding, die binnen het team op basis van hiërarchische en functionele argumenten de machtigingen toewees voor de toegang tot diverse typen gegevens die binnen de NSE gebruikt en/of verzameld werden. Voor wat betreft de IT-omgeving kan toegevoegd worden dat er binnen GfK een security officer aanwezig was die verantwoordelijk was voor de informatiebeveiliging. De data werden veilig bewaard in een eigen omgeving die niet benaderbaar was voor de buitenwereld (afgeschermd via firewalls). Alle aanpassingen aan de systemen werden gedaan op basis van een ticket. De toegekende taken behorend bij dit ticket waren leidend voor de werkzaamheden die medewerkers (mochten) uitvoeren. Studiekeuze123 heeft door bureau LBVD een onderzoek laten doen naar opzet, bestaan en werking van de informatiebeveiliging bij GfK. Dit betrof zowel de interne organisatie met betrekking tot informatiebeveiliging als de kwaliteit van de websites en tools voor deelnemende instellingen. Het onderzoek betrof een vraaggesprek met GfK over de inrichting van de informatiebeveiliging en een praktijkonderzoek (penetratietest, pentest ) van de website van de vragenlijst en de website voor het responsoverzicht en het downloaden van bestanden door instellingen. LBVD meldde in haar rapport dat er geen ernstige kwetsbaarheden zijn gevonden in de praktijk test. Er waren wel enige verbeterpunten. Er waren 13 bevindingen met een laag risico, 1 met een gemiddeld risico en 1 met een hoog risico. Van de bevinding met een hoog risico bleek later dat dit risico door een andere maatregel (autorisatie) was afgedekt. Eind juni 2013 stonden er Onderzoeksverantwoording Nationale Studenten Enquête

11 nog twee bevindingen met een laag risico open, deze werden in de reguliere beheercyclus bij GfK verwerkt. De overige bevindingen zijn verwerkt Privacy De NSE staat geregistreerd in het meldingenregister van het College Bescherming Persoonsgegevens (CBP) onder nummer De NSE vereist een waarborging van privacy. Niet alleen gaat het dan om de waarborgen die de technische infrastructuur in dit kader biedt, maar ook gaat het om zorgvuldigheid in de naleving van de richtlijnen en procedures. GfK houdt zich aan de Gedragscode voor Onderzoek & Statistiek, zoals die voor de leden van de MOA (de MarktOnderzoeksAssociatie) is opgesteld. Daarin is exact aangegeven aan welke regels GfK zich in dit opzicht als gerenommeerd marktonderzoeksbureau dient te houden. Het College Bescherming Persoonsgegevens (CBP) heeft de Gedragscode voor Onderzoek & Statistiek, die overigens ook voldoet aan de internationale gedragscodes zoals opgesteld door ESOMAR, officieel van een goedkeurende verklaring voorzien op 21 juni De Gedragscode voor Onderzoek & Statistiek en de genoemde verklaring zijn online te raadplegen via: GfK behoort verder tot de groep onderzoeksbureaus die het predicaat Research Keurmerk Groep van de MOA dragen en bovendien jaarlijks haar kwaliteitssysteem laat auditen voor drie ISO certificaten, te weten: ISO 9001 (kwaliteit algemeen) ISO (kwaliteit marktonderzoek) ISO (kwaliteit online access panels). Bij indiensttreding hebben alle medewerkers van GfK getekend voor het feit dat zij op vertrouwelijke wijze zullen omgaan met (privacy)gevoelige informatie en hier wordt in de praktijk op toegezien. In 2013 zijn deze richtlijnen vanuit de moederorganisatie nog strenger geworden en alle medewerkers hebben een verklaring Integriteit & Compliance getekend. De persoonlijke informatie die GfK in het kader van de NSE 2013 van de instellingen ontving, werd enkel en alleen ten behoeve van de uitvoering van de NSE 2013 gebruikt. Privacygevoelige informatie en enquêteresultaten werden altijd separaat opgeslagen. Na afloop van het project werden de gebruikte persoonsgegevens in nauw overleg met de opdrachtgever Studiekeuze123 vernietigd. 2.5 Incidenten De door GfK gebruikte technische infrastructuur voor de NSE heeft voldaan aan de vereisten voor een onderzoek van dit volume en deze complexiteit - gedacht in termen van het aantal respondenten, het aantal benaderingen en de instelling specifieke vragen. Tijdens het veldwerk traden de volgende issues op: export van responsoverzicht (14/1, work-around, opgelost bij NSE 2014); inloggen op servers (16/1, opgelost); routering instellingsvragen bij drie instellingen (21/1, opgelost); lost link / wachtwoordtool (13/2, opgelost); registratie wel/geen complete (13/2, 18/2, deels opgelost (fix)); studenten die zich afgemeld hebben, ontvingen toch een uitnodiging (18/2, opgelost); studenten in klas konden niet inloggen (22/2, opgelost); Onderzoeksverantwoording Nationale Studenten Enquête

12 niet geheel versturen reminder op beloofde dag (4/3, opgelost); te vroeg verzonden last reminder bij één instelling (7/3, opgelost). De oorzaken van deze issues lagen voor een deel in de techniek en voor een deel in de werkwijze. De technische problemen konden snel worden opgelost; in één geval kwam er een workaround beschikbaar. Issues werden gedetecteerd, Studiekeuze123 werd adequaat geïnformeerd en, in voorkomende gevallen, werd in overleg met de instelling een oplossing voorgesteld. Daarnaast is een aantal procedures bij GfK aangescherpt. Dit betrof onder andere het testen en in productie nemen van software. Dit is in lijn gebracht met de gangbare werkwijze die Studiekeuze123 ook voor andere leveranciers hanteert. Deze werkwijze biedt waarborgen voor het gecontroleerd in productie nemen van wijzigingen op systemen. De technische infrastructuur was een vast agendapunt tijdens het reguliere wekelijkse overleg tussen Studiekeuze123 en GfK. Onderzoeksverantwoording Nationale Studenten Enquête

13 3. Voorbereiding veldwerk 3.1 Overzicht en analyse van deelnemende instellingen NSE 2013 In 2013 participeerden 52 hogescholen en 20 universiteiten in de Nationale Studenten Enquête. Studiekeuze123 nodigde alle instellingen in Nederland uit die geaccrediteerd hoger onderwijs aanbieden. Zowel door de minister van OCW aangewezen (particuliere) instellingen als door OCW bekostigde instellingen (publiek) werden uitgenodigd. Studiekeuze123 maakte hiervoor gebruik van twee registers: BRIN en CROHO. De Basis Registratie Instellingen (BRIN) is een register van het ministerie van OCW en bevat alle onderwijsinstellingen in Nederland. Het Centraal Register Opleidingen Hoger Onderwijs (CROHO) is een overzicht van alle in Nederland geaccrediteerde opleidingen voor hoger onderwijs. Het CROHO wordt ook uitgegeven door het ministerie van OCW en beheerd door de Dienst Uitvoering Onderwijs (DUO). Tabel 3.1: Aantal deelnemende instellingen per NSE-jaar Aantal aangeschreven instellingen in 2013* Deelname WO Aangewezen (particulier) Bekostigd (publiek) HBO Aangewezen (particulier) Bekostigd (publiek) TOTAAL * Het betreft hier alle instellingen met een eigen BRIN-code in het CROHO Zie Bijlage 1 voor een overzicht van de deelnemende instellingen van 2010 tot en met Combinatie-opleidingen Een aantal instellingen had bij de NSE 2013 een samenwerkingsverband met elkaar. Dit betekende dat zij gezamenlijk een opleiding aanboden (eventueel via een gezamenlijk instituut). Instellingen konden via een mee te leveren code (label) bij het aanleveren van de studentgegevens duidelijk maken voor welke studenten dit gold. Bijvoorbeeld ACTA is een samenwerkingsverband tussen de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. De overeenkomst voor deelname (zie paragraaf 3.3) is in dit geval afgesloten met de Universiteit van Amsterdam en de Vrije Universiteit Amsterdam. 3.3 Overeenkomst(en) tot deelname Studiekeuze123 nodigde alle instellingen die geaccrediteerde opleidingen aanbieden in het hoger onderwijs in Nederland uit voor deelname aan de Nationale Studenten Enquête. De instellingen zijn uitgenodigd middels een Overeenkomst tot deelname die werd verzonden aan het Col- Onderzoeksverantwoording Nationale Studenten Enquête

14 lege van Bestuur (CvB) dan wel de directie van de betreffende instelling. Wanneer de instelling de overeenkomst getekend retour stuurde, was deelname officieel vastgelegd. Naast de Overeenkomst tot deelname stuurde Studiekeuze123 ook een Aanvullende Overeenkomst voor de levering van een Sleutelbestand. Met dit Sleutelbestand konden instellingen een koppeling leggen tussen de resultaten en hun eigen studentgegevens. Studiekeuze123 stelde aanvullende eisen, die zijn opgenomen in de Aanvullende Overeenkomst, ten aanzien van de verwerking van dit bestand door de instelling. Als een instelling voor het eerst een aanvraag indiende voor het ontvangen van het Sleutelbestand, dan ging Studiekeuze123 langs voor een informerend gesprek over wat er nodig is om dit bestand veilig te kunnen verwerken. Dat wil zeggen met voldoende waarborgen voor het beschermen van de privacy van de student. Het ging hierbij vooral om de organisatorische, procedurele en technische inbedding van de verwerking binnen de instelling. Studiekeuze123 informeerde tijdens dit gesprek naar deze inrichting op basis van de Wbp, ontwikkelingen als de komende EU privacy Verordening en best practices van andere instellingen. Op basis hiervan bracht Studiekeuze123 een advies uit aan het CvB dan wel de directie van de instelling. Het was uiteindelijk de instelling zelf die bepaalde of ze al dan niet het Sleutelbestand wilde afnemen. In 2013 hebben 34 instellingen de Aanvullende overeenkomst getekend, waarvan 14 instellingen voor de eerste keer. Van deze 14 instellingen zagen 6 instellingen af van levering van het bestand op het moment dat Studiekeuze123 een afspraak wilde maken met de instelling voor een bezoek om de procedure toe te lichten. Studiekeuze123 heeft 8 bezoeken afgelegd; aan 4 nieuwe instellingen werd het bestand geleverd. In totaal hebben derhalve 24 instellingen het aanvullende Sleutelbestand ontvangen. Tabel 3.2: Aantal instellingen dat Sleutelbestand heeft ontvangen Aantal instellingen uit Nieuwe aanvragen in Getekende Aanvullende overeenkomst 34 instellingen Alsnog afgezien van deelname, bij nader inzien 10 Totaal Afname Sleutelbestand instellingen 3.4 Startbijeenkomst en Routeboek Voor elke instelling was een algemene contactpersoon voor de NSE 2013 bekend (of werd door een nieuwe instelling aangesteld). Dit was de persoon binnen de instelling waarmee contact werd onderhouden over alle zaken aangaande de NSE De contactpersoon was ook de persoon die toegang had tot de resultaatbestanden. De Startbijeenkomst, gehouden op 4 oktober 2012 bij Studiekeuze123, was het eerste moment waarop de contactpersonen informatie ontvingen over de werkwijze van de NSE Het tweede gedeelte van de bijeenkomst was vormgegeven door de kerngroep van de Special Interest Group (SIG) NSE. De SIG NSE organiseert activiteiten gericht op kennisdeling en vergroten van het gebruik van de NSE-resultaten binnen instellingen. (zie tevens paragraaf 4.5). Tijdens de Starbijeenkomst werd door de SIG inhoudelijk in gegaan op het thema respons. In totaal hebben 58 personen de Startbijeenkomst bezocht. Tijdens de Startbijeenkomst werd ook het Routeboek Nationale Studenten Enquête 2013 uitgedeeld (Studiekeuze123, 2012). Hierin stond alles verwoord wat voor contactpersonen van belang was om te weten voor de NSE 2013, zoals werkwijze en planning. Contactpersonen die niet aanwezig waren, hebben het Routeboek per post toegestuurd gekregen. Onderzoeksverantwoording Nationale Studenten Enquête

15 3.5 Aanlevering van studentgegevens Voor deelname aan de NSE 2013 werden studenten van de deelnemende instellingen uitgenodigd per . Daarom was het noodzakelijk dat elke instelling de mailadressen van haar studenten vooraf aanleverde aan GfK, samen met een aantal andere studentgegevens die noodzakelijk waren voor de routering in de vragenlijst, de berekening van de weegfactoren en het analyseren van de uitkomsten. Noodzakelijke velden die dienden te worden aangeleverd waren: Een Student-ID; adres(sen) van de student; De actuele BRIN-Code; De actuele CROHO-Code; De locatie (gemeentenaam); Opleidingsvorm; Afstandsonderwijs; Studiejaar; Geslacht. Naast de noodzakelijke velden waren er nog enkele achtergrondgegevens, waarvan het optioneel was voor de instellingen om ze aan te leveren. Optionele velden die konden worden meegeleverd waren: Vooropleiding; Leeftijd; Etniciteit. Bovendien kon iedere onderwijsinstelling maximaal vijf extra achtergrondkenmerken aanleveren. Hierbij kan worden gedacht aan velden als: Afwijkende opleidingsnaam of instellingsnaam; Organisatorische indelingen; Specifiek studiejaar; Honoursstudenten; Studievoortganggegevens; Samenwerkingsverbanden. GfK is nagegaan in hoeverre deze velden privacygevoelig waren (te herleiden naar specifieke studenten) en nam hierover bij twijfel contact op met de instelling. Er werd bijvoorbeeld gecontroleerd op aanwezigheid van id s, adressen e.d. in deze velden. Ook gegevens die relevant waren voor het opstellen van de uitnodigingsmail, zoals de (optionele) instellings-specifieke ondertekening en de (eveneens optionele) instellings-specifieke motivatieregel werden op recordniveau (dus per student) aangeleverd. In het Routeboek NSE 2013 was een uitleg gegeven over en zijn definities gegeven van deze aan te leveren gegevens. De studentgegevens moesten door elke instelling vooraf (uiterlijk op 14 december 2012) aangeleverd worden. Vrijwel alle instellingen hebben hier tijdig aan voldaan. Er is hiervoor gebruik gemaakt van een uploadmodule waarin instellingen in een vooraf gedefinieerd format de studentgegevens konden uploaden. Elke deelnemende onderwijsinstelling is half november door middel van een schriftelijke instructie geïnformeerd over hoe de uploadmodule gebruikt diende te worden en heeft eigen inloggegevens ontvangen. De uploadmodule - actief in een afgeschermde omgeving - bood onderwijsinstellingen ook directe feedback op het aangeleverde bestand door de reeds ingebouwde controles. Onderzoeksverantwoording Nationale Studenten Enquête

16 Deze ingebouwde controles betroffen: controles op structuur van het bestand; controles op doublures ( dubbele studenten ); controles op volledigheid (bv. CROHO); controles op geldigheid van de waarden (bv. CROHO, datum); controles op juistheid adressen (o.a. logische structuur, Nadat het bestand na de controles werd goedgekeurd en vervolgens geüpload, diende de instelling de status nog op definitief te zetten. Dat was voor GfK het sein dat het geüploade bestand hét studentenbestand was waarmee voor de NSE 2013 gewerkt zou gaan worden. 3.6 Verwerking van studentgegevens Uiteindelijk zijn in totaal van studenten de noodzakelijke gegevens aangeleverd om hen aan de NSE 2013 deel te kunnen laten nemen. Per student konden één of twee adressen aangeleverd worden. In totaal is voor van deze studenten een tweede adres aangeleverd. Vervolgens voerde GfK nog enkele inhoudelijke controles uit, zoals een check op de privacygevoeligheid van de aangeleverde labels, controle op spelling en neutraliteit van de aangeleverde motivatieteksten en een extra controle op mogelijk oneigenlijk ingevulde velden. Daarna zijn de afzonderlijke instellingsbestanden samengevoegd tot één populatiebestand en vervolgens verrijkt met de volgende externe gegevens: HBO of WO (uit 1cHO); de actuele instellingsnaam (uit CROHO); de actuele opleidingsnaam (uit CROHO); Bachelor of Master (1cHO/ Studiekeuzedatabase); studentaantallen (uit 1cHO) - globale controle met de aangeleverde studentaantallen. Sommige van deze gegevens werden óók door instellingen zelf aangeleverd (BRIN en CROHO); in dat geval diende de koppeling met het CROHO-register als controle. GfK voegde aan het totaalbestand unieke niet-sequentiële respondentnummers en wachtwoorden toe. De wachtwoorden bestonden uit twaalf karakters (een combinatie van cijfers en kleine letters en grote letters, bijvoorbeeld prqevtcxmzj4 ). In aanloop naar de start van de NSE 2013 zijn de variabelen, benodigd voor het veldwerk, uit het totaalbestand geselecteerd. Dit bestand is geüpload naar zowel de software voor het verzenden van de s (GfK Atlas) als de software voor de interviewserver (GfK Drive) en is dit bestand eveneens gebruikt voor de database ten behoeve van de wachtwoordmodule. De gegevens zijn concreet gebruikt voor authenticatie, terugkoppeling in de enquête over de opleiding waaraan men studeert, voor de routing van de vragenlijst en ook als basis voor het responsoverzicht. 3.7 De vragenlijst Instellingen hadden de mogelijkheid om tegen meerkosten enkele enquêtevragen toe te laten voegen aan de vragenlijst. Bij de NSE 2013 hebben 21 instellingen gebruik gemaakt van deze mogelijkheid. Door GfK werd gemonitord of de invulduur van de extra vragen binnen maximaal 5 minuten bleef. Tevens was het bewaken van de meerjarige vergelijkbaarheid van de vragen belangrijk, aangezien vragen die ook al in eerdere jaren waren gesteld, uiteindelijk in dezelfde Onderzoeksverantwoording Nationale Studenten Enquête

17 variabele in de meerjarige instellingsbestanden dienden te belanden. Daarnaast zijn de extra vragen gecontroleerd op juistheid en formulering als ook op mogelijke privacy-gevoeligheid. De vertaling van de basisvragenlijst is door Studiekeuze123 verzorgd. De vertaling van de instellingsvragen hebben instellingen zelf voor hun rekening genomen, met een eventuele revisie door GfK. De vragenlijst inclusief alle instellingsvragen is vervolgens door GfK Intomart drietalig (Nederlands, Engels, Duits) geprogrammeerd in de GfK Drive software. De lay-out van de vragenlijst is in overleg met Studiekeuze123 afgestemd. Ter illustratie hieronder een schermafbeelding van het startscherm van de vragenlijst NSE 2013 (Figuur 3.1). Figuur 3.1: Schermafbeelding startscherm vragenlijst NSE 2013 Onderzoeksverantwoording Nationale Studenten Enquête

18 4. Communicatie In dit hoofdstuk wordt ingegaan op de communicatie-activiteiten die hebben plaatsgevonden richting de studenten en richting de instellingen. 4.1 Communicatie studenten De communicatie met studenten verliep tijdens de uitvoering van het veldwerk via Het uitlezen van gebeurde in die periode dagelijks; daarvoor en daarna geschiedde het uitlezen van minder vaak, maar nog wel minimaal wekelijks. Antwoorden op veel gestelde vragen waren voor studenten ook na te lezen op In totaal zijn er s binnengekomen van studenten, waarvan er binnenkwamen tijdens de veldwerkperiode. Onderwerpen van vragen waren grotendeels: niet willen deelnemen, vragen over verloting van de prijzen, extra opmerkingen, problemen met invullen van de vragenlijst. Daarnaast konden instellingen gebruik maken van promotiemateriaal dat door Studiekeuze123 was klaargezet. Studiekeuze123 heeft voor de NSE 2013 een poster, een flyer en een banner ontworpen. Naast dit basispakket kon een bouwpakket worden aangevraagd waarbij instellingen de mogelijkheid hadden om een eigen logo en/of tekst toe te voegen aan de flyer en poster. Het bouwpakket is door 22 instellingen aangevraagd. 4.2 Uitnodigingstekst en reminders De studenten ontvingen de uitnodiging voor deelname per . Voor de uitnodigingstekst en de reminders zijn de teksten van de NSE 2012 als basis gebruikt. Er zijn enkele aanpassingen gedaan in de teksten zodat de teksten iets minder lang waren ten opzichte van vorig jaar. Hierin hebben twee studenten van de Universiteit Utrecht met Studiekeuze123 en GfK meegekeken. Een aantal tekstuele suggesties is verwerkt. 4.3 Communicatie instellingen Algemene informatie over de NSE was terug te vinden in het Routeboek voor de Nationale Studenten Enquête 2013 en op de website Daarnaast werden de contactpersonen op de hoogte gehouden van ontwikkelingen via de NSE Bijblijver. In totaal zijn tijdens de NSE 2013 acht NSE Bijblijvers verstuurd. Voor de communicatie met deelnemende instellingen werd het centrale NSE adres gebruikt, van waaruit zowel Studiekeuze123 als GfK communiceerden gedurende het gehele uitvoeringstraject van de NSE Daarnaast was er ook een NSE telefoonnummer beschikbaar ( ). Voor, tijdens en na het veldwerk is vrijwel dagelijks uitgelezen. Er werd snel gereageerd op vragen. De binnengekomen s via zijn voor de NSE 2013 voor het eerst geregistreerd in JIRA. JIRA is een systeem dat binnengekomen mails registreert in een zogenaamde call en vervolgens wordt deze call toegekend door een medewerker van GfK aan een lid van het projectteam (van GfK of Studiekeuze123). Hiermee is eenvoudig de voortgang te monitoren en er wordt voorkomen dat gestelde vragen tussen wal en schip belanden. GfK beheerde onder regie van Studiekeuze123 dit call-afhandelingssysteem. In totaal zijn er calls aangemaakt in de JIRA Servicedesk voor De piek in de binnenkomende communicatie lag in de voorbereidings- en uitvoeringsfase. Er was vooral contact over voorbe- Onderzoeksverantwoording Nationale Studenten Enquête

19 reiding van het onderzoek (aanleveren studentgegevens, afstemming spamfilter, responsoverzichten). Andere onderwerpen die veel aan bod zijn gekomen, waren de vragenlijst, vragen over de bestanden en vragen over communicatie. De instellingen waren tevreden over de wijze en de snelheid van reageren. Dit is aan de orde geweest tijdens de Slotbijeenkomst van de NSE Sociale media Studenten hadden in 2013 de mogelijkheid om aan het einde van de vragenlijst automatisch een bericht te plaatsen op Facebook of Twitter. Het standaard bericht was als volgt: Nationale Studenten Enquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? nse.nl #NSE Het standaard bericht is in totaal 193 keer getwitterd. Het is niet inzichtelijk hoe vaak berichten op Facebook zijn geplaatst. Verder is er 472 keer getwitterd over de NSE 2013 met een eigen bericht. Berichten waarin een vraag of opmerking stond, zijn door Studiekeuze123 via Twitter beantwoord. 4.5 Special Interest Group NSE Voor de Special Interest Group (SIG) NSE zijn drie bijeenkomsten georganiseerd. De Startbijeenkomst vond plaats op 4 oktober 2012 en had 58 deelnemers. De aanpak van de NSE 2013 werd besproken en de kerngroep heeft het inhoudelijke programma verzorgd met als thema respons. De Tussenbijeenkomst op 28 maart 2013 was dit jaar voor het eerst en trok 45 bezoekers. Hier werd het Codeboek gepresenteerd (structuur van het databestand) en werd ingegaan op het inhoudelijke thema Resultaten NSE, wat kan je ermee?. De Slotbijeenkomst vond plaats op 6 juni Een eerste evaluatie van de NSE 2013 vond plaats en Frank Steenkamp, directeur C.H.O.I. (uitgever van de Keuzegidsen) heeft gepresenteerd hoe C.H.O.I. omgaat met de resultaten van de NSE. De Slotbijeenkomst had 56 deelnemers. De inhoudelijke thema s van de bijeenkomsten werden voorbereid door een kerngroep. In deze kerngroep zat in 2013 een vertegenwoordiging van de volgende instellingen: Hogeschool Inholland (voorzitter), Hogeschool Rotterdam, Technische Universiteit Delft, NHL Hogeschool, Markus Verbeek Praehep, Studiekeuze123 (secretaris). 4.6 Persbericht Bij het openbaar worden van de resultaten NSE 2013 heeft Studiekeuze123 op 6 juni 2013 een persbericht verspreid. Het persbericht met als kop Nationale Studenten Enquête: van groot belang ging vooral in op de respons en de inhoud van de enquête. Daarnaast werd er een drietal Top 3 s gepresenteerd: Top 3 best scorende studies, Top 3 studententevredenheid over instellings- en opleidingsinhoudelijke aspecten, Top 3 studententevredenheid over studie aanverwante aspecten. Onderzoeksverantwoording Nationale Studenten Enquête

20 5. Populatie en respons 5.1 Mailing Het veldwerk van de NSE 2013 duurde 10 weken, van maandag 14 januari tot en met zondag 24 maart De studenten zijn steeds benaderd op het beschikbare adres en - indien beschikbaar - ook op een 2 e adres. Elke verzending is gelijkmatig gespreid over de periode van één week. Het 2 e adres is steeds aangeschreven op de maandag na deze verzendweek. In totaal zijn er s (alle verzonden s opgeteld) aan studenten verstuurd. Na de initiële uitnodigingsmail volgden nog drie reguliere herinneringsmails (met een interval van steeds 2 weken). Studenten die al hadden gereageerd, of die zich hadden afgemeld, zijn niet nogmaals benaderd. De deelnemende instellingen hadden na afloop van de NSE 2012 het verzoek neergelegd bij Studiekeuze123 om de veldwerkduur te verkorten. Om hierover een weloverwogen beslissing te nemen, is bij de NSE 2013 een experiment gedaan waarbij na 8 weken geen s meer zijn verstuurd richting studenten, maar de vragenlijst nog wel gewoon kon worden ingevuld. De instellingen hadden de mogelijkheid voor een extra herinnering, een laatste appèl in week 9, waarin een laatste beroep werd gedaan op studenten om alsnog deel te nemen. Hiervan is door 48 instellingen gebruik gemaakt. In twee gevallen is een uitzondering gemaakt op deze benadering. Twee instellingen hebben ervoor gekozen om in 2013 nog de oude benaderingsroutine toe te passen, met andere woorden: met één extra herinnering en de last shot -mail in de 10 e week. De overige 22 instellingen hebben na week 8 geen s meer ontvangen. De uitkomst van het experiment was dat voor de NSE 2014 en daarna is besloten het veldwerk te verkorten naar 8 weken (zie paragraaf 5.7). 5.2 Respons In totaal zijn studenten benaderd om deel te nemen aan het onderzoek, zie Tabel 5.1. Tijdens het veldwerk bleken studenten niet tot de doelgroep te behoren, deze waren per abuis aangeleverd door twee instellingen. Deze studenten zijn niet verder benaderd en uit de resultaten gefilterd. Onderzoeksverantwoording Nationale Studenten Enquête

21 Tabel 5.1: Respons Typering Aantal Populatie initieel (bruto) Aangeleverd, maar buiten de doelgroep adres niet bereikt (bouncers) Populatie bruikbaar (netto = responsbasis) Afmelders via unsubscribe button Afmelders via unsubscribe button (%) 0,7% - Respons bruto Respons bruto (%) 40,4% - Respons netto (gecleaned) Respons netto (%) 39,5% Van de resterende studenten konden studenten niet deelnemen omdat zij niet met het beschikbare adres konden worden bereikt. Ook deze studenten zijn uit de resultaten gefilterd. De hieruit resulterende netto populatie bedroeg studenten. Elke student die minimaal de eerste inhoudelijke enquêtevraag (v14: algemene tevredenheid over de opleiding) had ingevuld, is in de respons meegerekend. Op basis hiervan bedroeg de bruto respons studenten (40,4%). Na cleaning op invulduur (zie paragraaf 6.1.3) kwam de netto respons uit op deelnemende studenten (39,5%). 0,7% van alle studenten heeft zich tijdens de uitvoering van het onderzoek afgemeld voor deelname door te klikken op de afmeldlink in de uitnodigingsmail of reminder ( unsubscribe ). De betreffende studenten zijn vervolgens binnen het mailsysteem uitgesloten voor verdere benaderingen. 5.3 Responsgedrag De netto respons in 2013 was hoger dan in 2010, 2011 en Tabel 5.2: Netto respons in 2010 tot en met 2013 Jaar Netto respons % ,2% % ,5% Onderzoeksverantwoording Nationale Studenten Enquête

22 Cumulatief verloop bruto respons (%) Bruto respons per dag (n) Figuur 5.1: Bruto responsverloop cumulatief en per dag 45% % 35% % 25% % % 10% % Bruto respons cumulatief (%) 0% 0 14-jan 21-jan 28-jan 4-feb 11-feb 18-feb 25-feb 4-mrt 11-mrt 18-mrt 25-mrt Bruto respons per dag (n) Uitnodiging 1 1e rappel 2e rappel 3e rappel last shot laatste appèl Uit het bruto responsverloop in Figuur 5.1 blijkt het effect dat iedere remindermail heeft gehad (respons piekt). Ook is zichtbaar dat meer dan de helft van de uiteindelijke respons is behaald na de initiële uitnodigingsmail en de eerste herinnering. Op de maandag na elke verzendweek, zodra het 2 e beschikbare adres werd aangeschreven, is ook een piek zichtbaar. Dat komt enerzijds doordat het aantal s iets groter was dan bij de reguliere mailings, maar anderzijds werd hier ook gemiddeld beter op gerespondeerd. 5.4 Hoe is de NSE ingevuld? De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij de start van de vragenlijst konden studenten een taal kiezen, waarna de student direct werd doorgeleid naar de vragenlijst in de door hem/haar gekozen taal. In totaal vulde 91,8% de Nederlandse vragenlijst in, 5,4% de Engelse en 2,8% de Duitse. In vergelijking met 2012 waren de wijzigingen beperkt. (zie Tabel 5.3). Tabel 5.3: Percentage ingevulde vragenlijst 2012 en 2013, uitgesplitst naar taal NSE 2012 NSE 2013 Nederlands 90,7% 91,8% Engels 5,7% 5,4% Duits 3,6% 2,8% Totaal 100% 100% De gemiddelde invulduur van de vragenlijst bedroeg 13,6 minuten voor studenten die op locatie onderwijs volgden en 10,0 minuten voor studenten die afstandsonderwijs volgden en als gevolg hiervan een kortere vragenlijst invulden (zie paragraaf 6.1.3). Belangrijk voor de datakwaliteit was de mate waarin de vragenlijst volledig (tot het einde, tot en met de ultimate question ) werd ingevuld. Op basis van de netto respons kan geconcludeerd worden dat 91,0% van de studenten de vragenlijst integraal beantwoordde. Dit betekent een Onderzoeksverantwoording Nationale Studenten Enquête

23 Percentage lichte toename ten opzichte van de NSE 2012 (89,5%). Dit wil zeggen dat de hogere respons in 2013 niet heeft geleid tot minder complete deelnames. Figuur 5.2: Niet volledig ingevulde vragenlijst (verval voor een aantal vragen) 100,0 Niet volledig ingevulde vragenlijsten (verval voor een aantal vragen) 100,0 98,0 96,0 96,4 94,0 92,0 93,6 92,7 91,7 91,0 90,0 88,0 86,0 Vraag 14 Vraag 15n Vraag 20h Vraag 25 Vraag 30d Vraag 42 Hieronder is opgenomen welke vragen het betrof: Vraag 14: algemeen oordeel over de studie; Vraag 15n: tevredenheid over betrekken student bij opleiding; Vraag 20h: tevredenheid over kennis docenten beroepspraktijk; Vraag 25: tevredenheid over de mogelijkheid om zonder vertraging de gewenste studieonderdelen te volgen ; V30d: tevredenheid over de manier waarop je opleiding op klachten en problemen reageert; V42: Zou je jouw opleiding aanraden aan vrienden, familie of collega s? In Figuur 5.2 valt na te gaan waar studenten (die zijn meegerekend tot de netto respons) in de vragenlijst uitvielen. De meeste studenten vielen snel na de algemene tevredenheidsvraag (v14) af. Op het einde van de vragenlijst is er nog weinig sprake van uitval. Dit wijst erop dat studenten die eenmaal besloten om deel te nemen, over het algemeen niet later tijdens het invullen van de vragenlijst alsnog door de lengte werden ontmoedigd om verder te gaan. 5.5 Non-respons analyse Het netto responspercentage bedroeg 39,5 %. Dat wil zeggen dat ongeveer twee vijfde deel van de studentenpopulatie wel heeft deelgenomen en drie vijfde deel van de studentenpopulatie niet heeft deelgenomen aan het onderzoek. In een analyse is uitgezocht in hoeverre er verschillen bestaan tussen degenen die respondeerden en de studenten die dat niet deden. Er is ten opzichte van de Onderzoeksverantwoording 2012 afgezien van een multinomiale regressieanalyse, aangezien de verklarende kracht daarvan al in 2012 erg gering bleek. Dit kwam mede doordat een aantal relevante variabelen (bijv. respons inspanningen van instellingen zelf) niet in de analyse konden worden meegenomen, waardoor er geen sprake was van een echt Onderzoeksverantwoording Nationale Studenten Enquête

24 verklarende analyse. Bovendien bevatte de analyse alleen elementen waar instellingen niet op konden sturen (als sekse, onderwijsvorm, eerstejaars/ouderejaars etc.), waardoor het uitvoeren hiervan ook niet leidde tot bruikbare adviezen. Voor de analyse zijn percentages berekend voor de volgende groepen studenten: vragenlijst volledig ingevuld: studenten die de vragenlijst volledig hadden ingevuld; vragenlijst onvolledig ingevuld: studenten die de vragenlijst niet volledig hadden ingevuld, maar wel de algemene tevredenheidsvraag hadden beantwoord; de non-respons: studenten die de hadden ontvangen, maar niet hadden meegedaan met het onderzoek; afmelders: studenten die niet meer mee wilden doen aan het onderzoek; adres niet bereikt: studenten van wie de niet was aangekomen ( bouncers ). De verschillen zijn geanalyseerd naar soort hoger onderwijs (hogeschool of universiteit), type hoger onderwijs (Bachelor, Master of anders, bijvoorbeeld Associate degree), opleidingsvorm (voltijd, deeltijd of duaal), sekse (man of vrouw) en studiejaar (eerstejaars of ouderejaars). Hieronder worden per onderwerp de verschillen tussen de vijf responscategorieën getoond. Tabel 5.4: Non-responsanalyse Soort HO Type onderwijs Totaal Hogeschool Universiteit Bachelor M aster Anders Vragenlijst volledig ingevuld 35,8% 36,7% 34,2% 35,8% 35,6% 38,9% Vragenlijst onvolledig ingevuld 3,5% 3,8% 3,1% 3,7% 2,6% 3,6% Non-respons 59,6% 58,5% 61,5% 59,5% 60,4% 56,4% Afmelders,7%,6%,9%,6% 1,0%,3% adres niet bereikt,4%,5%,3%,4%,4%,7% Totaal 100% 100% 100% 100% 100% 100% Opleidingsvorm Sekse Studiejaar Totaal Voltijd Deeltijd Duaal M an Vrouw Eerstejaars Ouderejaars Vragenlijst volledig ingevuld 35,8% 36,0% 34,3% 34,1% 32,1% 39,2% 38,3% 34,5% Vragenlijst onvolledig ingevuld 3,5% 3,6% 3,0% 3,0% 2,9% 4,1% 4,3% 3,1% Non-respons 59,6% 59,3% 61,3% 61,5% 63,5% 55,9% 56,4% 61,2% Afmelders,7%,7%,8%,6% 1,0%,4%,6%,7% adres niet bereikt,4%,4%,7%,8%,5%,3%,4%,4% Totaal 100% 100% 100% 100% 100% 100% 100% 100% De respons lag enigszins hoger op hogescholen dan op universiteiten. Er waren iets meer afmelders bij universiteiten, maar minder s die niet konden worden bezorgd; De totale respons was enigszins hoger bij bachelorstudenten dan bij masterstudenten; het aantal volledig ingevulde vragenlijsten lag in beide groepen ongeveer op hetzelfde niveau. In de groep anders (voornamelijk bestaande uit Associate degree ) was de respons iets hoger dan de andere twee groepen. Masterstudenten meldden zichzelf naar verhouding iets vaker af; Voltijders respondeerden vaker dan deeltijdstudenten en studenten in een duaal traject; Vrouwen respondeerden duidelijk vaker dan mannen; laatstgenoemden meldden zich daarbij iets vaker af voor deelname aan het onderzoek dan vrouwen; Eerstejaars respondeerden iets vaker dan ouderejaars. Onderzoeksverantwoording Nationale Studenten Enquête

25 Op basis van bovenstaande analyse kan worden geconcludeerd dat - van de variabelen in de tabel - met name sekse en studiejaar verschilden in respons; voor de overige variabelen waren de verschillen minder duidelijk. 5.6 Responsoverzichten Tijdens het veldwerk konden instellingen via de GfK Drive omgeving vrijwel live de respons van hun eigen onderwijsinstelling bijhouden en de verschillen in hoogte van de respons met andere instellingen inzien. Het actuele, gedetailleerde inzicht in de respons stelde hen in staat om de communicatieve inspanningen specifiek af te stemmen op opleidingen en/of locaties waar de respons nog een extra stimulans kon gebruiken. Men had hiervoor een instellings-specifieke toegangscode, waarmee zowel 1) een overzicht van alle deelnemende instellingen (Figuur 5.3) als 2) de respons naar opleiding, de respons naar opleiding en opleidingsvorm (voltijd, deeltijd, duaal) en de respons naar opleiding en opleidingsvorm en locatie kon worden gevolgd (Figuur 5.4). Dit laatste overzicht, Figuur 5.4, was alleen toegankelijk voor de instelling in kwestie. De responstabellen toonden in absolute aantallen het aantal benaderde studenten, het aantal ingevulde vragenlijsten en het hieruit volgende responspercentage (NB: nog zonder enige vorm van bewerking). Figuur 5.3: Responsoverzicht (% alle instellingen) Instelling X Instelling X Instelling Y Et cetera Onderzoeksverantwoording Nationale Studenten Enquête

26 Figuur 5.4: Responsoverzicht (% vorm x opleiding, instellings-specifiek) Instelling X 5.7 Analyse verkorting veldwerk GfK heeft een analyse verzorgd over de pilot uitgevoerd gedurende de NSE 2013 over het verkorten van de veldwerkperiode van de NSE van 10 weken naar 8 weken. Aanleiding van de analyse (GfK, van Meurs en van de Vijver (2013)) was de groeiende behoefte om resultaten van de NSE eerder beschikbaar te stellen aan belanghebbenden en tevens het aantal reminders aan studenten terug te brengen. Om hierover een weloverwogen beslissing te nemen, is bij de NSE 2013 een experiment gedaan met betrekking tot het verkorten van het veldwerk (zie ook paragraaf 5.1). De analyse verkorting veldwerk van 10 naar 8 weken richtte zich op de gevolgen voor: de hoogte van de netto respons; de representativiteit van de netto respons; de invloed op de (inhoudelijke) onderzoeksresultaten. De conclusie van het onderzoek was dat de verkorting van het veldwerkperiode een wens is die Studiekeuze123 kan doorvoeren. Hierbij werd uitgegaan dat na besluitvorming de communicatie naar studenten zich verder zal richten op een veldwerkperiode van 8 weken. Wel werd opgemerkt dat de NSE 2013 een jaar was waarin de respons al vanaf het begin van het veldwerk, goed is verlopen. In de laatste twee weken is wel extra respons gerealiseerd, zo n 3 a 4 procentpunt extra respons. Het gaat over 8,7% van de totale respons (100%) in de laatste twee weken ten opzichte van 13,8% in Dit wordt mede verklaard door de twee instellingen die de communicatie hadden ingericht op 10 weken veldwerk. Bij deze instellingen bleef de respons gedurende de eerste weken achter bij het gemiddelde. Voor deze instellingen was een groter deel van de totale respons pas in de laatste twee veldwerkweken behaald. Ook is gekeken naar de respons van 8 weken en vergeleken met die van 10 weken. Gekeken is naar de structuur van het antwoordbestand na 8 weken en na 10 weken. Met structuur wordt bedoeld: respondenten naar instelling (BRIN), opleiding (CROHO) en locatie. Geconcludeerd is dat de gemiddelde representativiteit naar instelling, opleiding en locatie niet veranderde of nauwelijks anders was vergeleken met de respons van 10 weken of 9 of 8 weken. De stan- Onderzoeksverantwoording Nationale Studenten Enquête

27 daarddeviatie veranderde nauwelijks. De verhoudingen van respondenten naar instellingen en opleidingen bleef gelijk. Dit gaf een indicatie van gedegen kwaliteit van het eindbestand. Daarnaast is er gekeken naar het aandeel mannen en vrouwen, eerstejaars en ouderejaars respondenten na 8 weken veldwerk en na 10 weken veldwerk. Het viel op dat vrouwelijke, jongere studenten relatief sterk vertegenwoordigd waren in de respons. De analyse liet zien dat de aandelen van mannen of vrouwen, eerstejaars/ouderejaars respondenten in de netto respons weinig meer verschoven in de laatste twee weken veldwerk. In de laatste twee weken vond er een beperkte verschuiving plaats die dit verschil iets kleiner maakte. Mogelijk speelde ook de toonzetting van het laatste appèl hierin mee. De vraag is overigens of deze conclusie van de analyse bij een communicatieve focus op 8 weken veldwerk nog steeds zal gelden. Op basis van deze analyse heeft Studiekeuze123 besloten om de veldwerkperiode van de NSE weken te laten duren. De analyse is gepubliceerd op Onderzoek respons beïnvloeding Tijdens de NSE 2013 is extra aandacht besteed aan de communicatie-uitingen en aan acties van instellingen gericht aan de studenten om de NSE in te vullen. De nadruk lag hierbij op de vraag of er sprake was van (structurele) beïnvloeding door instellingen met als doel om hogere NSEscores te behalen. De afspraak tussen Studiekeuze123 en de deelnemende instellingen (vastgelegd in de Overeenkomst tot deelname) was dat de communicatie-uitingen niet tot beïnvloeding van de scores mochten leiden. Het onderzoek bestond uit vier onderdelen: Een enquête onder de NSE contactpersonen over de wijze waarop de instelling de communicatie had georganiseerd en welke acties hadden plaatsgevonden; In totaal hebben 44 contactpersonen gereageerd, 32 daarvan betroffen contactpersonen in het hoger beroep onderwijs (hbo) en 12 in het wetenschappelijk onderwijs (wo). In het hbo gaf 51,7% aan meer aan communicatie-uitingen te hebben gedaan om de respons te verhogen, in het wo was dat 88,9%; Eigen bevindingen naar aanleiding van meldingen van studenten, online via sociale media, twitter of instellingswebsites. Er is hierbij onderzocht of er geen sprake was van positieve beïnvloeding. In 10 gevallen is contact opgenomen met de instelling. Het ging hierbij om 8 tweets en twee mailings die zijn verzonden die niet geoorloofd waren. In alle gevallen heeft de instelling het bericht verwijderd of gerectificeerd; In de NSE 2012 was een viertal vragen opgenomen die specifiek ingingen op de wijze van afnemen en de communicatie; deze antwoorden zijn geanalyseerd. Analyse is gedaan naar a) waar (locatie), b) met wie (alleen of klassikaal), c) onder aansporing van (wie attendeert de studenten op de vragenlijst) en d) met welk invulmedium de enquête was ingevuld. Tevens was het mogelijk om te analyseren of deze aspecten de mate van tevredenheid op een of andere manier heeft beïnvloed (Brenders, 2013); Gesprek met het ISO en de LSVb. Er heeft een gesprek met bestuursleden van ISO en LSVb plaatsgevonden waarin nagegaan is of de studentenorganisaties op de hoogte waren van eventuele positieve beïnvloeding. Dit bleek niet het geval te zijn. Het rapport van dit onderzoek is besproken in de vergadering van het Deskundigenpanel van 4 juni De belangrijkste conclusie was dat er geen sprake is van structurele beïnvloeding door instellingen met als doel het behalen van hogere NSE-scores. Onderzoeksverantwoording Nationale Studenten Enquête

28 6. Datacleaning en bestandswerking Na afronding van het veldwerk zijn de bestanden verrijkt met externe gegevens, opgeschoond, en gestructureerd. Vervolgens is de data geanalyseerd en zijn themascores berekend. Het responsbestand is gekoppeld aan het bestand met alle aangeleverde studentgegevens en de variabelen zijn qua naamgeving in overeenkomst gebracht met de naamgeving als gehanteerd in het Codeboek. Op basis van de in het interviewsysteem vastgelegde gegevens zijn eveneens de invulduur en de invuldatum bepaald. Alleen indien V14 (algemene tevredenheid opleiding) was ingevuld, is de respons als geldig beschouwd. Vragenlijsten met een ongeloofwaardig korte invulduur die wel als complete (volledig ingevuld) waren geregistreerd, zijn daarna nog verwijderd (zie paragraaf 6.1.3). Dit leidde tot een basisbestand waarvan alle andere bestanden werden afgeleid. 6.1 Verrijking en andere bewerkingen Aan dit basisbestand zijn vanuit externe databases gegevens gekoppeld. Allereerst het CROHOregister, het register van DUO over alle geaccrediteerde opleidingen die in Nederland worden aangeboden in het hoger onderwijs. Het CROHO-register is vanuit Excel ingelezen en geaggregeerd. De gemeentenamen in het CROHO-register zijn gesynchroniseerd met de Studiekeuzedatabase en de meerjarige benchmarkbestanden van 2010, 2011 en Het CROHO-register is aan het basisbestand gekoppeld op een combinatie van de variabelen CROHO*BRIN*locatie*vorm, waarmee tevens is gecontroleerd of alle codes in het bestand geldige en actuele codes waren. In tegenstelling tot de opleidingen die zijn opgenomen in de Studiekeuzedatabase (alleen opleiding met instroom), zijn in dit bestand alle actuele opleidingen opgenomen (dus ook de opleidingen die geen instroom meer kennen, maar nog wel aangeboden worden). Aan het bestand zijn verder bekostigingskenmerken, CROHO-onderdelen en fixusgegevens toegevoegd. Ook is er een variabele aangemaakt waarmee samenwerkingsverbanden zijn te herkennen (combinatie-opleidingen die gezamenlijk door enkele instellingen worden aangeboden, zie hiervoor ook paragraaf 3.2). De variabelen stedelijkheid en landsdeel waren afkomstig uit CBS Statline en zijn op gemeentecode aan het basisbestand gekoppeld. Op basis van 1cHO zijn de velden BaMa (bachelormaster) en soort hoger onderwijs (HBO-WO) aangemaakt. Missende records in het door instellingen aangeleverde studentenbestand zijn achteraf aangevuld vanuit de antwoorden op de vragenlijst (studiejaar, leeftijd, vooropleiding etc.); in geval van tegenstrijdige gegevens hebben de door de instellingen aangeleverde gegevens voorrang gekregen. Etniciteit is in 2013 niet bevraagd in de vragenlijst: voor zover de informatie in het basisbestand (en in het NSE Onlinebestand) was opgenomen, betrof het door de instellingen zelf aangeleverde gegevens. Vervolgens zijn de missende waarden bij de tevredenheidsvragen gedefinieerd. Er is onderscheid gemaakt tussen werkelijke missende scores (-1) en een code voor de vragen die niet van toepassing waren (-2). Deze codes zijn in het bestand gedefinieerd als missing value Hercoderen open vragen Handicap & Studie De wijzigingen in de vragenlijst hadden betrekking op het blok Handicap & Studie. Bij vragen 34 en 35 van het blok Handicap & Studie werd gevraagd welke ziektes c.q. functiebeperkingen de student heeft. Bij beide vragen werd een lijst gepresenteerd met items waar de studenten er één of meerdere van konden kiezen. Dit waren dus geen tevredenheidsvragen. Bij beide vragen konden studenten ook zelf een antwoord geven, bij Anders, namelijk. Dit is achteraf gerubriceerd. In 2013 leverde dit antwoorden op. Deze zijn door een basisarts achteraf geco- Onderzoeksverantwoording Nationale Studenten Enquête

29 deerd. In meer dan 99% van de gevallen konden de open antwoorden gehercodeerd worden naar een categorie die in het vragenblok Handicap & Studie werd gebruikt Huurwaarden Er bevonden zich in 2013 geen onrealistische huurwaarden aan de hoge kant van het spectrum. De meeste afwijkingen waren te vinden aan de lage kant van het spectrum, maar ook hier ging het om relatief beperkte aantallen en bestond geen aanleiding om te denken dat het om irreële bedragen ging. Er is daarom in afstemming met Studiekeuze123 besloten om in 2013 geen correctie op extreme huurwaarden toe te passen Invultijd De antwoorden van studenten die de enquête in minder dan 5 minuten invulden zijn, net zoals in eerdere jaren, verwijderd. Een invulduur langer dan 30 minuten is afgekapt op deze 30 minuten, aangezien studenten de vragenlijst tussentijds konden onderbreken en later weer konden verder gaan. Op basis van een analyse heeft GfK voorgesteld om de grens voor studenten afstandsonderwijs op 3,5 minuut te stellen. Dat kwam doordat studenten afstandsonderwijs een kortere route door de vragenlijst namen. De volgende vragen werden niet gesteld aan studenten afstandsonderwijs. Inhoud en opzet van het onderwijs (9 wel, 2 niet: 16J en 16K); Samenwerking met anderen (17E); Studieroosters (2 vragen); Contacttijd (4 vragen); Groepsgrootte (3 vragen); Stages (6 vragen); Studiefaciliteiten (5 vragen niet, 1 vraag wel:29f); Studieomgeving (7 vragen); Woonsituatie (2 vragen); Handicap en studie (8 vragen). 6.2 Themascores en instellingsvragen Themascores zijn gemiddelde scores die betrekking hebben op hetzelfde onderwerp. Tijdens de uitvoering bleek, na analyse van de data, dat voor de thema s stages, internationale studenten (niet in Benchmarkbestand) en studieomgeving een andere nadere uitsplitsing mogelijk was. Dit is verder geanalyseerd door GfK, (GfK, 2013), vervolgens heeft Studiekeuze123 besloten om deze indeling te hanteren voor het Benchmarkbestand, zie het Codeboek (paragraaf 7.1.1). Bij de berekening van de themascores is aangehouden dat er door de student over een minimaal aantal onderliggende items een mening moest zijn gegeven. Daarbij zijn de volgende criteria gehanteerd: Bij thema s die in vorige metingen in dezelfde vorm zijn behandeld: hetzelfde minimum als in 2012; Bij nieuwe thema s en thema s die zijn veranderd: >= 9 items: een mening over het aantal items -3, 6-8: een mening over het aantal items: -2, 2-5 een mening over het aantal items: -1. Hiermee werd aangesloten bij de logica die in voorgaande metingen is gehanteerd. Een voorbeeld: als er 8 items bij een thema hoorden, dan diende een student over minimaal 5 van deze items (8-3) een mening te hebben gegeven om voor dat thema een themascore te berekenen voor die student. Onderzoeksverantwoording Nationale Studenten Enquête

30 Na de fase van cleaning en bewerking van de resultaatbestanden zijn Principale Componentenen betrouwbaarheidsanalyses uitgevoerd, waarna de themascores konden worden berekend (zie Tabel 6.1). Met behulp van Principale Componentenanalyse (PCA) kan van een groot aantal vraagitems worden vastgesteld in hoeverre deze inhoudelijk bij elkaar passen. Dat gebeurt door het aanmaken van een aantal latente, aan elkaar ongecorreleerde variabelen (componenten) in een n- dimensionale ruimte, waarna de correlatie wordt berekend tussen de vraagitems en de componenten. Daarbij kunnen de componenten dusdanig worden geroteerd ( gedraaid ) in de virtuele ruimte, dat de correlaties tussen de vraagitems en de componenten worden gemaximeerd. Dit leidt doorgaans tot beter benoembare componenten. Deze methode (Varimax-rotatie genaamd) is alleen gebruikt voor de explorerende analyse. Voor de confirmatieve analyse was de Varimaxrotatie niet van toepassing. Missende waarden in de PCA zijn behandeld volgens de methode pairwise deletion, dat wil zeggen ook studenten die een missende waarde op een of meer vraagitems hadden zijn meegenomen in de analyse. Deze aanpak komt overeen met de uiteindelijke berekening van de themascores, waarbij ook, afhankelijk van het aantal vraagitems, één of meer missende waarden zijn toegestaan op de items waaruit de score is opgebouwd. Hierdoor wordt optimaal gebruik gemaakt van de beschikbare gegevens en wordt het - reeds beperkte - aantal missende waarden verder gereduceerd. Een groot deel van de vraagitems is al in eerdere NSE-jaargangen gegroepeerd. In 2013 is, als gevolg van enkele aanpassingen in de vragenlijst, een verkennende PCA uitgevoerd om de uiteindelijke samenstelling van de themascores vast te kunnen stellen. Na het bepalen van de samenstelling van de themascores is nogmaals een PCA uitgevoerd, per thema afzonderlijk, ter vaststelling van de factorladingen en om te bevestigen dat inderdaad sprake was van voldoende samenhang tussen de items en de inhoudelijk daar achterliggende dimensie. De resultaten daarvan zijn in Tabel 6.1 opgenomen. Ten eerste worden de communaliteiten getoond: die geven aan welk deel van de variantie van het item door de component wordt verklaard. Eveneens wordt in de tabel aangegeven wat de correlatie van de vraagitems met de component was, de zogeheten componentladingen. Hoe hoger de lading, hoe sterker het item met de component samenhangt. Per component is ook het totale percentage verklaarde variantie weergegeven: dit percentage lag tussen 0% en 100% en geeft aan hoe goed de vraagitems tezamen het achter de component liggende concept (het thema) meten. De verklaarde variantie lag bij alle thema s rond of ruim boven 50%. We kunnen als vuistregel hanteren dat waarden rond 50% ruim voldoende zijn, waarden vanaf 60% goed en waarden boven 70% uitzonderlijk goed 1. Vervolgens is uit de bij elkaar passende vraagitems een themascore berekend. Voorafgaand aan de berekening is een betrouwbaarheidsanalyse uitgevoerd, die aangeeft in hoeverre de vraagitems tezamen een betrouwbare indicator (ook wel schaal genoemd) vormen. De betrouwbaarheid van elke schaal kan worden uitgedrukt in een getal tussen 0 en 1, Cronbach s Alpha genaamd. In de sociale wetenschappen wordt een Cornbach s Alpha waarde van 0,7 of hoger als betrouwbaar behandeld. In het geval van de themascores die voor de NSE 2013 werden berekend, is ruimschoots aan dat criterium voldaan. 1 Uiteraard gaat het hier niet om absolute grootheden. Deze waarden worden geformuleerd op basis van de gemiddelde onderzoekresultaten van veel sociaalwetenschappelijk uitgevoerd onderzoek. Onderzoeksverantwoording Nationale Studenten Enquête

31 Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses Inhoud (themascore) Communaliteiten Componentladingen Alpha if item deleted Het niveau van je opleiding 0,51 0,72 0,92 De aansluiting van de inhoud bij het beeld dat je van je opleiding had 0,58 0,76 0,91 De aansluiting van je opleiding bij je vooropleiding 0,37 0,61 0,92 De mate w aarin de inhoud van je opleiding stimulerend is 0,64 0,80 0,91 De aansluiting van de inhoud van je opleiding bij actuele ontw ikkelingen 0,52 0,72 0,91 De samenhang tussen de verschillende onderdelen van je opleiding 0,50 0,70 0,92 De in jouw opleiding gehanteerde w erkvormen 0,53 0,73 0,92 De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen 0,38 0,62 0,92 De inhoudelijke kw aliteit van het studiemateriaal 0,52 0,72 0,92 De aansluiting bij je w erkervaring (nieuw vanaf 2013) 0,64 0,80 0,92 De mate w aarin je het geleerde kunt toepassen in je baan (nieuw vanaf 2013) 0,61 0,78 0,92 % verklaarde variantie 52,6 Cronbach's Alpha 0,92 Algemene vaardigheden (themascore) Communaliteiten Componentladingen Alpha if item deleted Het aanleren van een kritische houding 0,58 0,76 0,84 Probleemoplossend vermogen 0,65 0,81 0,83 Het onderbouw en van conclusies 0,67 0,82 0,82 Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) 0,52 0,72 0,84 Samenw erken met anderen 0,45 0,67 0,85 Argumenteren/redeneren 0,66 0,81 0,82 % verklaarde variantie 58,8 Cronbach's Alpha 0,86 Wetenschappelijke Vaardigheden WO (themascore) Communaliteiten Componentladingen Alpha if item deleted Analytisch denken 0,49 0,70 0,86 Het kritisch beoordelen van w etenschappelijk w erk 0,65 0,81 0,83 Het schrijven van w etenschappelijke artikelen 0,67 0,82 0,83 Methoden en technieken van onderzoek 0,73 0,85 0,82 Het doen van onderzoek (w as WetenschappelijkeVaardighedenWo_06 tot 2012, gew ijzigde vraagstelling in 2013) 0,70 0,84 0,82 % verklaarde variantie 64,7 Cronbach's Alpha 0,86 Wetenschappelijke Vaardigheden HBO (themascore) Communaliteiten Componentladingen Alpha if item deleted Analytisch denken 0,63 0,80 0,87 Het kritisch beoordelen van praktijkgericht onderzoek 0,77 0,88 0,82 Het schriftelijk rapporteren over praktijkgericht onderzoek 0,75 0,86 0,83 Methoden en technieken van praktijkgericht onderzoek 0,75 0,86 0,83 % verklaarde variantie 72,5 Cronbach's Alpha 0,87 Onderzoeksverantwoording Nationale Studenten Enquête

32 Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Voorbereiding Beroepsloopbaan (themascore) Communaliteiten Componentladingen Alpha if item deleted Het opdoen van vaardigheden voor de beroepspraktijk 0,81 0,90 0,78 De praktijkgerichtheid van je opleiding 0,83 0,91 0,77 Het contact met de beroepspraktijk (bijv. stages, gastsprekers) 0,71 0,84 0,87 % verklaarde variantie 78,4 Cronbach's Alpha 0,86 Docenten (themascore) Communaliteiten Componentladingen Alpha if item deleted De inhoudelijke deskundigheid van docenten 0,60 0,77 0,90 De didactische kw aliteit van docenten 0,62 0,79 0,90 De bereikbaarheid van docenten buiten contacturen 0,53 0,73 0,91 De betrokkenheid van de docenten bij de studenten 0,68 0,82 0,90 De kw aliteit van de begeleiding door docenten 0,73 0,86 0,89 De kw aliteit van feedback van docenten 0,63 0,80 0,90 De mate w aarin docenten inspirerend zijn 0,67 0,82 0,90 De kennis van de docenten over de beroepspraktijk 0,50 0,71 0,91 % verklaarde variantie 61,9 Cronbach's Alpha 0,91 Studiebegeleiding (themascore) Communaliteiten Componentladingen Alpha if item deleted De mogelijkheid tot begeleiding 0,84 0,92 0,84 De kw aliteit van de begeleiding 0,85 0,92 0,83 De mate w aarin jouw opleiding initiatief neemt in ondersteuning of begeleiding (nieuw vanaf 2013) 0,79 0,89 0,88 % verklaarde variantie 82,8 Cronbach's Alpha 0,89 ToetsingBeoordeling (themascore) Communaliteiten Componentladingen Alpha if item deleted De duidelijkheid van criteria w aarop beoordeeld w ordt 0,63 0,80 0,87 De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding 0,78 0,88 0,81 De kw aliteit van de toetsing op kennis en inzicht (nieuw vanaf 2013) 0,77 0,88 0,82 De kw aliteit van de toetsing op vaardigheden (nieuw vanaf 2013) 0,72 0,85 0,84 % verklaarde variantie 72,5 Cronbach's Alpha 0,87 Informatievoorziening (themascore) Communaliteiten Componentladingen Alpha if item deleted De informatie over jouw studievoortgang 0,65 0,81 0,72 De informatie over regels en procedures 0,72 0,85 0,69 De informatie over de opzet van de opleiding (nieuw vanaf 2013) 0,65 0,80 0,72 Het tijdig bekend maken van resultaten van toetsen en beoordelingen (w as voorheen ToetsingBeoordeling_03) 0,46 0,68 0,80 % verklaarde variantie 61,8 Cronbach's Alpha 0,79 Onderzoeksverantwoording Nationale Studenten Enquête

33 Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studierooster (themascore) Communaliteiten Componentladingen Alpha if item deleted Het tijdig bekendmaken van de studieroosters 0,85 0,92 n.v.t. Het tijdig bekendmaken van w ijzigingen in het studierooster 0,85 0,92 n.v.t. % verklaarde variantie 84,6 Cronbach's Alpha 0,82 Studielast (themascore) Communaliteiten Componentladingen Alpha if item deleted De spreiding van de studielast over het studiejaar 0,66 0,81 0,76 De haalbaarheid van deadlines 0,70 0,84 0,74 De mate w aarin de studiepunten (EC) overeenkomen met de daadw erkelijke studielast (w as Studielast_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) 0,59 0,77 0,78 De mogelijkheid om zonder vertraging de gew enste studie-onderdelen te volgen (nieuw vanaf 2013) 0,62 0,79 0,77 % verklaarde variantie 64,2 Cronbach's Alpha 0,81 Groepsgrootte (themascore) Communaliteiten Componentladingen Alpha if item deleted De groepsgrootte bij w erkgroepen (nieuw vanaf 2013) 0,69 0,83 0,81 De groepsgrootte bij hoorcolleges (nieuw vanaf 2013) 0,74 0,86 0,76 De verhouding kleinschalig versus grootschalig onderw ijs in mijn opleiding (nieuw vanaf 2013) 0,79 0,89 0,70 % verklaarde variantie 74,0 Cronbach's Alpha 0,82 Stage En Opleiding (themascore) Communaliteiten Componentladingen Alpha if item deleted De kw aliteit van de stagebegeleiding vanuit de opleiding (w as VoorbereidingBeroepsloopbaan_04 tot 2012) 0,81 0,90 n.v.t. De voorbereiding op de stage door de opleiding (nieuw vanaf 2013) 0,81 0,90 n.v.t. % verklaarde variantie 81,4 Cronbach's Alpha 0,77 Stage Ervaring (themascore) Communaliteiten Componentladingen Alpha if item deleted De begeleiding op je stageplek door het bedrijf of de instelling w aar je stage loopt (nieuw vanaf 2013) 0,67 0,82 0,73 Wat je tijdens je stage hebt geleerd (nieuw vanaf 2013) 0,77 0,88 0,61 De aansluiting van de stages bij het overige onderw ijs (w as VoorbereidingBeroepsloopbaan_05 tot 2012) 0,64 0,80 0,75 % verklaarde variantie 69,3 Cronbach's Alpha 0,77 Onderzoeksverantwoording Nationale Studenten Enquête

34 Tabel 6.1: Principale Componenten- en betrouwbaarheidsanalyses (vervolg) Studiefaciliteiten (themascore) Communaliteiten Componentladingen Alpha if item deleted De geschiktheid van de onderw ijsruimten 0,59 0,77 0,88 De geschiktheid van w erkplekken (bv. computers, studieruimten van voldoende kw aliteit) 0,74 0,86 0,86 De beschikbaarheid van w erkplekken (bv. voldoende w erkplekken) 0,65 0,81 0,88 De bibliotheek/mediatheek 0,61 0,78 0,88 De ICT-faciliteiten 0,72 0,85 0,87 De digitale leeromgeving 0,58 0,76 0,88 % verklaarde variantie 65,0 Cronbach's Alpha 0,89 Kw aliteitszorg (themascore, w as Betrokkenheid tot 2012) Communaliteiten Componentladingen Alpha if item deleted Onderw ijsevaluaties die onder studenten plaatsvinden (w as Betrokkenheid_01 tot 2012) 0,63 0,80 0,87 Informatie over de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_02 tot 2012) 0,73 0,86 0,84 De w ijze w aarop je opleiding gebruik maakt van de uitkomsten van onderw ijsevaluaties (w as Betrokkenheid_03 tot 2012) 0,83 0,91 0,81 De manier w aarop je opleiding op klachten en problemen reageert (w as Betrokkenheid _04 tot 2012) 0,70 0,84 0,85 % verklaarde variantie 72,5 Cronbach's Alpha 0,88 Studieomgeving (themascore) Communaliteiten Componentladingen Alpha if item deleted De bereikbaarheid van je instelling (openbaar vervoer e.d.) 0,41 0,64 0,70 De restauratieve voorzieningen op je instelling 0,38 0,61 0,70 De sportvoorzieningen vanuit je instelling (w as Studieomgeving_03 tot 2012, gew ijzigde vraagstelling vanaf 2013) 0,33 0,57 0,74 De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) 0,70 0,84 0,64 Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) 0,68 0,82 0,65 % verklaarde variantie 49,9 Cronbach's Alpha 0,73 Huisvesting (themascore) Communaliteiten Componentladingen Alpha if item deleted De beschikbaarheid van w oonruimte in je studiestad 0,91 0,95 n.v.t. De betaalbaarheid van w oonruimte in je studiestad 0,91 0,95 n.v.t. % verklaarde variantie 90,6 Cronbach's Alpha 0, Weging Om te corrigeren voor de responsverschillen tussen opleidingen en instellingen, is de netto respons gewogen op het niveau van BRIN*CROHO*Locatie. Hiertoe is eerst de respons bepaald per mogelijke combinatie. De weegfactor is vastgesteld door de proportie in de populatie te delen door de proportie in de respons. Vervolgens is de range van de resulterende weegfactoren onderzocht om vast te stellen in hoeverre sprake was van extreme weegfactoren. Er was geen sprake van extreme waarden aan het lage uiteinde van het spectrum: de laagste waarde bedroeg 0,39. De weegfactoren boven een waarde van 4 zijn op 4,0 gefixeerd. In 2012 is er gefixeerd op een waarde van 4,5, maar Onderzoeksverantwoording Nationale Studenten Enquête

35 het aangescherpte criterium is legitiem door het feit dat er minder extreme gewichten waren. De fixatie op 4,0 in plaats van 4,5 maakte niets uit voor de berekening van de themascores. De fixatie op 4,0 betekende - net als in een fixatie voor in totaal 26 (van de in totaal 3.043) cellen, corresponderend met 50 respondenten. Een cel was in dit geval een BRIN*CROHO*Locatie combinatie. Dertien cellen hadden een weegfactor tussen de 4 en 6; in acht cellen lag de weegfactor tussen 6 en 10 en in vijf gevallen had de weegfactor een waarde van meer dan 10. Tot slot is de weegfactor herschaald (door de weegfactor te delen door het gemiddelde gewicht), zodat het gemiddelde gewicht wederom uitkwam op een waarde van 1 en aldus voor de totale groep de ongewogen aantallen gelijk waren aan de gewogen aantallen. Het strengere criterium (fixatie op 4,0) is overigens niet met terugwerkende kracht opgelegd aan eerdere meetjaren, gezien de grote impact die dit communicatief met zich mee zou brengen en de zeer beperkte inhoudelijke toegevoegde waarde. 6.4 Synchronisatie met voorgaande metingen Om de trendbestanden op te stellen, was een synchronisatie van de organisatorische mutaties op basis van het CROHO-register nodig. Dit gebeurde als volgt: update voor mutaties tussen aanlevering en afsluiting veldwerk NSE 2013; update voor mutaties die ten opzichte van voorgaande jaren hadden plaatsgevonden. De mutaties konden betrekking hebben op BRIN, CROHO en Locatie. Om dit te inventariseren zijn het meerjarige Benchmarkbestand, de door instellingen aangeleverde studentgegevens (NSE 2013) en het op dat moment meest actuele CROHO-register (van ) naast elkaar gelegd. De verschillen hiertussen zijn beoordeeld door GfK en vervolgens is aan contactpersonen van deelnemende instellingen teruggekoppeld welke zaken er naar de mening van GfK gesynchroniseerd zouden moeten worden. Deze dubbelcheck is gedaan, omdat GfK geen eerdere ervaring had met deze synchronisatieslag. Het aantal te synchroniseren zaken was beperkt (ongeveer 100 opleidingen waarbij bedacht moet worden dat sommige opleidingen door meerdere instellingen gegeven werden). De fusie van twee instellingen (Stoas Hogeschool en Christelijke Agrarisch Hogeschool) tot één nieuwe instelling, te weten Vilentum Hogeschool is ook verwerkt in de databestanden. In de door GfK uitgeleverde bestanden (als belangrijkste het meerjarige Benchmarkbestand) is in de variabelen BrinActueel, BrinNaamActueel, CrohoActueel en CrohoNaamActueel de meest up-to-date naam en codering van instelling en opleiding terug te vinden. De benaming en codering als oorspronkelijk aangeleverd door de instelling zijn nog altijd terug te vinden in de variabelen Brin, BrinNaam, Croho en CrohoNaam. 6.5 Aanmaak resultaatbestanden Op basis van bestanden uit eerdere jaren en het bestand voor de NSE 2013 is door GfK een meerjarig moederbestand gemaakt. Dit moederbestand is gebruikt als basis voor de bestanden voor de NSE Onderzoeksverantwoording Nationale Studenten Enquête

36 7. Opgeleverde producten 7.1 Bestanden Na afloop van het veldwerk is er een aantal bestanden geproduceerd. Het betrof databestanden: voor de deelnemende instellingen; voor overige verwerking van de NSE-resultaten door Studiekeuze123 zelf en door anderen. Daarnaast is er een Factsheet gemaakt voor het CvB/de directie van elke deelnemende instelling. De NSE oordelen zijn geïntegreerd in de Studiekeuzedatabase van Studiekeuze123 voor publicatie op de website De oplevering van bestanden vond plaats in de beveiligde GfK Drive omgeving. Met inloggegevens kon men daar de door GfK voor de gebruiker klaargezette bestanden downloaden. Hieronder volgt een algemene beschrijving van alle in het kader van de NSE 2013 uitgeleverde bestanden. Detailinformatie is beschikbaar in de NSE productencatalogus Bestanden voor deelnemende instellingen Codeboek De wijzigingen in het Benchmarkbestand zijn gedocumenteerd in een Codeboek, dat in 2013 voor het eerst is uitgebracht. Het Codeboek is een beschrijving van de structuur van het openbaar Benchmarkbestand. Het geeft de semantiek van de variabelen in het SPSS bestand. Het bevat ook een gedetailleerde beschrijving van hoe de wijzigingen in de vragenlijst zijn doorgevoerd in het Benchmarkbestand. Studiekeuze123 heeft ervoor gekozen om de wijzigingen in de vragenlijst met terugwerkende kracht door te voeren in het Benchmarkbestand. Het bestand blijft hiermee actueel, in de zin dat de laatste versie van de vragenlijst leidend is. Zo zijn bijvoorbeeld vragen die verwijderd zijn in 2013 ook verwijderd in In het Codeboek en in het SPSS-bestand zijn in de beschrijving van de variabelen aantekeningen gemaakt over wijzigingen, zodat een verwerker die niet het Codeboek bij de hand heeft, toch een indicatie heeft van de wijzigingen. Zie Figuur 7.1 en 7.2. Figuur 7.1: Documentatie SPSS-bestand Figuur 7.2: Documentatie SPSS-bestand Onderzoeksverantwoording Nationale Studenten Enquête

37 Benchmarkbestand ( ) Dit bestand bevat voor alle deelnemende instellingen alle antwoorden sinds 2010 op de standaard NSE vragenlijst. Het bestand is geanonimiseerd. Bovendien zijn door middel van verrijking gegevens uit externe bronnen (als het CROHO-register) en gegevens uit de door instellingen aangeleverde informatie over studenten toegevoegd (zie ook Hoofdstuk 3). Het bestand bevat geen instellings-specifieke vragen of informatie (labels) en ook geen privacygevoelige gegevens. Het Benchmarkbestand is te openen en te bewerken in het softwarepakket SPSS (Statistical Package for the Social Sciences) van IBM. Dit bestand is een openbaar bestand, in die zin dat het ook opvraagbaar is door externe partijen bij Studiekeuze123. Het Benchmarkbestand voor de NSE 2013 heette nse_definitief_benchmarkbestand_ sav en had een digitale handtekening (MD5): 5acb c6d0cda5f5d51. Met een digitale handtekening kan de authenticiteit van het bestand vastgesteld worden. Het bestand bevatte de volgende variabelen: random volgnummer, jaar, weegfactor, actuele instellingscode, actuele instellingsnaam, oorspronkelijke instellingscode, oorspronkelijke instellingsnaam, actuele opleidingscode, actuele opleidingsnaam, oorspronkelijke opleidingscode, oorspronkelijke opleidingsnaam, locatie volgens CROHO, sector, sectornaam, soort hoger onderwijs, type hoger onderwijs, gemeentecode, stedelijkheid, landsdeel, numerus fixus, decentrale selectie, bekostiging, opleidingsvorm (vt/dt/du), opleidingsvorm (vt/dt), alle tevredenheidsoordelen, contacttijd, huur, woonsituatie en de antwoorden op de ultimate question. De antwoorden op de vragen over handicap &studie, internationale studenten en Engels taalaanbod waren niet opgenomen. Instellingsbestand Het Instellingsbestand is een extract uit het Benchmarkbestand met de antwoorden van alle deelnemende studenten van de specifieke instelling. Het werd geleverd in SPSS formaat en, op verzoek, in Microsoft Office Excel formaat. Bovendien bevatte het Instellingsbestand de instellings-specifieke vragen (indien gesteld), de informatie die door de instelling zelf was aangeleverd in labels, de achtergrondkenmerken (leeftijd, geslacht en studiejaar en indien van toepassing de optionele achtergrondkenmerken vooropleiding en etniciteit) en de antwoorden op handicap & studie, internationale studenten en Engels taalaanbod. Sleutelbestand Het Sleutelbestand legt de relatie tussen het ID als gebruikt in de NSE en het StudentID als aangeleverd door de instelling. Dit Sleutelbestand stelde instellingen in staat om de NSEresultaten te koppelen aan andere gegevens die in hun studentenregistratie beschikbaar waren (denk bijvoorbeeld aan studievoortgang). Het bestand werd geleverd in SPSS formaat. Open vraag bestand Dit bestand bevatte voor iedere instelling antwoorden van alleen de eigen studenten op de volgende open vraag, die als afsluiting werd gesteld van de NSE vragenlijst: Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs. De open antwoorden op bovengenoemde vraag waren achteraf niet bewerkt en werden dus in ruwe vorm uitgeleverd aan de instellingen. Het bestand werd geleverd in Excel formaat. Onderzoeksverantwoording Nationale Studenten Enquête

38 7.1.2 Overige verwerking Populatiebestand Het Populatiebestand is een bestand waarin de populatie (bruto N) en de respons (netto n) is opgenomen. Op basis van dit bestand zijn voor alle combinaties van achtergrondkenmerken, de N en n beschikbaar gemaakt. Dit bestand werd gebruikt bij de beslisregels voor het tonen van NSE resultaten op en voor Studie in Cijfers. Tevens werd (een aggregatie van) dit bestand gebruikt voor de Studiekeuzedatabase. De beslisregels kunt u vinden op NSE Online-bestand Het NSE Online-bestand is gebruikt voor opname van de NSE data in de NSE Online applicatie. Dit bestand is in feite een samenvoeging van het Benchmarkbestand en alle instellingsspecifieke zaken uit het Instellingsbestand. Benchmarkbestand Plus Het Benchmarkbestand Plus is een versie van het reguliere Benchmarkbestand aangevuld met de achtergrondkenmerken leeftijd, geslacht en studiejaar plus alle antwoorden van het blok Handicap & Studie (vraag 33-40). Dit bestand is gebruikt voor verwerking door Studiekeuze123 voor Studie in Cijfers ( en de Studiekeuzedatabase (zie paragraaf 7.3). 7.2 Factsheets Voor alle deelnemende instellingen is bij de definitieve oplevering van de databestanden een Factsheet gemaakt. De Factsheet bevatte per instelling een overzicht van de gemiddelde themascores en gemiddelde scores op losse items van de eigen instelling, waarbij met kleur in het blok met de vraagtekst aangegeven werd wat de gemiddelde score van de instelling was: score lager dan 3 (rood), tussen 3 en 3,5 (blauw) of hoger dan 3,5 (groen). In het blok met de scores werd steeds aangegeven of de instellingsscore significant lager, gelijk aan of hoger was dan het landelijk gemiddelde. Tevens was aangegeven of de instellingsscore significant hoger of lager was dan de vorige meting. De Factsheets zijn op schrift verstuurd naar de CvB dan wel directie van deelnemende instellingen en via de downloadomgeving digitaal beschikbaar gesteld aan de contactpersonen NSE van de instellingen. Onderzoeksverantwoording Nationale Studenten Enquête

39 Figuur 7.3: Voorbeeld (selectie uit) Factsheet 7.3 Verwerking studentenoordelen in Studiekeuzedatabase De Studiekeuzedatabase van Studiekeuze123 bevat feiten en kwaliteitsoordelen over alle geaccrediteerde hbo- en wo-opleidingen. De database is te openen en bewerken in Microsoft Office Access. Het bevat onder andere arbeidsmarktcijfers, accreditatiegegevens, toelatingseisen en instroomaantallen. Ook de studentenoordelen uit de NSE worden erin verwerkt. De Studiekeuzedatabase is gericht op studiekiezers, dit betekent dat alleen opleidingen waarvoor studenten zich nog kunnen aanmelden worden opgenomen. De verwerking van de NSE 2013 in de Studiekeuzedatabase van juni 2013 (DB ) leidde ertoe dat er voor bacheloropleidingen, 625 masteropleidingen, 712 deeltijdopleidingen en 95 duaal opleidingen gegevens beschikbaar waren. Van 9 bacheloropleidingen, 1 masteropleidingen en 2 deeltijdopleiding zijn de resultaten van 2012 opgenomen in de Studiekeuzedatabase, omdat er geen oor- Onderzoeksverantwoording Nationale Studenten Enquête