NSE Onderzoeksverantwoording. Onderzoek in opdracht van Stichting Studiekeuze123 Anja van den Broek Bas Kurver Steffie Hampsink SK

Transcriptie

1 NSE 2012 Onderzoeksverantwoording Onderzoek in opdracht van Stichting Studiekeuze123 Anja van den Broek Bas Kurver Steffie Hampsink SK ResearchNed november 2012

2 2012 ResearchNed Nijmegen in opdracht van Stichting Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder nauwkeurige bronvermelding.

3 Inhoudsopgave 1 Voorbereiding Voorbereiding mailing Enquête Communicatie Kanalen Issues Social media 7 2 Technische infrastructuur Infrastructuur Technische test vragenlijst Inhoudelijke test vragenlijst Beveiliging 12 3 Respons Mailing Responspercentage Responsgedrag Taal, invultijd en niet compleet ingevulde vragenlijsten Non-respons analyse Responsoverzichten 20 4 Datacleaning en bestandsbewerking Inlezen en toevoegen populatiekenmerken Aanmaken relevante variabelen Themascores en instellingsvragen Weegfactoren Synchronisatie voorgaande jaren Extract benchmarkbestand Extract instellingsbestanden Dossiers NSE Online 28 5 Overige publicaties Opname van de NSE 2012 in de Studiekeuzedatabase Cleaning ten behoeve van koppeling met de Studiekeuzedatabase Controleren van respons per opleiding Samenvoegen van opleidingen bij onvoldoende respons Aggregeren: het berekenen van de scores per opleiding Controleren van respons per vraag NSE-factsheets 32 Overzicht van figuren en tabellen Onderzoeksverantwoording NSE 2012

4 1 Voorbereiding 1.1 Voorbereiding mailing Op verschillende manieren is in de maanden september tot en met november contact gezocht met de instellingen binnen het hoger onderwijs. In de afwikkeling van de NSE 2011 is de contactpersonen gevraagd of de instelling ook in 2012 weer zou deelnemen aan de NSE. Daarnaast is op 13 oktober een startbijeenkomst georganiseerd, waarbij de werkwijze voor 2012 is toegelicht aan de contactpersonen van de instellingen. Alle contactpersonen kregen het Routeboek voor de Nationale Studentenenquête 2012 uitgereikt. In deze publicatie konden zij de volledige werkwijze en de planning nalezen. Vervolgens is gestart met de (telefonische) werving van de instellingen. In deze telefoongesprekken was tevens een extra mogelijkheid voor het stellen van vragen en werd de werkwijze rondom de NSE nader toegelicht. Uit de telefoongesprekken volgde in veel gevallen al een voorlopige toezegging of afmelding. Door middel van contracten die door Studiekeuze123 naar de CvB s en besturen van de instellingen zijn gestuurd, konden de instellingen officieel hun deelname kenbaar maken. In 2012 namen 69 instellingen deel aan de NSE (tabel 1.1); 63 hiervan voor de tweede keer. Alle bekostigde universiteiten participeerden zowel in 2010 als in In totaal nam 91 procent van alle bekostigde instellingen in 2012 deel aan de NSE. Twee hbo-instellingen die in 2011 participeerden, zagen in 2012 af van deelname (Amsterdamse Hogeschool voor de Kunsten en Design Academy Eindhoven). De Gerrit Rietveld Academie nam noch in 2010, noch in 2011, noch in 2012 deel. Vijf bekostigde hboinstellingen deden in 2011 niet mee, in 2012 wel: Codarts Hogeschool voor de Kunsten, De Haagse Hogeschool, Hogeschool der Kunsten Den Haag, Hogeschool van Amsterdam, Hogeschool voor de Kunsten Utrecht. Van de niet-bekostigde instellingen zagen vier hbo-instellingen en één universiteit af van deelname in 2011 (Azusa Theologische Hogeschool, HBO Nederland, Hogeschool Schumann Akademie, Stoas Hogeschool en Academie voor Wetgeving). Tabel 1.1: Deelname onderwijsinstellingen Totaal aantal* Deelname in 2011 Deelname in 2012 % Deelname 2012 Wo % Aangewezen % Bekostigd % Hbo % Aangewezen % Bekostigd 40** % Totaal % Aangewezen % Bekostigd % * Het betreft hier alle bekostigde instellingen uit CROHO; van de niet-bekostigde instellingen is het aantal weergegeven dat of in 2011 participeerde of in ** Eén bekostigde hbo-instelling (Gerrit Rietveld Academie) zag af van deelname in zowel 2010, 2011 als Onderzoeksverantwoording NSE 2012

5 Uiterlijk op 22 december dienden de adressen en achtergrondgegevens geüpload te worden. De upload van de adressen vond plaats in een beveiligde omgeving via een uploadfaciliteit op Sommige instellingen hadden moeite om de deadline van eind december te halen (tabel 1.2). Om die reden zijn in januari nog uploads geaccepteerd. In het live-project wilden enkele instellingen in tweede instantie correcties aanbrengen of extra records toevoegen. Tegen betaling is dit in vijf gevallen gebeurd. De instellingen konden hiervoor een inlogcode en wachtwoord aanvragen of de inloggegevens gebruiken die ze hadden aangevraagd voor de NSE Alle aangeleverde gegevens zijn vergeleken met het CROHO. Van alle ontvangen bestanden waren 16 bestanden in de eerste versie correct aangeleverd. Na controle bleek dat 54 bestanden fouten of inconsequenties bevatten. In geval van inconsistenties werd contact opgenomen met de instellingen. Tabel 1.2: Aanlevering bestanden Eerste versie aangeleverd Aantal bestanden % Aangeleverd vóór 22/ % Aangeleverd na 22/ % Naast de verplichte en gewenste achtergrondgegevens was er ook de mogelijkheid om eigen labels toe te voegen aan het bestand. In totaal 64 procent (44 van de 69 instellingen) maakte hiervan gebruik. Dit gebruik lag overigens lager bij de niet-bekostigde instellingen dan bij de bekostigde instellingen (29% versus 71%). De labels zijn door ResearchNed alleen gecontroleerd op privacygevoeligheid. Er heeft geen verdere controle plaatsgevonden op de inhoud (spel- en typefouten). Er is duidelijk aan de instellingen gecommuniceerd dat dit de verantwoordelijkheid was van de instelling zelf. Van alle labels zijn via een hercodering numerieke waarden aangemaakt. Dit was noodzakelijk om de labels op te kunnen nemen in NSE Online. De ontvangen Excel-bestanden zijn met behulp van uniforme beslisregels eenvormig gemaakt en aan elkaar gekoppeld. Aan alle velden zijn de CROHO-labels toegevoegd, gemeentenamen zijn gesynchroniseerd met de Studiekeuzedatabase en adressen zijn gecontroleerd op ongeoorloofde karakters. Voor alle mutaties na dit bestand zijn nieuwe versies van de instellingsbestanden aangemaakt; alle mutaties zijn gedocumenteerd en reproduceerbaar. Aan dit bestand zijn unieke niet-sequentiële wachtwoorden toegevoegd, bestaande uit tien karakters (een combinatie van cijfers en letters, bijvoorbeeld pk4kdv5nv3 ). Het totale bestand vormde samen met gegevens over het soort hoger onderwijs, opleiding, locatie, instelling, type hoger onderwijs (BaMa) en de opleidingsvorm (vt, dt, du) de basis van de enquête. Dit bestand is geüpload naar de interviewserver en is gebruikt voor authenticatie en terugkoppeling in de enquête over de opleiding waaraan men studeert. 1.2 Enquête De vragenlijst voor de NSE 2012 is op alle punten gelijk gebleven aan die van Om het effect van onder andere het klassikaal invullen (wat willen zeggen het tegelijk met een aantal medestudenten in een lokaal) te meten is een aantal vragen aan het eind van de vragenlijst toegevoegd, zodat hier in een later stadium analyses op gedaan kunnen worden. De vragen die hiervoor zijn toegevoegd zijn: Waar heb je het grootste gedeelte van de vragenlijst ingevuld? Vulde je het grootste gedeelte van deze vragenlijst alleen of klassikaal in? Ben je door iemand aangespoord om deze vragenlijst in te vullen? Je hebt de vragenlijst ingevuld op 4 - Onderzoeksverantwoording NSE 2012

6 Studiekeuze123 is samen met een werkgroep bezig de vragenlijst voor de NSE 2013 aan te passen. In dit proces zullen ook de opmerkingen van de instellingen, de begeleidingsgroep, de HBO-raad en het deskundigenpanel meegenomen worden. Instellingen konden tegen kostprijs (programmeren, testen, databewerking en labelling) vragen toevoegen aan de enquête. In totaal 20 instellingen hebben van deze mogelijkheid gebruik gemaakt. Gemiddeld werden ongeveer veertien vragen toegevoegd. De enquête is in drie talen (Nederlands, Engels en Duits) geprogrammeerd in Dimensions van SPSS. De studenten konden in een beginscherm de gewenste taal aangeven. Alle data zijn in één database weggeschreven. De enquête is uitgebreid getest volgens een vast protocol op inhoud, routing, functionaliteiten en design. Alle testresultaten zijn gearchiveerd in een logboek en verwerkt in de enquête. 1.3 Communicatie Kanalen Informatie over de NSE was terug te vinden in het Routeboek en op de website Om de overige communicatie zo soepel mogelijk te laten verlopen is een speciaal NSE adres aangemaakt: Alle communicatie met de contactpersonen liep via dit adres. De communicatie met studenten liep via Voor, tijdens en na het veldwerk van de NSE zijn beide accounts dagelijks uitgelezen en beantwoord. In de periode van de voorbereiding, het veldwerk en de analyse van de NSE 2012 zijn in totaal mails (ten opzichte van mails in 2011) verstuurd naar het centrale adres en mails (ten opzichte van in 2011) naar Tabel 1.3 en tabel 1.4 geeft een overzicht van deze issues, ingedikt naar hoofdthema s Issues Het grootste gedeelte van de s van contactpersonen ging over de voorbereiding van de NSE-data: 33,7 procent (tabel 1.3). De vragen gingen onder andere over het aanpassen van de spamfilters, het aanleveren van gegevens en extra vragen. Belangrijk binnen dit thema was de communicatie met de contactpersonen over de match tussen het CROHO en het door de instelling aanleverde bestand. Per geval van een mismatch is gecommuniceerd met de instelling en is er samen geprobeerd te achterhalen wat de reden van de mismatch was. Tabel 1.3: (Gerubriceerd) overzicht van issues van contactpersonen Mails contactpersonen Aantal % Voorbereiding ,7 Communicatie ,9 Analyse ,7 Mailing/respons ,4 Vragenlijst 82 6,2 Totaal ,0 De categorie communicatie bevat vragen/mededelingen van een meer algemene aard. Het gaat hier onder andere om wijzigingen van contactpersonen, het opvragen van wachtwoorden en vragen van instellingen over prijzen die ze zelf aan hun studenten wilden uitreiken. 5 - Onderzoeksverantwoording NSE 2012

7 Ruim 20 procent van de vragen ging over de mailing of de respons. Deze vragen werden vooral gesteld rond en tijdens de periode van het veldwerk. Vaak betrof het hier vragen van instellingen over studenten die niet konden inloggen of het doorgeven van voorkeuren voor dagen waarop de instelling g d moest worden. De vragen over de analyse (20,7%) gingen onder andere over hoe ze bepaalde gegevens het beste konden interpreteren. Ook vragen die NSE Online betroffen zijn in deze categorie opgenomen. Binnen het thema vragenlijst gingen de vragen veelal over het aanvragen van de inhoud van de vragenlijst en de procedure rondom de ontwikkeling van de vragenlijst voor NSE Deze zijn allemaal doorgestuurd naar Studiekeuze123. In de meeste s van studenten gaven studenten aan niet mee te willen doen met het onderzoek: 45 procent van de (tabel 1.4). De reden dat de studenten niet deelnamen werd meestal niet duidelijk. In een enkel geval gaven de studenten aan geen zin of geen tijd te hebben om deel te nemen. Deze mails zijn standaard beantwoord met de melding dat studenten zich konden uitschrijven via de uitschrijflink onderaan de mail. Zestien procent van de s ging over inlogproblemen. Tabel 1.4: (Gerubriceerd) overzicht van issues van studenten Mails studenten Aantal % Wil niet mee doen ,0 Inloggen lukt niet ,2 Vragenlijst al ingevuld, toch reminder gekregen ,9 Wil nieuwe code ontvangen ,1 Opmerkingen 85 7,9 Overige reden om vragenlijst niet in te vullen 62 5,7 Vraag over incentives 25 2,3 Vraag over privacy 10 0,9 Totaal ,0 Meestal had de student de vragenlijst al op een eerder tijdstip ingevuld of ze probeerden binnen tien minuten na het afbreken van de enquête opnieuw in te loggen (dit laatste is bij wijze van beveiliging niet mogelijk). In ruim elf procent van de s gaven de studenten aan onterecht een reminder te hebben ontvangen. De reden hiervan is dat er tijd zit tussen het aanmaken van de mailbatches en het versturen van de reminders. Het is mogelijk dat studenten in die tussenliggende periode de vragenlijst hebben ingevuld en onterecht een reminder ontvingen. In een aantal gevallen bleek dat de student de vragenlijst nog niet had ingevuld en de NSE waarschijnlijk verwarde met een ander onderzoek. Tien procent van de vragen ging over het aanvragen van een nieuwe inlogcode. In de meeste gevallen is het inlogcode voor de student opgezocht, nadat zij hun studentnummer en instelling door hadden gegeven. Wanneer het niet lang meer duurde voordat de student een reminder zou krijgen is aangeraden te wachten op de reminder. Er is een klein aantal mails binnengekomen van studenten die aangaven geen mail ontvangen te hebben, dit is in alle gevallen gecheckt bij de instelling en in alle gevallen betrof het februari instromers. Opmerkingen die zijn binnengekomen via de mail (7,9%) gingen onder andere over de vragenlijst, aanvullende opmerkingen over de opleiding of instelling. Een overige reden om de vragenlijst niet in te vullen (5,7%) was voornamelijk dat de student al was afgestudeerd. Een klein gedeelte van de s ging over de incentives die aan het eind van het veldwerk werden verloot (2,3%). Studenten vroegen zich bijvoorbeeld af hoe incentives konden worden verloot als ze nergens hun adres hoefden achter te laten of wilden graag weten wanneer de prijzen verloot zouden worden. Nog geen één procent van de vragen ging over de privacy van de NSE. 6 - Onderzoeksverantwoording NSE 2012

8 1.3.3 Social media In is 2012 voor het eerst op een actieve wijze sociale media ingezet. Aan het eind van de vragenlijst is een knop geprogrammeerd waarmee de respondenten automatisch een Tweet konden plaatsen met de volgende tekst: Nationale Studentenenquête ingevuld en mijn mening gegeven over mijn opleiding! Wie volgt? #NSE2012. De respondenten hadden tevens de mogelijkheid een eigen tekst op Twitter te plaatsen. Eigen tekst; 358; 28% Standaard tekst; 901; 72% Figuur 1.1: Tweets tijdens NSE 2012 Figuur 1.1 laat de verhouding zien tussen het aantal respondenten dat van de standaard tekst gebruik heeft gemaakt en wie een eigen tekst gepost heeft. In totaal zijn er tijdens het veldwerk tweets over de NSE gepost. Berichten waarin een vraag of opmerking genoemd werd, zijn door Studiekeuze via Twitter beantwoord. 7 - Onderzoeksverantwoording NSE 2012

9

10 2 Technische infrastructuur 2.1 Infrastructuur Voor het veldwerk is gebruik gemaakt van SPSS Dimensions (zie figuur 2.1): Dimensions is een cluster van interviewmachines, waarbij de interviewcapaciteit lineair kan worden uitgebreid door het toevoegen van extra hardware. Het cluster bestaat uit machines die elk één van drie mogelijke taken verrichten: respondentverbindingen, vragenlijstbeheer en management/dataopslag. Techniek is zoveel mogelijk gestandaardiseerd; MS Windows servers en applicatie geschreven in Net framework. Bovendien zijn web servers standaard IIS servers. Alle vragen worden gepresenteerd in standaard HTML (XHTML v. 3), aangevuld met images in jpg of png formaat. De HTML bevat geen browserspecifieke onderdelen. Het bestandsformaat van de verzamelde data bij export is een (SPSS) sav-bestand. Omdat Dimensions onderdeel is van de datacollectie software-suite van SPSS, is de correctheid van het beschikbare savbestand optimaal. Bestandsformaat van de vragenlijst is XML met een volledige beschrijving. Tijdens de uitgevoerde tests is gebleken dat per interviewserver minimaal 400 simultane verbindingen mogelijk zijn binnen de gestelde criteria. Voor de tests waren drie webservers met een loadbalancing device beschikbaar. De gebruikersinterface (werkomgeving) voor vragenlijstprogammeurs- en applicatiebeheerders is een capaciteitvergende applicatie. Mede om die reden is besloten om beide applicatieservers dubbel uit te voeren en op beide machines inloggen mogelijk te maken. De betrouwbaarheid van de technische infrastructuur is gewaarborgd door het plaatsen van een monitoringapplicatie op alle operationele machines om eventuele problemen met de capaciteit van de clusters in een vroeg stadium te zien aankomen. Alle machines zijn permanent gecontroleerd op de volgende parameters: CPU load, Memory Free, Network traffic Volume, Disk free. Op deze parameters zijn alarms ingesteld waardoor de beheerders automatisch op de hoogte worden gesteld van afnemende performance, problemen of uitval. In geval van uitval van machines binnen de infrastructuur zijn de volgende voorzieningen getroffen: Uitval van een webserver: via loadbalancing worden interviews automatisch doorgezonden naar twee andere identieke machines tot het moment dat de uitgevallen machine zich weer aanmeldt. Machines herstellen zelf de verbinding met de overige machines in het cluster. Uitval van de secundaire applicatieserver: de interviews verplaatsen automatisch naar een andere beschikbare applicatieserver. Uitval van de primaire applicatieserver: het gehele cluster komt tot stilstand en een herstartprocedure is noodzakelijk. In het geval een herstartprocedure niet mogelijk is, kan een master image van deze virtuele machine worden geactiveerd waarmee het cluster weer operationeel is. Uitval van de database server: er is een tweede mirror database server die continu een exacte kopie bevat van de operationele database server. Zodra hiermee een probleem optreedt, kan besloten worden om de mirror database server in te zetten, zonder dataverlies en met een minimale downtime. De applicatieservers zullen tijdens de downtime een buffer aanleggen van gegeven antwoorden en deze doorzenden aan de SQL server zodra deze weer online is. Lopende interviews kunnen normaal verdergaan, nieuwe interviews zijn niet te starten (afwezigheid van de authenticatietabel op de SQL server). In geval van een volledige onbereikbaarheid van het cluster, kan worden teruggevallen op het off-site backup cluster. Als dit het geval is, wordt de URL (link) in de portals aangepast aan het adres van het backup cluster. 9 - Onderzoeksverantwoording NSE 2012

11 Figuur 2.1: Schematische weergave van dedicated technische infrastructuur voor de NSE 2012 Het is mogelijk om wijzigingen in de vragenlijst aan te brengen zonder downtime en zonder gevolgen voor de reeds verzamelde data. Omdat het mogelijk is dat de vragenlijst in productie is bij het maken van wijzigingen, is het aantal wijzigingen tot uitsluitend het noodzakelijke beperkt. In het geval dat een respondent de vragenlijst onderbreekt, kan deze bij terugkeer hervat worden op het punt van de laatst gestelde vraag. Alle beheer, wijzigingen en reparaties in de applicatie worden op afstand uitgevoerd. In geval van een onaanvaardbaar lange uitval van de gehele applicatie, bijvoorbeeld door onvoorziene hardwareproblemen van het datacenter, kan worden teruggevallen op een alternatieve server in een tweede datacenter. Deze server wordt gedurende het onderzoek permanent gesynchroniseerd met de data die zich op het productiecluster bevonden. Dit geschiedt door middel van SQL server replicatie. De backupserver heeft een minder grote capaciteit, maar dat levert uitsluitend een beperking op bij overname van de functionaliteit tijdens piekuren. Er is geen sprake van uitval geweest. De servers konden het zoals verwacht goed aan. Er hebben zich geen incidenten voor gedaan.

12 Voor de gehele technische infrastructuur zijn SPF s (Single Point of Failure) geïdentificeerd en voor ieder punt is een oplossing gekozen waardoor downtime voorkomen wordt of tot het minimum beperkt wordt: portal op alle drie de webservers; drie identieke web servers; twee (virtuele) interviewmachines voor snelle vervanging bij uitval; één + één sql-server met mirroring; firewalls en internetlijnen dubbel uitgevoerd in failover configuratie; data worden gespiegeld op de tweede sql-server en door de off-site fallback server; het cluster is dubbel uitgevoerd. 2.2 Technische test vragenlijst De tests zijn uitgevoerd op de feitelijke vragenlijst; testantwoorden zijn uitsluitend voorzien van een testvlag, zodat deze eruit gefilterd kunnen worden bij export van de antwoorden. De feitelijke interviewdata bevatten informatie over hoe de vraag is beantwoord en of deze door een respondent of een script is ingevuld. Vragen vallen onder versiebeheer waardoor niets kan verdwijnen of gemanipuleerd worden zonder bewijs. Gegevens die de respondenten kunnen identificeren en eventueel een koppeling mogelijk maken tussen individuen en hun gegeven antwoorden, zijn gescheiden opgeslagen van de antwoorden. Alleen personen die toegang hebben tot beide soorten gegevens kunnen een koppeling maken. De toegang hiertoe kan worden gescheiden door het rechtenbeheer binnen Dimensions. Informatie over het collectieproces zelf wordt opgeslagen bij de antwoorden van de respondent en kan worden meegenomen in de data-export. Parameters die hierbij worden meegenomen zijn onder andere: de begin- en eindtijd van het invullen van de vragenlijst; de bron van de antwoorden (of ze door een respondent zijn ingevuld of door het script); de versie van de vragenlijst die is gebruikt voor het interview; de wijze van datacollectie (om onderscheid te kunnen maken tussen feitelijke interviewdata en handmatig toegevoegde data); het volgnummer van de respondent; de identificatiecode gebruikt door de respondent; met deze code kan een verband gelegd worden met de respondentgegevens (bijv. adres) indien deze toegankelijk zijn. De applicatie is voorzien van een integraal logboek, waarbij vrijwel alle handelingen van zowel applicatiegebruikers als respondenten geregistreerd worden. Opgeslagen worden onder andere: log van activiteiten door onderzoekers/applicatiegebruikers; log van inlogpogingen door respondenten; log binnen de vragenlijst: vrij invulbaar door de auteur van de vragenlijst. Het proces van invullen van alle respondenten wordt bijgehouden in een afzonderlijke tabel voor toegangsbeheer (authenticatie) en voortgangsbewaking (status). Deze tabel staat overigens los van eventuele antwoorden van respondenten. De volgende tests zijn succesvol afgerond: Om de capaciteit te bepalen is ten eerste vastgesteld dat een respondent maximaal twee seconden mag wachten op het tonen van een vraag. Als deze tijd langer is dan twee seconden, neemt het risico toe dat respondenten de vragenlijst niet afmaken Onderzoeksverantwoording NSE 2012

13 Er is door ResearchNed een analyse uitgevoerd op historische data om te bepalen wat de te verwachten belasting binnen een dag is op de servers (simultane interviews). De uitnodigingen geleidelijk aan verzonden om geen pieken in de belasting te creëren. In de start van het veldwerk werden mails per uur verzonden. Toen na verloop van tijd bleek dat in met die verzendsnelheid de server weinig werd belast, is de verzendsnelheid verhoogt naar mails per uur. SPSS Load Tool: voor het testen van een Dimensions-applicatie heeft SPSS een eigen applicatie beschikbaar, die een aantal interviews kan simuleren en dit gedurende een vooraf ingestelde periode of voor een ingevoerd aantal interviews uitvoert. Aangezien de loadbalancer het IP-adres van de respondent analyseert, is de loadtest van vier verschillende IP-ranges uitgevoerd. Dit zorgde ervoor dat de belasting over de drie webservers werd verdeeld. Het testen van de functionaliteit na oplevering van de applicatie is gedaan door middel van een testvragenlijst die was voorzien van images. Testen op correcte werking gebeurde vanaf zes locaties. Daarnaast is gekeken naar het vinden van de URL en de (correcte) weergave van illustraties van interviewsjablonen. Er is een export gemaakt van de testdata, om te valideren dat het bestand dat het onderzoek produceert, leesbaar en volledig is. 2.3 Inhoudelijke test vragenlijst In totaal hebben zes medewerkers van ResearchNed en twee medewerkers van Studiekeuze123 de vragenlijst van de NSE 2012 getest. Voor het testen is een protocol opgesteld waarbij met alle verschillende routings binnen de vragenlijst rekening is gehouden. Alle mogelijke routes zijn uitgeschreven en verdeeld over het testteam. Hierbij is onderscheid gemaakt tussen de basisvragenlijst en de extra vragen. In totaal waren er 88 verschillende routes om te testen, waarbij de basis als uitgangspunt is genomen, na de basisvragenlijst zijn tevens de extra vragen van de instellingen (inclusief eventuele routings) getest. Alle instellingen die eigen vragen hebben aangeleverd hebben ook een testwachtwoord ontvangen waarmee ze zelf hun eigen vragen konden testen. Hier zijn geen opmerkingen uit voort gekomen. Uit het testen van de basisvragenlijst bleek dat bij een aantal vragen de taal niet overeenkwam met de taal waarin de vragenlijst werd ingevuld. Ook kwam een aantal keer het onjuist gebruiken van leestekens, hoofdletters of spaties naar voren. 2.4 Beveiliging Ten aanzien van de beveiliging zijn de volgende acties ondernomen: Er is gebruik gemaakt van een veel voorkomende veilige opstelling van de servers. De Web servers bevinden zich in een DMZ, wat betekent dat ze gescheiden zijn van zowel het internet als het interne netwerk door middel van een firewall. De servers in het interne netwerk bevinden zich dus achter twee firewalls. Deze interne servers dienen als interviewengines (die de routing bepalen) en voor dataopslag. De firewall van DMZ naar de interne servers staat uitsluitend open op poort 80, wat een standaard-http poort is. Om te voorkomen dat respondenten vaker dan eenmaal kunnen inloggen, ontvangen respondenten een unieke inlogcode. Deze code wordt uitsluitend aan de respondent bekendgemaakt en is op de server uitsluitend in te zien als men uitgebreide rechten heeft. Er is een https (SSL) certificaat op web servers geïnstalleerd voor versleutelde overdracht tussen de cliënt (browser) en de server (applicatie) van de antwoorden gegeven door de respondent tijdens het interview. Vanaf de webservers vindt de communicatie met de interne servers volledig plaats over poort 80 (SOAP over http) Onderzoeksverantwoording NSE 2012

14 Voor het beschermen van persoonsgegevens worden antwoorden van respondenten gescheiden opgeslagen van eventuele identificerende gegevens. De definitie van de vragenlijst bevat uitsluitend de vragen, antwoordmogelijkheden en de routing door de vragenlijst en is in een eigen bestand opgeslagen. Tot de (webbased) interviewapplicatie is uitsluitend toegang te verkrijgen door het invullen van een gebruikersnaam en wachtwoord. Geen enkele vorm van informatie is beschikbaar als er geen geldige naam/wachtwoordcombinatie wordt ingevoerd. Binnen de interviewapplicatie wordt gewerkt met modules (bijvoorbeeld data-export, bewerking vragenlijst, respondentenoverzicht, scorebord) waarvoor het gebruiksrecht is verleend aan gebruikersgroepen. Een gebruiker kan deel uitmaken van geen enkele, één of meerdere groepen Onderzoeksverantwoording NSE 2012

15

16 3 Respons 3.1 Mailing In totaal zijn er mails aan studenten verstuurd, verspreid over acht perioden (alle verzonden s opgeteld). Na een initiële mailing volgden zes reminders (elke week aan alle studenten die nog niet reageerden, met uitzondering van de voorjaarsvakantie). In de reminders is een onderscheid gemaakt tussen studenten die de vragenlijst nog helemaal niet ingevuld hadden en studenten die de vragenlijst als deels hadden ingevuld. Voor deze groepen zijn aparte mailteksten gebruikt. Op de laatste dag is aan alle studenten een zevende reminder verstuurd met de mededeling dat het de laatste kans was om mee te doen aan de NSE. De mailings zijn verstuurd door het mailbedrijf ecircle. Van maandag tot en met vrijdag startte de mailing rond 9 uur s ochtends. In de start van het veldwerk werden er mails per uur verzonden. Later is dit aantal verhoogd naar per uur omdat bleek dat de servers de belasting goed aankonden. 3.2 Responspercentage In totaal zijn studenten benaderd om mee te werken aan het onderzoek (tabel 3.1). Op basis van de enquête bleek dat 0,6 procent niet tot de doelgroep behoorde (afgestudeerd, niet meer studerend). Een andere groep van studenten kwam de mail onbestelbaar retour (1,4% bounced mails). Daarnaast is tevens een groep met onder andere dubbelingen verwijderd. Deze drie groepen zijn in mindering gebracht op de populatieaantallen. De netto populatie bedraagt aldus studenten. Tabel 3.1: Responsoverzicht NSE Respons Verwijderd Respons Incomplete Complete Incomplete Complete Totaal Valide Eerste oordeelsvraag niet ingevuld Te korte invultijd Buiten de doelgroep Totaal Responspercentages N % Populatie initieel Buiten de doelgroep Populatie ontdubbeld Bounce Totaal Respons bruto (-/-buiten doelgroep) % Respons gecleaned % Unsubscribers Na sluiting van het veldwerk was door respondenten de vragenlijsten geraadpleegd. Een deel van de geraadpleegde enquêtes was niet volledig ingevuld of een hadden een te korte invultijd. Deze vragenlijsten zijn wel verwerkt, mits de eerste oordeelsvraag was ingevuld. Op basis van deze beslisregels zijn records verwijderd (4%) Onderzoeksverantwoording NSE 2012

17 3.3 Responsgedrag De respons in 2012 was wat lager dan in 2011 en Figuur 3.1 toont het percentage van de respons dat is gerealiseerd per dag en het responspercentage gerelateerd aan de populatie. In de eerste vijf weken wordt ongeveer de helft van de respons gerealiseerd. In de twee weken erna wordt nog ongeveer dertien procent van de respons gerealiseerd (vier procent van de populatie respondeert in deze periode). Dat betekent dat in deze periode de respons nog stijgt van ongeveer 27 naar ongeveer 31 procent. In vergelijking met 2011 is het percentage respons dat in de laatste dagen nog opgehaald wordt dit jaar een stuk lager Aantal per dag 2012 Respons Figuur 3.1: Responsgegevens: totale respons en respons per dag Figuur 3.2 toont de respons per dag van de week. Opvallend is dat er in vergelijking met 2010 en 2011 minder is gerespondeerd op maandag. In 2012 is er meer g d op vrijdag, vandaar dat de respons op deze dag hoger ligt dan voorgaande jaren Maandag Dinsdag Woensdag Donderdag Vrijdag Zaterdag Zondag Figuur 3.2: Respons per dag van de week 16 - Onderzoeksverantwoording NSE 2012

18 3.4 Taal, invultijd en niet compleet ingevulde vragenlijsten De enquête is geprogrammeerd in drie talen: Nederlands, Engels en Duits. Bij aanvang van de vragenlijst konden studenten een taal kiezen. In totaal vulde 91 procent de Nederlandse lijst in, 5,7 procent de Engelse en 3,6 procent de Duitse. In figuur 3.3 is de invultijd weergegeven gerelateerd aan het aantal extra vragen. Zowel het gemiddelde als de mediaan zijn getoond. De gemiddelde invultijd van alle studenten die de vragenlijst compleet hebben ingevuld bedraagt 16,7 minuten 1 (mediaan 14 minuten). 20,0 19,5 19,0 18,5 18,0 17,5 17,0 16,5 16,0 15,5 15,0 14,5 14, Gemiddelde Mediaan Lineair (Gemiddelde) Lineair (Mediaan) Figuur 3.3: De relatie tussen invultijd en het aantal extra instellingsvragen (alleen completes). Studenten die de vragenlijst niet volledig hebben ingevuld zijn deels buiten beschouwing gelaten. De eerste oordeel vraag is hierbij als kritiek punt gehanteerd. De groep studenten die wel de eerste oordeelvraag heeft ingevuld maar gaandeweg is uitgevallen, is gemiddeld na 45 vragen gestopt. Tabel 3.2 geeft het aandeel studenten weer (incompletes) naar het kritisch moment van afhaken. Zo is bijna tien procent van de incompletes al na vijftien vragen afgehaakt. Slechts vijf procent van de incompletes vulde meer dan 90 vragen in (maar minder dan 106; de complete vragenlijst). Tabel 3.2: Incompletes: moment van afhaken (% vragen ingevuld) Aantal ingevulde vragen % , , , , , ,0 meer dan 90 5,5 1 Deze systeemvariabele is opgeschoond: studenten die een waarde lager dan 5 minuten hadden en die de vragenlijst volledig hadden afgerond, zijn uit het bestand verwijderd. Omdat studenten de mogelijkheid hebben het invullen van de vragenlijst te onderbreken, is een invultijd van meer dan 30 minuten gemaximeerd op Onderzoeksverantwoording NSE 2012

19 3.5 Non-respons analyse Zoals eerder aangegeven bedraagt het bruto responspercentage van de NSE procent. Aangezien de gehele populatie is aangeschreven kan gezegd worden dat twee derde niet heeft deelgenomen aan het onderzoek. Deze groep non-respondenten bestaat uit twee groepen respondenten: de groep niet bereikte studenten en de groep weigeraars. Studenten die niet zijn bereikt betreffen studenten waarvan de uitnodiging is gebounced. De groep weigeraars bestaat uit studenten die zich hebben uitgeschreven voor deelname (unsubscribers), studenten die tijdens het invullen van de vragenlijst zijn afgehaakt (onvolledige respons) en studenten die helemaal niet hebben deelgenomen (non-respons). Om na te gaan in hoeverre de verschillende nonrespons een selectieve groep vormen in vergelijking met de responsgroep is een non-respons analyse uitgevoerd. Tabel 3.3: Typering van verschillende non-respons groepen in vergelijking met responsgroep (%) Soort hoger onderwijs Niet bereikt Weigeraars Respons Bounced Unsubscribers Onvolledig Non respons Hbo 87,3 53,9 65,0 58,9 68,1 Wo 12,7 46,1 35,0 41,1 31,9 Type hoger onderwijs Overig (oude stijl, anders) 0,3 0,8 0,5 0,6 0,4 Bachelor 91,2 78,9 87,5 83,7 85,3 Master 7,1 19,8 11,5 15,2 13,7 Associate Degree 1,4 0,4 0,5 0,5 0,6 Opleidingsvorm Vt 82,6 87,3 88,4 85,7 85,6 Dt 15,2 10,8 9,9 12,4 12,7 Du 2,2 2,0 1,6 1,9 1,7 Geslacht Man 56,5 71,1 47,9 50,4 41,3 Vrouw 43,5 28,9 52,1 49,6 58,7 Studiejaar Eerstejaars 29,5 21,7 35,8 27,9 32,2 Ouderejaars 70,5 78,3 64,2 72,1 67,8 In tabel 3.3 zien we dat de onderscheiden responsgroepen qua samenstelling behoorlijk verschillen. Daar waar bijna een derde van de respons Wo-studenten betreft, bevat de Bounced relatief minder universitaire studenten (13%). Daarentegen is het aandeel wo ers onder de unsubscribers weer wel relatief hoger. Ook het aandeel mannen en ouderejaars is relatief hoog binnen de groep unsubscribers. Sommige verschillen zijn instellingsspecifiek. Zo kunnen instellingen bijvoorbeeld verouderde mailadressen aangeleverd hebben waardoor het bounced-percentage relatief hoog is binnen de instelling. Hierdoor kunnen bovenstaande cijfers een enigszins vertekend beeld laten zien. Indien bijvoorbeeld een hogeschool met relatief veel vrouwen verouderde mailadressen heeft aangeleverd kan dit resulteren in een scheve verhouding tussen mannen en vrouwen en hbo en wo. Om deze vertekening uit te sluiten is een multinominale regressie-analyse binnen een multi-level design uitgevoerd. De resultaten hiervan zijn weergegeven in tabel Onderzoeksverantwoording NSE 2012

20 Tabel 3.4: Kans op non-respons versus respons en populatie; resultaten van een multinominale regressie-analyse binnen een multilevel structuur Bounced vs Unsubscribers vs. Unsubscribers vs. Non respons vs. Non respons vs. Onvolledige respons vs Onvolledige respons vs..populatie Bounced vs. respons populatie respons populatie respons.populatie respons B Odds B Odds B Odds B Odds B Odds B Odds B Odds B Odds Intercept -3,583 0,028 ** -2,653 0,070 ** -4,956 0,007 ** -3,721 0,024 ** -0,632 0,532 ** 0,321 1,378 ** -2,865 0,057 ** -1,777 0,169 ** Geslacht (vrouw = ref.) Man 0,113 1,120 ** 0,256 1,292 ** 0,781 2,184 ** 1,050 2,858 0,113 1,120 ** 0,393 1,482 ** -0,053 0,948 ** 0,243 1,275 ** Vorm (Vt = ref.) Dt 0,035 1,036 0,004 1,004-0,069 0,933-0,111 0,895 * 0,014 1,014 0,008 1,008-0,254 0,776 ** -0,266 0,767 ** Du 0,052 1,053 ** 0,074 1,077 0,131 1,139 * 0,204 1,226 * 0,037 1,038 ** 0,119 1,126 ** -0,156 0,856 ** -0,061 0,941 Studiejaar (Eerstejaars = ref.) Ouderejaars 0,011 1,011 0,046 1,047 0,298 1,347 ** 0,374 1,453 ** 0,066 1,068 ** 0,183 1,201 ** -0,262 0,769 ** -0,166 0,847 ** Type ho (Ba = ref.) Oude stijl -0,032 0,968-0,067 0,935 0,093 1,097 0,024 1,024-0,033 0,967-0,052 0,949 0,041 1,042-0,013 0,987 Master 0,283 1,327 ** 0,240 1,271 ** 0,154 1,166 ** 0,049 1,050-0,063 0,939 ** -0,107 0,898 * -0,185 0,831 ** -0,279 0,757 Ad -0,220 0,803-0,175 0,840-0,011 0,989 0,143 1,154 0,084 1,088 * 0,260 1,297 * -0,049 0,952 0,095 1,100 Soort Ho (Hbo = ref.) Wo -0,529 0,589-0,529 0,589 0,258 1,294 * 0,221 1,247 0,096 1,101 0,235 1,264 0,028 1,028 0,155 1,168 * N Respondenten N Opleidingen N Instellingen Variantie niveau 1 & 2 0,332 ** 0,437 ** 0,210 ** 0,301 ** 0,013 ** 0,216 ** 0,025 ** 0,084 ** Variantie niveau 3 5,150 ** 5,484 ** 0,625 ** 0,883 ** 0,422 ** 0,709 ** 0,039 ** 0,046 ** ** Significant bij p>.001; * significant bij p>.005

21 Binnen een multinominale regressie-analyse worden telkens twee opties tegen elkaar uitgespeeld. Hierbij wordt onderscheid gemaakt tussen de verschillende non-respons groepen enerzijds en de responderende groep en populatie anderzijds. Op persoons-, opleidings-, en instellingskenmerken wordt gekeken in hoeverre beide groepen (non respons / respons-populatie) van elkaar verschillen indien deze gezamenlijk geanalyseerd worden. Kijken we naar de kans op Bounce dan zien we dat zowel in vergelijking met de populatie als geheel als met de responsgroep er relatief veel mannen en veel master studenten een bounce mail hebben gehad. Verder lijkt het krijgen van een bounced mail een kwestie van toeval, dan dat er duidelijke patronen kunnen worden onderscheiden. Zetten we de unsubscribers af tegen de populatie en de responsgroep dan zien we dat mannen, duale- en ouderejaars studenten zich vaker uitschrijven. De kans voor mannen om zich uit te schrijven is twee keer zo hoog dan voor vrouwen. Hierbij moet opgemerkt worden dat het aandeel uitschrijvers op de totale nonrespons groep relatief klein is (+/- 2%) en de kans om je überhaupt uit te schrijven dus ook. De grootste groep non-respondenten bestaat uit studenten die wel de mail heeft ontvangen, zich niet heeft uitgeschreven en de vragenlijst niet heeft ingevuld. De groep behelst ongeveer 90 procent van de totale groep non-respondenten. Deze groep omvat relatief veel mannen, ouderejaars en duale studenten. De kansverhoudingen (odds) om in de ene of andere groep te ze zitten zijn weliswaar significant, maar ze zijn maar klein. Zo is de kans voor een man om niet te hebben gereageerd slechts 1,1 keer groter dan dat die voor vrouwen is. Tot slot is de groep mensen die die vragenlijst niet volledig heeft ingevuld afgezet tegen de populatie en de responsgroep. Opvallend hierbij is dat de groepen die in eerdere analyses oververtegenwoordigd waren bij de non-respons juist vaker de hele vragenlijst invullen. Met andere woorden, op het moment dat mannen, deeltijders en ouderejaars eenmaal starten met de vragenlijst, is de kans groter dat ze hem ook volledig invullen. Geconcludeerd kan worden dat de non-respons, een selecte groep is, zowel bij de niet bereikte studenten als bij de niet willende studenten. Grosso modo bestaat de non-responsgroep relatief veel uit mannen, ouderejaars, master-studenten en studenten die een duaal traject volgen. De kansverhoudingen (odds) zijn echter niet schrikbarend hoog. Dit wil zeggen dat de verschillen in samenstelling tussen non-respons en respons / populatie wel significant aanwezig zijn, maar dat ze maar klein zijn. Opgemerkt moet worden dat in deze analyse niet is gekeken naar de impact op de resultaten van deze scheve verdeling. Hier is een non-respons onderzoek voor nodig waarbij de beoordeling van de opleiding van non-respondenten wordt vergeleken met dat van de responderende groep. 3.6 Responsoverzichten Wekelijks ontvingen alle instellingen eigen responsoverzichten (zie voor een voorbeeld figuur 3.4). Dit responsoverzicht bevatte per opleiding, zowel totaal als uitgesplitst naar opleidingsvorm, alle populatie- en responsaantallen en de responspercentages, de totalen per instelling, het aantal unsubscribers en het landelijke totaal. De responsoverzichten, die beschikbaar waren via een inlogcode, konden worden geëxporteerd naar Excel Onderzoeksverantwoording NSE 2012

22 Figuur 3.4: Voorbeeld responsoverzicht per opleiding voor instellingen Op is bovendien een openbaar responsbestand geplaatst met de responspercentages per instelling (figuur 3.5) Figuur 3.5: Voorbeeld openbaar responsoverzichten 21 - Onderzoeksverantwoording NSE 2012