NSE Onderzoeksverantwoording. Onderzoek in opdracht van Studiekeuze123 Anja van den Broek & Marjolein Muskens

Transcriptie

1 NSE 2010 Onderzoeksverantwoording Onderzoek in opdracht van Studiekeuze123 Anja van den Broek & Marjolein Muskens ResearchNed augustus 2010

2 2010 ResearchNed Nijmegen in opdracht van Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder nauwkeurige bronvermelding. 1 - Onderzoeksverantwoording NSE 2010

3 Inhoudsopgave 1 Voorbereiding Voorbereiding mailing Technische infrastructuur en tests Enquête Mailings 9 2 Respons Responsverloop Cleaning Typering van respons en non-respons naar studentkenmerken 14 3 Weging Multilevel Dilemma s en keuzes Resultaten weging 17 4 Schaalconstructies en betrouwbaarheid Schaalconstructies Betrouwbaarheidsmarges Opname van de Nationale Studentenenquête 2010 in de Studiekeuzedatabase 22 5 Overige publicaties Openbaar bestand (benchmarkbestand) Instellingsbestand Wetenschappelijk bestand NSE Online NSE-factsheets Standaardrapportages onderzoeksverantwoording nse 2010 v3

4 1 Voorbereiding 1.1 Voorbereiding mailing In de periode september 2009-januari 2010 is intensief contact gezocht met de instellingen voor hoger onderwijs. Allereerst is in de informatiebijeenkomst van 13 oktober 2009 de vernieuwde opzet van de NSE toegelicht. Door middel van nieuwsbrieven, de website studiekeuzeinformatie en persoonlijke contacten is in de periode daarna gestart met de werving van instellingen. Bij alle instellingen zijn contactpersonen benoemd. Hiervan is een contactpersonenlijst beschikbaar die voor alle informatieve mailings en overige communicatieactiviteiten is gebruikt. In totaal hebben in de genoemde periode 86 instellingen e- mailadressen aangeleverd van studenten (zie onderstaand overzicht). Overzicht 1: Deelname NSE Academie voor Wetgeving (74) ArtEZ Hs. voor de Kunsten (3.062) Avans Hs. 's-hertogenbosch (8.593) Avans Hs. Breda-Tilburg (13.933) Azusa Theologische Hs. (60) Christelijke Agrarische Hs. (1.415) Christelijke Hs. Ede (3.860) Christelijke Hs. Windesheim (19.124) Codarts Hs. voor de Kunsten (1.071) De Haagse Hs. (20.337) Driestar educatief (1.250) Driestar Educatief (97) Fontys Hs. (14.667) Fontys Hs. Pabo Eindhoven (947) Fontys Hs. Pabo Limburg (435) Fontys Hs. 's-hertogenbosch (507) Fontys Hs. Sittard (1.259) Fontys Hs. Tilburg (16.492) Fontys Hs. Venlo (2.820) Fontys Pedagogisch Technische Hs. (619) Gereformeerde Hs. (1.342) Gereformeerde Hs. (19) HanzeHs. Groningen (24.197) HAS Den Bosch (1.597) HBO Nederland (1.351) Hs. Domstad (824) Hs. Edith Stein/Onderwijscentrum Twente (994) Hs. Gorinchem IDE bv (17) Hs. Helicon (176) Hs. INHOLLAND (33.239) Hs. IPABO Amsterdam Alkmaar (1.729) Hs. Leiden (7.110) Hs. Notenboom (231) Hs. Rotterdam (28.711) Hs. Schoevers (352) Hs. Schumann Akademie (288) Hs. TIO (1.182) Hs. Utrecht (33.585) Hs. van Amsterdam (40.466) Hs. van Arnhem en Nijmegen (28.918) Hs. van Beeldende Kunsten, Muziek en Dans (1.804) Hs. voor de Kunsten Utrecht (3.855) Hs. voor Ped. en Sociaal-Agog. Onderw. Groningen (68) Hs. Wittenborg (132) Hs. Zeeland (3.644) Hs. Zuyd (14.224) INHOLLAND Select Studies (48) Internationale Agrarische Hs. Larenstein (1.906) Iselinge Hs. (546) IVA Driebergen (567) Katholieke PABO Zwolle (628) Markus Verbeek Praehep (1.887) Marnix Academie (1.067) NHTV internationale Hs. Breda (6.679) Noordelijke Hs. Leeuwarden (10.473) Pedagogische Hs. De Kempel (858) Saxion Hs. Deventer (5.993) Saxion Hs. Enschede (14.147) Saxion Next (944) Stenden Hs. (CHN) (7.403) Stenden Hs. (Hs. Drenthe) (2.183) Stichting Hoger Onderwijs NOVI (550) Stichting Hs. van Amsterdam (37) Stichting NTI Hs. (2.523) Stoas Hs. (732) The New School for Information Services (64) Van Hall Instituut (1.953) Erasmus Universiteit Rotterdam (20.596) Nyenrode Business Universiteit (4.044) Open Universiteit Nederland (5.016) Protestantse Theologische Universiteit (383) Radboud Universiteit Nijmegen (19.775) Rijksuniversiteit Groningen (28.847) Technische Universiteit Delft (16.301) Technische Universiteit Eindhoven (6.336) Theologische Univ. vd Geref. Kerken (vrijg.) Ned. (87) Transnationale Universiteit Limburg (102) Universiteit Leiden (18.777) Universiteit Maastricht (13.132) Universiteit Twente (8.462) Universiteit Utrecht (29.992) Universiteit van Amsterdam (30.689) Universiteit van Tilburg (13.824) Universiteit voor Humanistiek (340) Vrije Universiteit Amsterdam (23.126) Wageningen Universiteit (5.445) 3 - Onderzoeksverantwoording NSE 2010

5 De upload van de adressen vond plaats in een beveiligde omgeving via een uploadfaciliteit op De instellingen konden hiervoor een inlogcode en wachtwoord aanvragen. Ondanks instructies voor de bestandsstructuur, waren niet alle bestanden gelijkvormig. De bestanden zijn allemaal in excelformaat geplaatst en met behulp van spss-syntaxen eenvormig gemaakt en aan elkaar gekoppeld. Aan alle velden zijn labels toegevoegd, de adressen zijn gecontroleerd op ongeoorloofde karakters. Voor alle mutaties na dit bestand zijn nieuwe versies aangemaakt; alle mutaties zijn gekoppeld aan deze versies opgeslagen in spss-syntaxen en volledig reproduceerbaar. Vervolgens zijn de combinaties CROHO, Brin en locatie vergeleken met het CROHO. Ongeldige combinaties zijn (indien mogelijk) gecorrigeerd (bijvoorbeeld typefouten in CROHO-codes etc.) of voorgelegd aan de contactpersonen. Historische codes zijn geaccepteerd. 1.2 Technische infrastructuur en tests In de periode oktober-december 2010 is een geheel nieuwe technische infrastructuur ingericht en getest om grote volumes de kunnen verwerken. Deze infrastructuur is ingericht door drie externe bedrijven (Artax B.V.: IBM partner met tien jaar ervaring doet applicatiebeheer en monitoring 24/7; VDB Automatisering BV: Microsoft Gold Certified Partner Networking Solutions: ontwerp, installatie en beheer van de infrastructuur; InterConnect Services BV : Datacenter faciliteiten en Internet access). Voor het veldwerk is gebruik gemaakt van SPSS Dimensions. Dimensions is een cluster van interviewmachines, waarbij de interviewcapaciteit lineair kan worden uitgebreid door het toevoegen van extra hardware. Het cluster bestaat uit machines die elk één van drie mogelijke taken verrichten: respondentverbindingen, vragenlijstbeheer en management/dataopslag. Techniek is zoveel mogelijk gestandaardiseerd; MS Windows servers en applicatie geschreven in Net framework. Bovendien zijn web servers standaard IIS servers. Alle vragen worden gepresenteerd in standaard HTML (XHTML v. 3), aangevuld met images in jpg of png formaat. De HTML bevat geen browserspecifieke onderdelen. Het bestandsformaat van de verzamelde data bij export is een (SPSS) sav-bestand. Omdat Dimensions onderdeel is van de datacollectie software-suite van SPSS, is de correctheid van het beschikbare SAVbestand optimaal. Bestandsformaat van de vragenlijst is XML met een volledige beschrijving. Tijdens de uitgevoerde tests is gebleken dat per interviewserver minimaal 400 simultane verbindingen mogelijk zijn binnen de gestelde criteria. Voor de tests waren drie webservers met een loadbalancing device beschikbaar. De gebruikersinterface (werkomgeving) voor vragenlijstprogammeurs- en applicatiebeheerders is een capaciteitvergende applicatie. Mede om die reden is besloten om beide applicatieservers dubbel uit te voeren en op beide machines inloggen mogelijk te maken. De betrouwbaarheid van de technische infrastructuur is gewaarborgd door het plaatsen van een monitoringapplicatie op alle operationele machines om eventuele problemen met de capaciteit van de clusters in een vroeg stadium te zien aankomen. Alle machines zijn permanent gecontroleerd op de volgende parameters: CPU load, Memory Free, Network traffic Volume, Disk free. Op deze parameters zijn alarms ingesteld waardoor de beheerders automatisch op de hoogte worden gesteld van afnemende performance, problemen of uitval. In geval van uitval van machines binnen de infrastructuur zijn de volgende voorzieningen getroffen: Uitval van een webserver: via loadbalancing worden interviews automatisch doorgezonden naar twee andere identieke machines tot het moment dat de uitgevallen machine zich weer aanmeldt. Machines herstellen zelf de verbinding met de overige machines in het cluster. Uitval van de secundaire applicatieserver: de interviews verplaatsen automatisch naar een andere beschikbare applicatieserver. 4 - Onderzoeksverantwoording NSE 2010

6 Uitval van de primaire applicatieserver: het gehele cluster komt tot stilstand en een herstartprocedure is noodzakelijk. In het geval een herstartprocedure niet mogelijk is, kan een master image van deze virtuele machine worden geactiveerd waarmee het cluster weer operationeel is. Uitval van de database server: er is een tweede mirror database server die continu een exacte kopie bevat van de operationele database server. Zodra hiermee een probleem optreedt, kan besloten worden om de mirror database server in te zetten, zonder dataverlies en met een minimale downtime. De applicatieservers zullen tijdens de downtime een buffer aanleggen van gegeven antwoorden en deze doorzenden aan de SQL server zodra deze weer online is. Lopende interviews kunnen normaal verdergaan, nieuwe interviews zijn niet te starten (afwezigheid van de authenticatietabel op de SQL server). In geval van een volledige onbereikbaarheid van het cluster, kan worden teruggevallen op het off-site backup cluster. Als dit het geval is, wordt de URL (link) in de portals aangepast aan het adres van het backup cluster. Het is mogelijk om wijzigingen in de vragenlijst aan te brengen zonder downtime en zonder gevolgen voor de reeds verzamelde data. Omdat het mogelijk is dat de vragenlijst in productie is bij het maken van wijzigingen, is het aantal wijzigingen tot uitsluitend het noodzakelijke beperkt. In het geval dat een respondent de vragenlijst onderbreekt, kan deze bij terugkeer hervat worden op het punt van de laatst gestelde vraag. Alle beheer, wijzigingen en reparaties in de applicatie zijn op afstand uitgevoerd. In geval van een onaanvaardbaar lange uitval van de gehele applicatie, bijvoorbeeld door onvoorziene hardwareproblemen van het datacenter, kon worden teruggevallen op een alternatieve server in een tweede datacenter. Deze server werd gedurende het onderzoek permanent gesynchroniseerd met de data die zich op het productiecluster bevinden. Dit geschiedde door middel van SQL server replicatie. De backupserver heeft een minder grote capaciteit, maar dat levert uitsluitend een beperking op bij overname van de functionaliteit tijdens piekuren. Van bovenstaande faciliteiten is zeer weinig gebruik gemaakt. Twee maal is één van de servers herstart vanwege onvoldoende performance. Twee maal is de vragenlijst aan gepast (één keer is een typefout gecorrigeerd en één keer is een Duitse vertaling live gezet). Voor de gehele technische infrastructuur zijn SPF s (Single Point of Failure) geïdentificeerd en voor ieder punt is een oplossing gekozen waardoor downtime voorkomen wordt of tot het minimum beperkt wordt. portal op alle drie de webservers; drie identieke web servers; twee (virtuele) interviewmachines voor snelle vervanging bij uitval; één + één sql-server met mirroring; firewalls en internetlijnen dubbel uitgevoerd in failover configuratie; data worden gespiegeld op de tweede sql-server en door de off-site fallback server; het cluster is dubbel uitgevoerd. De tests zijn uitgevoerd op de feitelijke vragenlijst; testantwoorden zijn uitsluitend voorzien van een testvlag, zodat deze eruit gefilterd kunnen worden bij export van de antwoorden. De feitelijke interviewdata bevatten informatie over hoe de vraag is beantwoord en of deze door een respondent of een script is ingevuld. Vragen vallen onder versiebeheer waardoor niets kan verdwijnen of gemanipuleerd worden zonder bewijs. Gegevens die de respondenten kunnen identificeren en eventueel een koppeling mogelijk maken tussen individuen en hun gegeven antwoorden, zijn gescheiden opgeslagen van de antwoorden. Alleen personen die toegang hebben tot beide soorten gegevens kunnen een koppeling maken. De toegang hiertoe kan worden gescheiden door het rechtenbeheer binnen Dimensions. Informatie over het collectieproces zelf wordt opgeslagen bij de antwoorden van de respondent en kan worden meegenomen in de data-export. Parameters die hierbij worden meegenomen zijn onder andere: de begin- en eindtijd van het invullen van de vragenlijst; de bron van de antwoorden (of ze door een respondent zijn ingevuld of door het script); 5 - Onderzoeksverantwoording NSE 2010

7 de versie van de vragenlijst die is gebruikt voor het interview; de wijze van datacollectie (om onderscheid te kunnen maken tussen feitelijke interviewdata en handmatig toegevoegde data); het volgnummer van de respondent; de identificatiecode gebruikt door de respondent; met deze code kan een verband gelegd worden met de respondentgegevens (bijv. adres) indien deze toegankelijk zijn. De applicatie is voorzien van een integraal logboek, waarbij vrijwel alle handelingen van zowel applicatiegebruikers als respondenten geregistreerd worden. Opgeslagen wordt onder andere: log van activiteiten door onderzoekers/applicatiegebruikers; log van inlogpogingen door respondenten; log binnen de vragenlijst: vrij invulbaar door de auteur van de vragenlijst. Het proces van invullen van alle respondenten wordt bijgehouden in een afzonderlijke tabel voor toegangsbeheer (authenticatie) en voortgangsbewaking (status). Deze tabel staat overigens los van eventuele antwoorden van respondenten. Ten aanzien van de beveiliging zijn de volgende acties ondernomen: Er is gebruik gemaakt van een veel voorkomende veilige opstelling van de servers. De Web servers bevinden zich in een DMZ, wat betekent dat ze gescheiden zijn van zowel het internet als het interne netwerk door middel van een firewall. De servers in het interne netwerk bevinden zich dus achter twee firewalls. Deze interne servers dienen als interviewengines (die de routing bepalen) en voor dataopslag. De firewall van DMZ naar de interne servers staat uitsluitend open op poort 80, wat een standaard-http poort is. Om te voorkomen dat respondenten vaker dan eenmaal kunnen inloggen, ontvangen respondenten een unieke inlogcode. Deze code wordt uitsluitend aan de respondent bekendgemaakt en is op de server uitsluitend in te zien als men uitgebreide rechten heeft. Er is een HTTPS (SSL) certificaat op web servers geïnstalleerd voor versleutelde overdracht tussen de client (browser) en de server (applicatie) van de antwoorden gegeven door de respondent tijdens het interview. Vanaf de webservers vindt de communicatie met de interne servers volledig plaats over poort 80 (SOAP over HTTP). Voor het beschermen van persoonsgegevens worden antwoorden van respondenten gescheiden opgeslagen van eventuele identificerende gegevens. De definitie van de vragenlijst bevat uitsluitend de vragen, antwoordmogelijkheden en de routing door de vragenlijst en is in een eigen bestand opgeslagen. Tot de (webbased) interviewapplicatie is uitsluitend toegang te verkrijgen door het invullen van een gebruikersnaam en wachtwoord. Geen enkele vorm van informatie is beschikbaar als er geen geldige naam/wachtwoord combinatie wordt ingevoerd. Binnen de interviewapplicatie wordt gewerkt met modules (bijvoorbeeld data-export, bewerking vragenlijst, respondentenoverzicht, scorebord) waarvoor het gebruiksrecht is verleend aan gebruikersgroepen. Een gebruiker kan deel uitmaken van geen enkele, één of meerdere groepen. De volgende tests zijn succesvol afgerond: Om de capaciteit te bepalen is ten eerste vastgesteld dat een respondent maximaal twee seconden mag wachten op het tonen van een vraag. Als deze tijd langer is dan twee seconden, neemt het risico toe dat respondenten de vragenlijst niet afmaken. Er is door ResearchNed een analyse uitgevoerd op historische data om te bepalen wat de te verwachten belasting binnen een dag is op de servers (simultane interviews). De uitnodigingen werden verspreid verstuurd (dagelijks 3 x ) om de belasting zoveel mogelijk gelijkmatig te verdelen over de dag en op deze manier pieken in het aantal simultane interviews zoveel mogelijk te voorkomen. 6 - Onderzoeksverantwoording NSE 2010

8 SPSS Load Tool: voor het testen van een Dimensions-applicatie heeft SPSS een eigen applicatie beschikbaar, die een aantal interviews kan simuleren en dit gedurende een vooraf ingestelde periode of voor een ingevoerd aantal interviews uitvoert. Aangezien de loadbalancer het IP-adres van de respondent analyseert, is de loadtest van vier verschillende IP-ranges uitgevoerd. Dit zorgde ervoor dat de belasting over de drie webservers werd verdeeld. Het testen van de functionaliteit na oplevering van de applicatie is gedaan door middel van een testvragenlijst die was voorzien van images. Testen op correcte werking gebeurde vanaf zes locaties. Daarnaast is gekeken naar het vinden van de URL en de (correcte) weergave van illustraties van interviewsjablonen. Er is een export gemaakt van de testdata, om te valideren dat het bestand dat het onderzoek produceert, leesbaar en volledig is. Figuur 1: Schematische weergave van dedicated technische infrastructuur voor de NSE Onderzoeksverantwoording NSE 2010

9 1.3 Enquête Door verschillende veranderingen in het hoger onderwijs is de behoefte ontstaan om de Nationale Studentenenquête (NSE) te vernieuwen. De vernieuwing van de NSE was een opdracht van Stichting Studiekeuze123 en was ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studenttevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen en ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Daarnaast lag de nadruk op het ontwikkelen van een vragenlijst die zowel beter zou aansluiten bij de behoeften van de instellingen (gegevens voor kwaliteitszorg) alsook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. Ten slotte is ernaar gestreefd de nieuwe vragenlijst niet langer dan vijftien minuten te laten duren om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Om tot een nieuwe vragenlijst te komen is allereerst een inventarisatie uitgevoerd van de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen (STO, Haagse Hogeschool, Universiteit Utrecht), en tot internationale studentenenquêtes zoals het onderzoek van het CHE in Duitsland en van HEFCE in Groot-Brittannië en Ierland. Op basis van deze inventarisatie is een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is rekening gehouden met de behoeften van studiekiezers die uit eerdere onderzoeken naar voren zijn gekomen. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema s van de STO in de nieuwe NSE zijn opgenomen. Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin gebaseerd op de inventarisatie een groot aantal belangrijke hoofd- en subthema s voor de nieuwe NSE is opgenomen. Om de nieuwe NSE aan te laten sluiten bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg is deze groslijst aan deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek werd opgezet als een online vragenlijst waarbij aan de deelnemers voor elk hoofdthema en subthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit thema vonden voor de nieuwe NSE. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo en zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. Alle thema s die door een duidelijke meerderheid van de deskundigen (75% of meer) als belangrijk werden beschouwd zijn opgenomen in een eerste conceptvragenlijst voor de nieuwe NSE. Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer werd genoemd. Dit resulteerde in dertien hoofdthema s en 62 subthema s voor de eerste conceptvragenlijst. Om ook rekening te houden met de behoeften van de studiekiezer zijn daarnaast twee hoofd- en negen subthema s toegevoegd die volgens eerder onderzoek door deze groep als belangrijk worden ervaren. Aan de hand van de resultaten uit het delphi-onderzoek is vervolgens een eerste conceptvragenlijst ontwikkeld. Alle items uit de lijst zijn op basis van verschillende criteria met betrekking tot contextgebondenheid, taalgebruik, meetniveau en gebruikte antwoordcategorieën geëvalueerd en uitgewerkt. 8 - Onderzoeksverantwoording NSE 2010

10 Om tot een gefundeerde keuze voor een geschikte antwoordschaal voor de nieuwe NSE te komen is daarnaast een experimenteel onderzoek uitgevoerd waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. In het onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken op vijf verschillende schalen: tienpuntschaal, zespuntschaal, vijfpuntschaal, vijfpunt-likertschaal en open rapportcijfer. Uit de resultaten bleek dat de antwoorden op de vijfpuntschaal en de Likertschaal het minst scheef verdeeld waren. Ook wordt zowel in het STO als in twee internationale vragenlijsten gebruik gemaakt van een vijfpuntschaal. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. Omdat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter en de vragen daardoor niet neutraal zijn geformuleerd, is het advies uitgesproken om voor de nieuwe NSE gebruik te maken van een neutrale vijfpuntschaal. Dit onderzoek gaf tevens inzicht in transformatieformules die gebruikt kunnen worden om in de toekomst resultaten van de NSE en STO in de tijd te vergelijken ondanks een mogelijke trendbreuk ten gevolge van het gebruik van andere antwoordschalen. De eerste conceptvragenlijst is vervolgens getest onder studenten. Over het algemeen was de indruk van de studenten over de conceptvragenlijst positief. De vragenlijst was volgens hen helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen werden herhaald en dat sommige vragen beter en/of anders geformuleerd konden worden. De invultijd bleek ongeveer tien minuten. De eerste conceptvragenlijst is naar aanleiding van het commentaar van de studenten verder uitgewerkt tot een definitieve conceptvragenlijst. De enquête is geprogrammeerd in Dimensions van SPSS. In eerste instantie is de enquête in twee talen gemaakt (Nederlands en Engels). Dit gold ook voor de extra vragen. De Hogeschool van Arnhem en Nijmegen is pas per 1 maart gestart met het veldwerk. Zij hebben nadrukkelijk verzocht de enquête ook in de Duitse taal aan te maken. In een van de eerste versies van het plan van aanpak is dit toegezegd. Dat betekent dat gedurende de loop van het veldwerk een Duitstalige versie van de vragenlijst is opgesteld. De studenten konden in een beginscherm de gewenste taal aangeven. Alle data zijn in één database weggeschreven. In totaal vulde 93 procent de Nederlandse lijst in, 5,7 procent de Engelse en 1,3 procent de Duitse. De enquête is uitgebreid getest volgens een vast protocol op inhoud, routing, functionaliteiten en design. Alle testresultaten zijn gearchiveerd in een logboek en verwerkt in de enquête. 1.4 Mailings Vanwege het grote volume aan te verzenden s werd gebruik gemaakt van een externe provider (Zoomio) die het verzenden heeft verzorgd. Van deze provider is in het verleden al gebruik gemaakt, waarbij Zoomio heeft aangetoond over de vereiste capaciteit te beschikken. Op verzoek van de instellingen zijn de mailings per instelling uitgevoerd. Hiervoor zijn mailbatches aangemaakt. Om de relatie met de data in het verleden te waarborgen (terugrekenen naar een rapportcijfer en relatie met STO-vragen) kregen alle respondenten random drie STO-vragen en drie NSE-vragen in de vorm van een rapportcijfer aangeboden. De helft van de respondenten kreeg deze vragen aan het begin van de vragenlijst; de andere helft aan het eind. Alle respondenten zijn random toegewezen aan een groep (in totaal 60 groepen). De mailings vonden plaats in een tweewekelijkse cyclus: één initiële mailing en vier rappels. Op de sluitingsdatum (12 april) is nogmaals aan alle studenten die nog niet hadden gerespondeerd één grote reminder gestuurd. Per keer is voor Zoomio een verzendschema aangemaakt. De data in dit mailschema werden ook gecommuniceerd aan de instellingen. Gebruik van privéadressen is altijd afgestemd met de instellingen. De instellingen konden een eigen tekstregel in de mailing laten opnemen en de uitnodiging laten ondertekenen door een persoon binnen de instelling (bijv. een bestuurder). Ongeveer twintig hogescholen maakten hiervan gebruik (ArtEZ, Avans, Christelijke Hogeschool Ede, Christelijke Hogeschool Windesheim, Fontys, Gereformeerde Hogeschool, Hanzehogeschool, HBO Nederland, Hogeschool Edith Stein, Hogeschool TIO, Hogeschool Utrecht, Hogeschool van Amsterdam, INHOLLAND, Internationale Agrarische Hogeschool, Iselinge Hogeschool, Marnix Academie, Saxion, Technische Universiteit Delft, Universiteit van Amsterdam, Van Hall/Larenstein). 9 - Onderzoeksverantwoording NSE 2010

11 Instellingen kregen daarnaast de mogelijkheid om eigen vragen toe te voegen. Hiervan maakten vijftien instellingen gebruik (Christelijke Hogeschool Ede, Fontys, HAN, Hanzehogeschool, Hogeschool voor de Kunsten Utrecht, Hogeschool Utrecht, Hogeschool van Amsterdam, INHOLLAND, Saxion, Stenden, Technische Universiteit Delft, Universiteit Leiden, Universiteit Utrecht, Universiteit van Amsterdam, Vrije Universiteit). Zij voegden in totaal 377 vragen toe. Aan alle instellingen is meermaals het verzoek gedaan tot configuratie van de spamfilters (toevoegen van aan de whitelist of toegestane adressen van het spamfilter). Studenten konden zich afmelden voor het onderzoek door middel van een knop onderaan de uitnodigingsmail. Alle bouncers zijn geregistreerd en geanalyseerd. Wekelijks zijn van Zoomio bestanden met unsubscribers en bouncers ontvangen. Indien het aantal bouncers binnen een instelling groot was, is met deze instelling contact gezocht. Alle unsubscribers (in totaal 2.183) zijn buiten de mailings gehouden Onderzoeksverantwoording NSE 2010

12 2 Respons 2.1 Responsverloop Per dag zijn er ongeveer mailings verzonden (in batches van 3 x ). De laatste dag (12 april) is nog één grote mailing verstuurd. Die leverde nog ruim respondenten op. Deze laatste mailing buiten beschouwing gelaten, kwam dit neer op een gemiddelde respons van zes procent per dag (zie Tabel 1). Tabel 1: Responsverloop NSE per dag Datum Verstuurd Resp. % Datum Verstuurd Resp. % maandag 1 februari % dinsdag 9 maart % dinsdag 2 februari % woensdag 10 maart % woensdag 3 februari % donderdag 11 maart % donderdag 4 februari % vrijdag 12 maart % vrijdag 5 februari % zaterdag 13 maart zaterdag 6 februari zondag 14 maart zondag 7 februari maandag 15 maart % maandag 8 februari % dinsdag 16 maart % dinsdag 9 februari % woensdag 17 maart % woensdag 10 februari % donderdag 18 maart % donderdag 11 februari % vrijdag 19 maart % vrijdag 12 februari % zaterdag 20 maart zaterdag 13 februari zondag 21 maart zondag 14 februari maandag 22 maart % maandag 15 februari % dinsdag 23 maart % dinsdag 16 februari % woensdag 24 maart % woensdag 17 februari % donderdag 25 maart % donderdag 18 februari % vrijdag 26 maart % vrijdag 19 februari % zaterdag 27 maart zaterdag 20 februari zondag 28 maart zondag 21 februari maandag 29 maart % maandag 22 februari % dinsdag 30 maart % dinsdag 23 februari % woensdag 31 maart % woensdag 24 februari % donderdag 1 april % donderdag 25 februari vrijdag 2 april % vrijdag 26 februari % zaterdag 3 april zaterdag 27 februari zondag 4 april zondag 28 februari maandag 5 april maandag 1 maart % dinsdag 6 april % dinsdag 2 maart % woensdag 7 april % woensdag 3 maart % donderdag 8 april % donderdag 4 maart % vrijdag 9 april % vrijdag 5 maart % zaterdag 10 april zaterdag 6 maart zondag 11 april zondag 7 maart maandag 12 april % maandag 8 maart % dinsdag 13 april Wekelijks (op vrijdag) zijn responsoverzichten per opleiding online gezet, die instellingen door middel van een wachtwoord konden raadplegen. Het responsoverzicht per instelling is wekelijks op de openbare website geplaatst Onderzoeksverantwoording NSE 2010

13 Figuur 2 toont het aantal respondenten per week. De tweede week leverde de hoogste responsaantallen op (de laatste week buiten beschouwing gelaten). De responsaantallen lopen langzaam af gedurende het veldwerk Figuur 2: Responsverloop NSE per week Figuur 3 toont de responsaantallen per week. Op maandag is deze het hoogst. Dit heeft onder andere te maken met het feit dat in maart de HAN in de nacht van zondag op maandag wekelijks extra is g d. In het weekend was de respons laag, met name omdat er geen mailings hebben plaatsgevonden. Mede gezien de positieve ervaringen met de technische infrastructuur, de kwaliteit van de mailings en de geringe problemen met spamfilters kan op basis hiervan besloten worden om in 2011 grotere mailings te verzenden en ook in het weekend te mailen. Hiermee kan de doorlooptijd worden verkort van tien naar acht weken Ma Di Wo Do Vr Za Zo Figuur 3: Responsverloop NSE per dag van de week Bij sluiting van het veldwerk hadden studenten de vragenlijst ingevuld dan wel op enig moment geopend. Door middel van een opschoningsoperatie is in een aantal stappen zowel de valide populatie alsook de valide respons berekend Onderzoeksverantwoording NSE 2010

14 2.2 Cleaning In de ochtend van 13 april is de enquête gesloten. Op dat moment hadden studenten de vragenlijst op enig moment geopend. Hiervan vielen buiten de doelgroep (niet meer studerend, onterecht benaderd). De volgende opschoningsoperatie is uitgevoerd: opleiding en instelling uit croho gecorrigeerd; opleiding en locatie uit open vragen gecorrigeerd; correctie zelf aangegeven opleidingen; bekostiging toegevoegd; Croho-sector Cfi toegevoegd; Croho-sector uit Croho toegevoegd; fixus-informtie toegevoegd; CBS-gegevens stedelijkheid en landsdeel op basis van gemeentecode toegevoegd; missings van de tevredenheidsvragen berekend; scores niet van toepassing gehercodeerd; cleaning handicap (berekening belangrijkste handicap en aard van de handicap); analyse en rubricering open vragen handicap; huur: bovenste (> 550) en onderste (< 150) 1 procent verwijderd; bachelor-master aangemaakt; SoortHo aangemaakt; bestuursbrin aangemaakt; studiejaar: alle masters en oude stijl worden ouderejaars; geslacht opschoning: uit populatiebestand; als het ontbreekt uit respondentbestand; opleidingsvorm uit populatiebestand; als het ontbreekt uit respondentbestand; niet-bestaande opleidingsvormen gecorrigeerd.; leeftijd uit populatiebestand; als het ontbreekt uit respondentbestand en gecorrigeerd; vooropleiding uit populatiebestand; als het ontbreekt uit respondentbestand, daarna gecorrigeerd; etniciteit uit populatiebestand; als het ontbreekt uit respondentbestand op basis van CBS-definitie; laatste opschoning ongeldige combinaties (handmatig voorbereid); valide combinaties uit Croho gecontroleerd; van de instellings- en opleidingslabels namen aangemaakt als extra veld; te korte invultijd (minder dan 5 minuten) voor de completes verwijderd; respondenten die geen enkele oordeelsvraag hebben ingevuld verwijderd; respondenten die buiten de doelgroep vallen (direct naar het einde) verwijderd (dit waren studenten: op basis hiervan is ook de populatieomvang gecorrigeerd met 1%); responsdatum aangemaakt; uiteindelijke controle van opleiding- en instellings-, locatie en opleidingsvormcombinaties. Tabel 2 geeft een overzicht van de totale responsaantallen vóór en na datacleaning. De ongeschoonde respons is vastgesteld op 37 procent. De cleaning leverde een opgeschoond databestand op van records (de bruikbare respons). In totaal zijn records verwijderd vanwege onbetrouwbaarheid of onvolledigheid. Na deze cleaning zijn op basis van opmerkingen uit het veld nog marginale correcties toegepast. Alle correcties zijn gearchiveerd en gedocumenteerd in syntaxen en volledig reproduceerbaar. Alle tussentijdse bestanden zijn voorzien van een versienummer. De gemiddelde invultijd bedroeg 15 minuten (mediaan 13 minuten). De maximale invultijd was 30 minuten Onderzoeksverantwoording NSE 2010

15 Tabel 2: Overzicht bruikbare respons en verwijderde records Incomplete Complete Totaal % Valide % Niet bestaande opleiding % Incomplete % Te korte invultijd % Buiten doelgroep % Totaal % Populatie Minus: buiten doelgroep (1%)* Resteert Totale resterende respons (N) Totale resterende respons (%) 37% Bruikbare respons (N) Bruikbare respons (%) 35% * Dit is een schatting op basis van de groep die in het respondentbestand buiten de doelgroep valt. 2.3 Typering van respons en non-respons naar studentkenmerken In 2010 zijn de populatiebestanden door de instellingen aangeleverd. Hoewel duidelijk is gecommuniceerd dat het, naast het leveren van adressen, ook van belang was een aantal achtergrondkenmerken beschikbaar te stellen, is slechts door een deel van de instellingen hieraan gehoor gegeven. De correcte populatie is daarom gereconstrueerd op basis van het 1CijferHo, waarin alle achtergrondkenmerken zijn opgenomen. Hierin zijn alle bekostigde opleidingen vertegenwoordigd; een sleutel voor het koppelen van het 1CijferHo aan de mailbestanden, ontbreekt echter. De records van de niet-bekostigde opleidingen zijn uit de mailbestanden gehaald. Op deze wijze is een populatiebestand gereconstrueerd. Hieraan is het respondentbestand toegevoegd. Vervolgens is er een analyse gemaakt van de respons en de non-respons naar achtergrondkenmerken. Deze analyse van de respons naar studentkenmerken laat zien dat er sprake is van een onevenwichtige vertegenwoordiging in de respons naar geslacht, studiejaar (eerstejaars/ouderejaars) en opleidingsvorm (voltijd/deeltijd). Vrouwen responderen beter dan mannen, eerstejaars beter dan ouderejaars en voltijdstudenten responderen iets beter dan deeltijdstudenten. Tabel 3: Verdeling personen binnen NSE 2010 naar geslacht, studiejaar en opleidingsvorm Respons Populatie % N % N Chi-square Geslacht Man ,75** Vrouw Studiejaar Eerstejaars ,54** Ouderejaars Opleidingsvorm Voltijd ,76** Deeltijd ** significant bij p<0.01 * significant bij p<0.05. In hoofdstuk 3 gaan we nader in op de weging en de dilemma s die hierbij zijn geconstateerd Onderzoeksverantwoording NSE 2010

16 3 Weging In de NSE 2010 is nagenoeg de hele Nederlandse studentenpopulatie in het hoger onderwijs benaderd (99%) waardoor aangenomen kan worden dat de bruto steekproef representatief is. De bruikbare respons was 35 procent. Uit voorgaande jaren is bekend dat vrouwen meer geneigd zijn te responderen dan mannen en eerstejaars meer dan ouderejaars. Om de representativiteit van een steekproef te garanderen wordt doorgaans gebruik gemaakt van weging. Het doel is om de steekproef in samenstelling zoveel mogelijk te laten lijken op de doelpopulatie waar men uitspraken over wil doen. Het nadeel van wegen is het feit dat dit kan leiden tot grotere betrouwbaarheidsmarges en verlies van power. Er zijn drie weegmethoden bestudeerd en besproken: poststratificatie-weging, lineair wegen en multiplicatief wegen. Een uitgangspunt bij de weging was dat er ten minste representativiteit moest zijn op het meest essentiële niveau in de NSE, namelijk instelling*opleiding*locatie. Daarnaast was er de vraag in hoeverre binnen dat niveau weging naar achtergrondkenmerken aanvullend noodzakelijk was en wat daarvan de voor- en nadelen zijn gezien de doelstelling van de NSE. Om die reden is via een multilevelanalyse nagegaan in hoeverre weging op welke niveaus noodzakelijk dan wel wenselijk is. 3.1 Multilevel Binnen een multi-level analyse wordt rekening gehouden met mogelijke variantie op meerdere niveaus. We illustreren dit aan de hand van (fictieve) figuren. De figuren geven de relatie weer tussen opleidingsvorm en de respons van de NSE. De eerste figuur toont het verband tussen opleidingsvorm en respons. We gaan er hier van uit dat het effect van opleidingsvorm binnen elke opleiding hetzelfde is. Bovendien gaat de figuur ervan uit dat de respons voor elke opleiding hetzelfde is (kruisen lijn met y-as). y y y x x x Figuur 4: Multi-niveau analyse illustraties We weten echter uit responscijfers dat de respons niet gelijk verdeeld is voor de verschillende opleidingen en zullen hierin moeten variëren (middelste figuur). De drie lijnen stellen het effect van opleidingsvorm op de respons voor van drie verschillende opleidingen. Het effect blijft hetzelfde, alleen de startpositie (respons binnen de opleiding) verandert. Binnen een multiniveau-analyse gaan we na in hoeverre het effect van opleidingsvorm op de respons ook nog verschillend is tussen opleidingen, bijvoorbeeld of binnen de ene opleiding voltijders meer responderen terwijl dat bij een andere opleiding juist de deeltijders zijn. Het rechter plaatje geeft deze situatie weer; het effect van opleidingsvorm varieert binnen de drie opleidingen en bovendien is de startpositie anders. Dit is noodzakelijk omdat ook in de populatie binnen opleidingen de verhoudingen in geslacht, studiejaar en opleidingsvorm kunnen variëren 1. We zijn binnen deze analyse alleen geïnteresseerd in de variantie op de verschillende niveaus. 1 Zo zijn er typische vrouwenstudies (pedagogiek, pabo, verpleegkunde) en typische mannenstudies (bètatechniek) te onderscheiden en is er niet overal sprake van deeltijdvarianten of instroom in deeltijdopleidingen Onderzoeksverantwoording NSE 2010

17 Als de respons zich laat verklaren aan de hand van de linker figuur (Figuur 4) volstaat een weging op het individuele niveau en hoeven we geen rekening te houden met verschillen tussen opleidingen. Lijkt de respons op de middelste figuur dan moet rekening gehouden worden met verschillen tussen opleidingen (door poststratificatie-weging) en kan een weging om verschillen tussen respondenten recht te trekken berekend worden voor alle opleidingen samen. Het individuele effect is dan immers gelijk voor alle opleidingen (evenwijdige lijnen). Als het effect van de respondentkenmerken verschillend is per opleiding, dan is een poststratificatie-weging op een lager niveau noodzakelijk. Randtotalen volstaan in dat geval niet aangezien deze verschillend zijn per opleiding. Deze laatste weegmethode is in het kader van de NSE moeilijk realiseerbaar omdat niet alle achtergrondkenmerken uit de populatie bekend zijn. Op basis van de voorlopige respons van de NSE is een eerste aanzet gedaan voor een multilevel analyse. Binnen HLM is een logistisch model geschat op de kans om te responderen. Op het eerste niveau zijn de studenten opgenomen; het tweede niveau betreft de combinatie van opleiding*instelling. In Tabel 4 zijn de varianties te vinden van de verschillende modellen. Tabel 4: Slope-variantie bij verklaring respons (NSE 2010) Variantie in slope Model Intercept Opleidingsvorm Eerstejaars Geslacht 0 0-model 12,48 ** 1 Model met respondentkenmerken (fixed) 12,29 ** random slope opleidingsvorm 12,40 ** 0,29 ** random slope eerstejaars 11,13 ** 0,31 ** random slope geslacht 12,33 ** 0,03 6 Model met respondentkenmerken (random) 11,29 ** 0,30 ** 0,36 ** 0,03 Bron: NSE 2010; ** significant bij p<0.01 * significant bij p<0.05. Aantal opleidingen= Uit Tabel 4 blijkt dat de variantie in respons tussen opleidingen significant van 0 afwijkt (variantie in slope bij het 0-model). Dit houdt in dat de verschillende opleidingen een significant andere respons hebben. Poststratificatie-weging op het niveau van instelling*opleiding*locatie is daarom noodzakelijk. In het eerste model zijn verschillende respondentkenmerken opgenomen (opleidingsvorm; eerstejaars en geslacht) en is rekening gehouden met de gelaagdheid van de gegevens. In dit model doen we alsof het effect op het individuele niveau gelijk is binnen alle opleidingen. In de modellen 2, 3 en 4 is om de beurt gekeken of een individueel kenmerk varieert tussen opleidingen. In het laatste model is dit voor alle individuele kenmerken simultaan gedaan. We zien dat verschillen in respons tussen opleidingsvorm en eerstejaars verschillend zijn tussen opleidingen. Het verschil in respons tussen mannen en vrouwen is gelijk voor alle opleidingen. Hieruit kunnen we concluderen dat de respons van de NSE 2010 zich laat verklaren volgens de rechter figuur. Verschillen tussen respondenten zijn te vinden binnen en tussen opleidingen. Voor het aanmaken van een weegfactor is idealiter een poststratificatie-weging op een lager niveau noodzakelijk (instelling*opleiding*locatie*opleidingsvorm*eerstejaars) aangevuld met een correctie voor verschillen in respons tussen mannen en vrouwen op basis van randtotalen. Door vermenigvuldiging van de poststratificatie weegfactor en de kans om in de responsgroep te zitten (multilevel uitkomst) ontstaat een ophoogfactor die toegepast kan worden in de NSE. 3.2 Dilemma s en keuzes In het kader van de NSE is de weegmethodiek tweemaal met het deskundigenpanel besproken. Eén van de conclusies uit deze bijeenkomsten was dat een vorm van basale proportionele weging noodzakelijk is (een weging naar instelling*opleiding*locatie) die ervoor zorgt dat bij een aggregatie naar een hoger niveau de proportionele vertegenwoordiging in de responsgroep overeenkomt met de verdeling in de populatie. Alle populatiegegevens die nodig zijn voor deze vorm van weging zijn voorhanden Onderzoeksverantwoording NSE 2010

18 Deze basale weging kan verder uitgewerkt worden naar een meer geavanceerd weegschema. Het gaat hier om weging naar achtergrondkenmerken. Uit de NSE 2009 is gebleken dat er een relatie is tussen achtergrondkenmerken en tevredenheid (vrouwen zijn meer tevreden dan mannen; eerstejaars zijn meer tevreden dan ouderejaars). Uit verdere analyses is ook gebleken dat de responsbereidheid van deze subgroepen verschilt (vrouwen responderen beter dan mannen; eerstejaars responderen beter dan ouderejaars). Dit houdt bijvoorbeeld in dat een oververtegenwoordiging van vrouwen in de responsgroep (dus proportioneel meer dan in de populatie) ervoor zorgt dat de scores voor tevredenheid gunstiger zijn dan wanneer de verdeling naar geslacht (in de responsgroep) exact conform de populatieverdeling zou zijn. Daarnaast is uit analyses gebleken dat bij de ene opleiding deze onevenwichtigheid naar achtergrondkenmerken soms anders ligt dan bij de andere opleiding. Het gaat hier vooral om de kenmerken: studiejaar (eerstejaars-ouderejaars) en opleidingsvorm (voltijd-deeltijd). Bij geslacht is dit minder het geval. Teneinde een optimale representativiteit te garanderen bovenop de weging naar opleidingsomvang, is er dan ook voor gekozen om ook te wegen naar achtergrondkenmerken. Voorts is geconstateerd dat er ten aanzien van deze extra weging een aantal complicerende factoren is die nader onderzoek behoeven. Deze hebben allereerst te maken met de kwaliteit en de volledigheid van de populatiegegevens en daarnaast met de herkenbaarheid van de data voor gebruikers in het veld (alle instellingen krijgen een eigen SPSS-bestand teruggeleverd). Indien populatiegegevens blijven ontbreken (omdat instellingen ze niet kunnen aanleveren) moet mogelijk worden overgegaan naar een alternatieve vorm van weging: een combinatie van proportioneel wegen en weging op basis van randtotalen. Dan wordt als het ware aan het eind van de rit het volledige bestand nogmaals gecorrigeerd op basis van (schattingen van) verdelingen in subpopulaties. Dit stuit op een bezwaar, namelijk dat het kan voorkomen dat instellingen en opleidingen aantallen en verdelingen naar achtergrondkenmerken niet meer herkennen. Dat wil zeggen dat deze niet meer overeenkomen met de feitelijke situatie binnen de instelling of opleidingen. Beide aspecten moeten in overweging worden genomen bij de vormgeving van de NSE2011. Op basis van deze dilemma s is in overleg met het bestuur besloten om in 2010 een basale proportionele weging uit te voeren naar instelling*opleiding*locatie. 3.3 Resultaten weging Voor de berekening van de weegfactoren zijn op basis van de populatiegegevens en de responsgegevens tabellen aangemaakt met de totalen per instelling*opleiding*locatie. De weegfactor is berekend door de proportie van iedere afzonderlijke cel in de populatie te delen door dezelfde proportie in de respons. De laagste factor was 3,5; de hoogste 22,4. Eén procent van de strata (41/2.849) kreeg een weegfactor groter dan 4,5. Het betrof hier vooral kleine masteropleidingen in hbo en wo en kleine lerarenopleidingen met een lage respons. Deze strata kregen een weegfactor van 1. De weegfactor is als variabele opgenomen in het databestand. Het gemiddelde van alle weegfactoren is 1. Dat betekent dat de ongewogen en de gewogen aantallen in het totaalbestand gelijk zijn. In de praktijk bleek dat instellingen moeite hebben met het hanteren van deze weegfactor of niet begrijpen waarvoor dit bedoeld is. Veel instellingen hebben de weegfactor in de eigen analyses daarom niet gebruikt. Voor 2011 is het belangrijk dat gereflecteerd wordt op de impact hiervan Onderzoeksverantwoording NSE 2010

19 4 Schaalconstructies en betrouwbaarheid 4.1 Schaalconstructies In het integratietraject STO-NSE is een kwantitatieve validatie uitgevoerd onder HetStudentenpanel. De kwantitatieve validatie wees uit dat de structuur van de vragenlijst voor het grootste deel overeenkwam met de verwachtingen en dat een betrouwbare clustering mogelijk was. De factoren die uit dit onderzoek naar voren kwamen zijn met de definitieve data van de NSE geconstrueerd. Allereerst is per onderdeel gekeken of er daadwerkelijk één factor uit kwam. Bij twee onderdelen was dit niet het geval. Bij het onderdeel Studiefaciliteiten vielen de vragen over de informatiebalie en de studentenadministratie buiten de factor. Deze twee vragen zijn opgenomen in een afzonderlijke factor, genaamd Informatiepunt. Bij het onderdeel Studieomgeving vielen de items over de beschikbaarheid en de betaalbaarheid van woonruimte buiten de factor. Ook hiervoor is een afzonderlijke factor aangemaakt ( Huisvesting ). Tabel 5 toont de statistieken van alle factoranalyses. Tabel 5: Factoranalyses Inhoud Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 49,75 Cronbach's Alpha 0,87 Niveau opleiding 0,55 0,74 0,85 Aansluiting inhoud bij verwachting 0,58 0,76 0,85 Aansluiting bij vooropleiding 0,32 0,56 0,87 Opleiding stimulerend 0,64 0,80 0,84 Aansluiting inhoud actuele ontwikkelingen 0,48 0,70 0,86 Samenhang tussen onderdelen 0,50 0,71 0,85 Gehanteerde werkvormen 0,52 0,72 0,85 Mogelijkheid inhoud te bepalen 0,35 0,59 0,87 Kwaliteit studiemateriaal 0,54 0,73 0,85 Algemene vaardigheden Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 52,58 Cronbach's Alpha 0,85 Kritische houding 0,51 0,72 0,83 Functioneren professionele context 0,56 0,75 0,82 Probleemoplossende vermogens 0,61 0,78 0,82 Onderbouwen conclusies 0,62 0,79 0,82 Communicatieve vaardigheden 0,50 0,71 0,83 Samenwerken met anderen 0,37 0,61 0,84 Argumenteren/redeneren 0,51 0,71 0,83 Wetenschappelijke vaardigheden Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 62,61 Cronbach's Alpha 0,88 Analytisch denken 0,53 0,73 0,87 Beoordelen wetenschappelijk werk 0,68 0,82 0,85 Ontwikkelen wetenschappelijke theorieën 0,71 0,84 0,85 Schrijven wetenschappelijke artikelen 0,69 0,83 0,85 Methoden en technieken 0,62 0,79 0,86 Zelfstandig onderzoek 0,53 0,73 0, Onderzoeksverantwoording NSE 2010

20 Voorbereiding beroepsloopbaan Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 68,36 Cronbach's Alpha 0,88 Vaardigheden voor beroepspraktijk 0,73 0,85 0,85 Praktijkgerichtheid 0,74 0,86 0,85 Contact beroepspraktijk 0,74 0,86 0,85 Kwaliteit stagebegeleiding 0,54 0,74 0,88 Aansluiting stages 0,67 0,82 0,86 Docenten Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 59,83 Cronbach's Alpha 0,90 Deskundigheid docenten 0,58 0,76 0,89 Didactiek docenten 0,60 0,77 0,89 Bereikbaarheid docenten 0,50 0,70 0,90 Betrokkenheid docenten 0,65 0,81 0,89 Begeleiding docenten 0,73 0,85 0,88 Feedback docenten 0,63 0,79 0,89 Docenten inspirerend 0,65 0,81 0,89 Kennis beroepspraktijk docenten 0,47 0,68 0,90 Informatievoorziening Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 71,75 Cronbach's Alpha 0,80 Voorlichting opleiding 0,67 0,82 0,78 Informatie studievoortgang 0,74 0,86 0,71 Informatie over regels en procedures 0,74 0,86 0,71 Studiefaciliteiten Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 58,06 Cronbach's Alpha 0,88 Geschiktheid onderwijsruimten 0,60 0,78 0,86 Geschiktheid werkplekken 0,69 0,83 0,85 Beschikbaarheid werkplekken 0,60 0,78 0,86 Opleidingsmateriaal 0,47 0,69 0,87 Bibliotheek/mediatheek 0,51 0,71 0,87 ICT faciliteiten 0,63 0,80 0,86 Digitale leeromgeving 0,56 0,75 0,86 Informatiepunt Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 83,44 Cronbach's Alpha 0,80 Informatiebalie 0,83 0,91 - Studentenadministratie 0,83 0, Onderzoeksverantwoording NSE 2010

21 Toetsing en beoordeling Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 66,36 Cronbach's Alpha 0,73 Duidelijkheid beoordelingscriteria 0,74 0,86 0,57 Aansluiting toetsing en beoordeling 0,75 0,87 0,57 Informatie resultaten en beoordelingen 0,50 0,71 0,79 Studierooster Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 74,85 Cronbach's Alpha 0,83 Tijdigheid informatie roosters 0,77 0,88 0,75 Tijdigheid informatie roosterwijzigingen 0,79 0,89 0,72 Geschiktheid studierooster 0,69 0,83 0,82 Studielast Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 70,90 Cronbach's Alpha 0,79 Spreiding studielast 0,73 0,85 0,70 Haalbaarheid deadlines 0,73 0,86 0,70 Aansluiting ECTS bij studielast 0,67 0,82 0,76 Studiebegeleiding Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 89,02 Cronbach's Alpha 0,88 Mogelijkheid tot begeleiding 0,89 0,94 - Kwaliteit begeleiding 0,89 0,94 - Studieomgeving Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 44,72 Cronbach's Alpha 0,73 Bereikbaarheid instelling 0,34 0,59 0,71 Restauratieve voorzieningen 0,32 0,57 0,71 Sportvoorzieningen 0,28 0,53 0,73 Horecavoorzieningen studiestad 0,66 0,81 0,66 Cultureel aanbod studiestad 0,65 0,80 0,66 Hoeveelheid groen studiestad 0,43 0,66 0,70 Huisvesting Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 90,17 Cronbach's Alpha 0,89 Beschikbaarheid woonruimte 0,90 0,95 - Betaalbaarheid woonruimte 0,90 0, Onderzoeksverantwoording NSE 2010

22 Betrokkenheid Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 71,39 Cronbach's Alpha 0,87 Onderwijsevaluaties 0,61 0,78 0,86 Informatie onderwijsevaluaties 0,73 0,85 0,83 Gebruik onderwijsevaluaties 0,82 0,90 0,79 Reactie klachten en problemen 0,70 0,84 0,83 Handicap Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 57,27 Cronbach's Alpha 0,74 Geboden hulp door opleiding 0,71 0,84 0,61 Hulp opleiding bij integratie 0,60 0,77 0,67 Begeleiding door mentor 0,65 0,81 0,64 Aanbod Engelstalige vakken 0,33 0,58 0,77 Internationale studenten Communaliteiten Factorladingen Alpha if item deleted Pct. Variance 65,92 Cronbach's Alpha 0,93 Voorlichting en informatievoorziening 0,68 0,82 0,93 Opvang bij start studie 0,75 0,87 0,92 Beschikbare hulpmiddelen en faciliteiten 0,76 0,87 0,92 Geschiktheid van de gebouwen 0,53 0,73 0,93 Aanpassingen in het onderwijs 0,78 0,88 0,92 Begrip docenten en medewerkers 0,65 0,81 0,93 Kennis docenten en medewerkers 0,71 0,84 0,92 Begrip medestudenten 0,33 0,57 0,94 Speciale begeleiding 0,76 0,87 0, Betrouwbaarheidsmarges In laatste instantie is gekeken naar de betrouwbaarheidsmarges op het niveau instelling*opleiding* locatie. Hiervoor zijn op een geaggregeerde tabel alle marges berekend en gecorrigeerd voor een eindige populatie met behulp van de volgende formule:. α / 2 s. n N n N 1 Voor ongeveer een kwart van de strata (776/2.849) was de populatie onbekend, te klein of was de respons te laag om deze berekening toe te passen. Deze strata zijn buiten beschouwing gelaten. Uit deze analyse blijkt dat bij ongeveer twee derde van de strata de marges kleiner zijn dan 0,2. Dat wil zeggen dat op de vijfpuntschaal het feitelijke gemiddelde zal variëren binnen +0,2 en -0,2 van het empirisch gemiddelde. Dus bij een score van 3,1 zal in dat geval het feitelijke gemiddelde liggen tussen 2,9 en 3,3. In ongeveer 20 procent van de gevallen is de marge tussen de 0,2 en 0,3 en bij ongeveer 12 procent van de strata is de marge groter dan 0,3. Er zijn verschillen in betrouwbaarheid tussen de inhoudelijke clusters. De clusters over inhoud, algemene vaardigheden en docenten laten doorgaans de hoogste betrouwbaarheid zien. Daarover geven studenten binnen een instelling*opleiding*locatie de meest consistente antwoorden. De clusters die betrekking hebben op huisvesting, studiebegeleiding, betrokkenheid en het studierooster laten een lagere betrouwbaarheid zien. De gemiddelde marges over alle clusters is 1, Onderzoeksverantwoording NSE 2010

23 Tabel 6: Betrouwbaarheidsmarges na eindige populatiecorrectie voor het niveau instelling*opleiding* locatie Gem. % <0,2 % >=0,2 - <0,30 % >=0,30 Totaaloordeel 0,17 68,7 21,2 10,0 Inhoud 0,13 83,3 13,1 3,6 Algemene vaardigheden 0,13 83,1 13,7 3,3 Wetenschappelijke vaardigheden 0,17 71,9 19,0 9,1 Voorbereiding beroepsloopbaan 0,19 62,1 23,6 14,3 Docenten 0,15 76,8 17,4 5,8 Informatievoorziening 0,18 65,0 23,2 11,9 Studiefaciliteiten 0,16 73,4 19,3 7,3 Informatiepunt 0,19 63,3 22,9 13,8 Toetsing en beoordeling 0,17 68,0 22,7 9,4 Studierooster 0,20 59,3 26,0 14,8 Studielast 0,18 66,5 22,9 10,6 Studiebegeleiding 0,21 54,8 25,5 19,7 Studieomgeving 0,17 73,9 17,5 8,6 Huisvesting 0,32 32,1 27,0 40,9 Betrokkenheid 0,20 57,9 24,7 17,4 4.3 Opname van de Nationale Studentenenquête 2010 in de Studiekeuzedatabase Voor 1562 bacheloropleidingen, 975 masteropleidingen en 784 deeltijdopleidingen zijn resultaten uit de Nationale Studentenenquête in de Studiekeuzedatabase opgenomen. Dat betekent dat er studentoordelen beschikbaar zijn voor 93 procent van de bacheloropleidingen, 76 procent van de materopleidingen en 50 procent van de deeltijdopleidingen die op dit moment worden aangeboden in Nederland. Om de resultaten van de Nationale Studentenenquête op te kunnen nemen in de Studiekeuzedatabase is een aantal bewerkingsstappen gezet. De data zijn opgeschoond op inconsistenties met de Studiekeuzedatabase, gecontroleerd op voldoende respons per opleiding, geaggregeerd (de scores per opleiding zijn berekend) en daarnaast zijn de data gecontroleerd op voldoende respons per vraag. In de onderstaande paragrafen worden alle bewerkingsstappen toegelicht. Cleaning ten behoeve van koppeling met de Studiekeuzedatabase De Studiekeuzedatabase bevat alleen opleidingen waarbij nieuwe instroom van studenten mogelijk is. In de Nationale Studentenenquête zijn studenten van actuele opleidingen ondervraagd waar soms nieuwe instroom niet meer mogelijk is. De resultaten van deze opleidingen zijn niet opgenomen in de Studiekeuzedatabase, omdat deze opleidingen hier niet meer in voorkomen. Het betreft 133 opleidingen. Voor vijf opleidingen is de historische opleidingscode naar een nieuwe code omgezet om te kunnen koppelen met de Studiekeuzedatabase. Bij vier particuliere instellingen zijn alle locaties samengevoegd tot één locatie Diverse locaties, omdat de Studiekeuzedatabase deze samenvoeging hanteert. Bij twee opleidingen zijn de locaties Delft en Leiden samengevoegd omdat het dezelfde opleiding betreft waarbij de studenten afwisselend onderwijs hebben op de verschillende locaties. Voor één opleiding is de locatie omgezet van de gemeentenaam naar de naam van de vestigingsplaats om de opleiding te kunnen koppelen met de Studiekeuzedatabase (waar de opleiding onder de plaatsnaam is opgenomen) Onderzoeksverantwoording NSE 2010

24 Controleren van respons per opleiding Opleidingen worden opgenomen in de Studiekeuzedatabase wanneer voldoende studenten van de opleidingen hebben deelgenomen aan de NSE. De grens ligt bij een respons van tien of meer respondenten, of wanneer de opleiding meer dan vijf respondenten heeft die samen meer dan 40% van de totale populatie vormen. Samenvoegen van opleidingen bij onvoldoende respons Bij de voltijd bacheloropleidingen hebben 166 van de opleidingen een te kleine respons. Van 29 van deze opleidingen zijn de oordelen van verschillende locaties samengevoegd, zodat de opleidingen samen voldoende respons hebben (minimaal tien respondenten). Bij 40 van de 166 opleidingen zijn de oordelen van verwante opleidingen (met name lerarenopleidingen) samengevoegd voor een voldoende grote steekproef. Bij drie opleidingen zijn de oordelen van de opleiding van verschillende instellingen samengevoegd, omdat de opleiding in samenwerking met deze instellingen wordt aangeboden. In totaal zijn 94 voltijd bacheloropleidingen niet meegenomen in de Studiekeuzedatabase vanwege een te kleine respons. Van de deeltijd bacheloropleidingen hebben 300 van de 843 opleidingen een te kleine respons. Van 48 van deze opleidingen zijn de oordelen van verschillende locaties samengevoegd, zodat de opleidingen samen voldoende respons hebben (minimaal tien respondenten). Bij 83 van de 300 opleidingen zijn de oordelen van verwante opleidingen (met name lerarenopleidingen) samengevoegd voor een voldoende grote steekproef. In totaal zijn 169 deeltijd bacheloropleidingen niet meegenomen in de Studiekeuzedatabase vanwege een te kleine respons. Bij de masteropleidingen hebben 334 van de 1014 opleidingen een te kleine respons. Van acht van deze opleidingen zijn de oordelen van verschillende locaties samengevoegd, zodat de opleidingen samen voldoende respons hebben (minimaal tien respondenten). Bij 113 van de 334 opleidingen zijn de oordelen van verwante opleidingen (met name lerarenopleidingen) samengevoegd voor een voldoende grote steekproef. Bij drie opleidingen zijn de oordelen van de opleiding van verschillende instellingen samengevoegd, omdat de opleiding in samenwerking met deze instellingen wordt aangeboden. In totaal zijn 213 masteropleidingen niet meegenomen in de Studiekeuzedatabase. Wanneer een opleiding is samengevoegd met een andere opleiding is dit vermeld in het veld Opmerkingen in de Studiekeuzedatabase. Aggregeren: het berekenen van de scores per opleiding Per opleiding is de gemiddelde score per vraag berekend. Daarnaast is per opleiding het aantal respondenten, de standaarddeviatie en de betrouwbaarheidsmarge per vraag berekend. Bij controle van het aantal respondenten per vraag is te zien dat niet alle respondenten alle vragen hebben ingevuld. Wanneer een bepaalde vraag door minder dan vijf respondenten is beantwoord, is de gemiddelde score niet opgenomen in de Studiekeuzedatabase, omdat de kans te groot is dat deze score niet betrouwbaar is Onderzoeksverantwoording NSE 2010

25 5 Overige publicaties 5.1 Openbaar bestand (benchmarkbestand) Het openbaar bestand is het bestand dat gebruikt kan worden door alle partijen die de gegevens nodig hebben voor studiekeuzeproducten of benchmarkdoeleinden. Alle instellingen konden dit bestand downloaden. Het bestand is eveneens beschikbaar gesteld aan COICHE en Elsevier (voor Elsevier zijn de vijfpuntschalen omgezet naar rapportcijfers en zijn alleen de oordelen gebruikt van voltijdstudenten tot en met 30 jaar). Naast alle thema s (behoudens internationalisering en handicap vanwege onvoldoende waarnemingen) zijn in het benchmarkbestand opgenomen: opleiding, instelling, locatie en opleidingsvorm, CBS-codes, soort hoger onderwijs, bachelor/master en sectorcodes. Dit is ook het niveau waarop de gegevens in de database worden ontsloten en waarop ze op de website worden getoond. Er zijn geen identificerende achtergrondkenmerken opgenomen (dus geen geslacht, vooropleiding, leeftijd e.d.). Voorbehoud voor instellingen is dat instellingen niet publiceren over andere instellingen en dat het bestand uitsluitend wordt gebruikt voor interne kwaliteitszorg (men kan de eigen resultaten dus vergelijken met andere, zelf te kiezen instellingen, maar mag niet over andere instellingen publiceren). In het geval van levering aan overige externe afnemers zijn van tevoren contracten gesloten. De gegevens van handicap en studie en die van de internationale studenten zijn in het openbare gedeelte alleen geleverd op opleidingsniveau (dus geen instellings- en achtergrondkenmerken) en in een separaat bestand/dossier naar achtergrondkenmerken (dus geen opleiding) en instelling (dus geen opleidings- en geen achtergrondkenmerken). Op dit niveau zijn de gegevens ook opgenomen in de database c.q. getoond op de website. Genoemde gegevens zijn ook geleverd aan Handicap+Studie. 5.2 Instellingsbestand De instellingen ontvingen het eigen databestand (in SPSS- en Excelformaat) met daarin alle variabelen, inclusief de zelf toegevoegde vragen en de eigen, instellingsspecifieke uitsplitsingen, voor zover aangeleverd of later toegevoegd (dus niet de gegevens van andere instellingen). Ondanks veel verzoeken van instellingen zijn er geen studentidentificerende gegevens meegeleverd waarmee de instelling NSEdata kan koppelen aan andere kwaliteitsdata. Hierover wordt nog overleg gevoerd. 5.3 Wetenschappelijk bestand Voor wetenschappelijke doeleinden (universiteiten, promotieonderzoek) is het mogelijk het volledige bestand ter beschikking te stellen waarin het instellingsniveau geanonimiseerd is opgenomen. Hierbij worden geen plaatsidentificerende gegevens meegeleverd. Ook hiervoor geldt dat er contracten moeten worden afgesloten voor het gebruik (gebruik waarbij instellingen worden vergeleken c.q. waarbij herkenbaar over instellingen wordt gerapporteerd is in ieder geval niet toegestaan). 5.4 NSE Online Voor NSE Online is een apart bestand aangeleverd met daarbij een duidelijke instructie over de dossiers en de achtergrondkenmerken die eraan mogen worden toegevoegd. NSE Online kent een aantal vaste tabellen en een onderdeel waarin alle belangstellenden eigen overzichten kunnen maken. Daarnaast is voor elke instelling achter een wachtwoord het eigen bestand aanwezig. NSE Online is te vinden op: (ook via Het openbare deel van NSE Online bevat een dossier met instellingskenmerken (conform de Studiekeuzedatabase) en een dossier met studentkenmerken (landelijk bestand, zonder instelling) Onderzoeksverantwoording NSE 2010

26 Figuur 5: NSE Online Ten behoeve van NSE Online zijn diverse workshops in het land georganiseerd. Deze workshops zijn doorgaans goed bezocht en positief beoordeeld. Instellingen werken, in tegenstelling tot vorig jaar, steeds meer en beter met NSE Online. 5.5 NSE-factsheets Voor alle instellingen zijn factsheets vervaardigd. Deze factsheets bevatten per instelling een overzicht van de gemiddelde clusterscores en gemiddelde scores op losse items van de eigen instelling, waarbij met kleur in het blok met de vraagtekst aangegeven wordt wat de gemiddelde score van de instelling is: score lager dan 3 (rood), tussen 3 en 3,5 (blauw) of hoger dan 3,5 (groen). In het blok met de scores wordt steeds aangegeven of de instellingsscore significant lager is dan het landelijk gemiddelde, gelijk is aan het landelijk gemiddelde of hoger is dan het landelijk gemiddelde. De NSE-factsheets waren beschikbaar vanaf 18 mei. Doelgroep voor deze factsheets zijn de instellingsbesturen en centrale kwaliteitszorgmedewerkers. Voor sommige instellingen zijn in een separate opdracht dergelijke overzichten ook vervaardigd op opleidingsniveau. De overzichten kon men downloaden met een wachtwoord. Ze zijn bovendien uitgereikt aan deelnemers van de bijeenkomst op 20 mei Onderzoeksverantwoording NSE 2010

27 Figuur 6: Voorbeeld factsheet 5.6 Standaardrapportages Ten slotte zijn voor alle instellingen en voor alle opleidingen binnen een instelling standaardrapportages vervaardigd. Deze rapportages zijn geplaatst in het besloten deel van NSE Online. De resultaten zijn zowel als gemiddelde scores (tabellen) als in percentages (grafieken) weergegeven. In de standaardrapportages zijn de volgende resultaten per instelling (totaal) en per opleiding opgenomen: Per opleiding: per item de gemiddelde score van de opleiding, dezelfde opleiding landelijk, de sector landelijk, soort ho (hbo/wo) landelijk en de score voor de eerstejaars per opleiding en per soort ho (hbo/wo); per item een soortgelijke uitsplitsing van vier kernvariabelen naar vooropleiding; een soortgelijke uitsplitsing voor de themascores. Per instelling: per item de gemiddelde score van de instelling uitgesplitst naar: vorm (vt/dt), soort ho (hbo/wo) en studiejaar (eerstejaars/ouderejaars); per item een soortgelijke uitsplitsing van vier kernvariabelen naar vooropleiding; een soortgelijke uitsplitsing voor de themascores Onderzoeksverantwoording NSE 2010