Nationale Studentenenquête. Validatie NSE 2010

Nationale Studentenenquête Validatie NSE 2010 Jessica Pass Anja van den Broek ResearchNed November 2009

Inhoud 1 Managementsamenvatting 3 2 Inleiding 5 3 Inventarisatie bestaande vragenlijsten 7 4 Delphi-onderzoek 9 4.1 Overzicht 9 4.2 Resultaten 9 4.3 Open vragen 17 4.4 Conclusies 17 5 Gebruik van antwoordschalen 19 5.1 Inleiding 19 5.2 Overzicht 19 5.3 Resultaten 20 5.4 Conclusies 21 5.5 Transformaties tussen antwoordschalen 22 6 Kwalitatieve analyse 24 6.1 Contextgebondenheid en taalgebruik 24 6.2 Meetniveau en antwoordcategorieën 25 7 Live pilot onder studenten 26 8 Validatie 29 8.1 Procedure 29 8.2 Resultaten 29 8.3 Conclusie 39 9 Integratie STO-NSE 41 9.1 Inleiding 41 9.2 Inhoud van de vragenlijst 42 9.3 Antwoordcategorieën 42 Bijlage A - Vragenlijst NSE 2010 46 Bijlage B - Commentaar NSE begeleidingsgroep 53 Bijlage C - Vergelijking STO2009-NSE2010 57 2 Validatie NSE 2010

1 Managementsamenvatting Door verschillende veranderingen in het hoger onderwijs is de behoefte ontstaan om de Nationale Studentenenquête (NSE) te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. Tevens wordt ernaar gestreefd de nieuwe vragenlijst niet langer dan vijftien minuten te laten duren om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Om tot een nieuwe vragenlijst te komen is allereerst een inventarisatie gedaan van de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen (STO, Haagse Hogeschool, Universiteit Utrecht), en tot internationale studentenenquêtes zoals het onderzoek van het CHE in Duitsland en van HEFCE in Groot-Brittannië en Ierland. Op basis van deze inventarisatie is een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is rekening gehouden met de behoefte van studiekiezers die uit eerdere onderzoeken naar voren zijn gekomen. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema s van de STO in de nieuwe NSE zijn opgenomen. Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin baserend op de inventarisatie een groot aantal belangrijke hoofd- en subthema s voor de nieuwe NSE is opgenomen. Om de nieuwe NSE aan te laten sluiten bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg is deze groslijst aan deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek werd opgezet als een online vragenlijst waarbij aan de deelnemers voor elk hoofdthema en subthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit thema vonden voor de nieuwe NSE. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. Alle thema s die door een duidelijke meerderheid van de deskundigen (75% of meer) als belangrijk werden beschouwd zijn opgenomen in een eerste conceptvragenlijst voor de nieuwe NSE. Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Dit resulteerde in dertien hoofdthema s en 62 subthema s voor de eerste conceptvragenlijst. Om ook rekening te houden met de behoeften van de studiekiezer zijn daarnaast twee hoofd- en negen subthema s toegevoegd die volgens eerder onderzoek door deze groep als belangrijk worden ervaren. 3 Validatie NSE 2010

Aan de hand van de resultaten uit het delphi-onderzoek is vervolgens een eerste conceptvragenlijst ontwikkeld. Alle items uit de lijst zijn op basis van verschillende criteria met betrekking tot contextgebondenheid, taalgebruik, meetniveau en gebruikte antwoordcategorieën geëvalueerd en uitgewerkt. Om tot een gefundeerde keuze voor een geschikte antwoordschaal voor de nieuwe NSE te komen is daarnaast een experimenteel onderzoek uitgevoerd waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. In het onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken op vijf verschillende schalen: 10-puntschaal, 6- puntschaal, 5-puntschaal, 5-punt Likertschaal en open rapportcijfer. Uit de resultaten bleek dat de antwoorden op de 5-puntschaal en de Likertschaal het minst scheef verdeeld waren. Ook wordt zowel in het STO als ook in twee internationale vragenlijsten gebruik gemaakt van een 5- puntschaal. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. Omdat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter en de vragen daardoor niet neutraal zijn geformuleerd, is het advies uitgesproken om voor de nieuwe NSE gebruik te maken van een neutrale 5-puntschaal. Dit onderzoek gaf tevens inzicht in transformatieformules die gebruikt kunnen worden om in de toekomst resultaten van NSE en STO in de tijd te vergelijken ondanks een mogelijke trendbreuk in het gebruik van antwoordschalen. De eerste conceptvragenlijst is vervolgens uitgetest onder studenten. Het primaire doel hiervan was om na te gaan of de gekozen hoofd- en subthema s ook aansluiten bij de behoefte van de student, of de vragen duidelijk en niet multi-interpretabel zijn, of de vragen qua formulering aansluiten bij de beleveniswereld en terminologie van studenten en of de studenten de vragenlijst interpreteren zoals bedoeld. Daarnaast gaf de test ook een eerste zicht op de gemiddelde invultijd. Voor het testen van de vragenlijst zijn 500 studenten van verschillende universiteiten en hogescholen in Nederland benaderd met de vraag of zij wilden deelnemen aan een groepsgesprek waarin de nieuwe vragenlijst besproken zou worden. In totaal waren zes studenten (van verschillende opleidingen en instellingen) bereid om hieraan mee te doen. Twee studenten waren internationale studenten uit Duitsland, de andere vier waren Nederlandse studenten. Over het algemeen was de indruk van de studenten over de conceptvragenlijst positief. De vragenlijst was volgens hun helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen dubbel werden gevraagd en dat sommige vragen beter en/of anders geformuleerd konden worden. De invultijd bleek ongeveer tien minuten. De eerste conceptvragenlijst is naar aanleiding van het commentaar van de studenten verder uitgewerkt tot een definitieve conceptvragenlijst. Het voorstel voor de nieuwe basisvragenlijst bevat nu vijftien thema s en 74 vragen, waarbij het eerste thema algemene oordelen bevat over de thema s die later in de vragenlijst aan de orde komen. Daarnaast worden twee aanvullende modules aangeboden. Het thema handicap en studie werd door deskundigen niet als belangrijk ervaren; vanuit Studiekeuze123 wordt geadviseerd, mede met het oog op afspraken met handicap + studie, dit onderwerp als aanvullend onderwerp te handhaven. Daarnaast is er een verzoek van de HBO-raad om de module betrokkenheid van de instelling standaard voor hbo-instellingen toe te voegen. Op deze wijze komen alle hoofdonderwerpen uit het STO ook in de nieuwe NSE aan bod. Zeven subvragen uit het STO zijn niet standaard opgenomen in de basisvragenlijst van de nieuwe NSE, maar zijn uiteraard als aanvulling op de vragenlijst mogelijk. Op deze wijze is het STO inhoudelijk volledig geïntegreerd in de NSE. Voor een kwantitatieve validatie is een grootschalig onderzoek onder HetStudentenpanel uitgevoerd. De kwantitatieve validatie impliceert dat de structuur van de vragenlijst voor het grootste deel overeenkomt met de verwachtingen en blijkt een betrouwbare clustering mogelijk. Verder blijkt de vragenlijst een valide en betrouwbaar meetinstrument dat door de studenten positief is beoordeeld en zelfs nog onder de nagestreefde invultijd van 10 minuten ligt. 4 Validatie NSE 2010

2 Inleiding De Nationale Studentenenquête (NSE) is tien jaar geleden gestart als instrument om studentenoordelen te verzamelen ten behoeve van de Keuzegids Hoger Onderwijs. Omdat de NSE de afgelopen tien jaar nauwelijks is veranderd, maar in de tussentijd wel verschillende veranderingen in het hoger onderwijs zijn opgetreden, is er de behoefte ontstaan om de NSE te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. De internationale aansluiting heeft vooral betrekking op veranderingen op grond van Europees beleid (bijvoorbeeld de invoering van het BaMa-systeem) en de geschiktheid van de informatie voor internationale studenten. Omdat de huidige NSE met ongeveer 20 minuten invultijd als te lang wordt beschouwd wordt er bij de ontwikkeling tevens naar gestreefd om de nieuwe vragenlijst niet langer dan 15 minuten te laten duren, om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Tegen deze achtergrond is een stappenplan opgesteld voor het ontwikkelen van een nieuwe vragenlijst 1. Deze houdt het volgende in: 1 Inventarisatie van: - de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen. Dit heeft vooral betrekking op het STO, maar ook op een aantal tevredenheidsonderzoeken van instellingen zelf (bijvoorbeeld van de Haagse Hogeschool en van de Universiteit Utrecht); - de inhoud van de NSE in relatie tot internationale studentenenquêtes zoals het onderzoek van CHE (Duitsland) en de National Student Survey van HEFCE (Groot-Brittannië en Ierland); 2 Het ontwerpen van een nieuwe vragenlijst aan de hand van: - informatie over nationale en internationale aansluiting; - een delphi-onderzoek onder deskundigen; - een kwalitatieve analyse van de vragen en antwoordcategorieën; - een live-pilot onder Nederlandse en internationale studenten; 3 Valideren en structureren van de nieuwe vragenlijst door: - een grootschalige online pilot onder HetStudentenpanel. 1 Vernieuwing NSE 2010. 5 Validatie NSE 2010

Daarnaast is een onderzoek uitgevoerd naar het gebruik van verschillende antwoordschalen bij studententevredenheidsvragenlijsten. In dit onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken. Hierbij zijn antwoorden op vijf verschillende schalen met elkaar vergeleken: 10-puntschaal (NSE); 6-puntschaal (CHE); 5-puntschaal; 5-punt Likertschaal (STO) en open rapportcijfer. Dit onderzoek wordt gebruikt als basis om te komen tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE. 6 Validatie NSE 2010

3 Inventarisatie bestaande vragenlijsten Voor de ontwikkeling van de nieuwe vragenlijst is allereerst een inventarisatie uitgevoerd op de onderwerpen die in de huidige NSE en een aantal andere nationale onderzoeken naar studentenoordelen voorkomen. Hierbij hebben we ons vooral gericht op het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO), maar zijn ook instellingsinterne vragenlijsten van een hogeschool (De Reflector van de Haagse Hogeschool) en van een universiteit (Master-, Bachelor-, en Eerstejaarsvragenlijst van de Universiteit Utrecht) geïnventariseerd. Om daarnaast inzicht te krijgen in studententevredenheidsonderzoeken in het buitenland, hebben we ook de nationale studentenenquête van het HEFCE in de inventarisatie opgenomen. Deze vragenlijst wordt landelijk afgenomen onder studenten uit Groot-Brittannië en Ierland. Met de vragenlijst van het CHE (Duitsland) is al bij eerdere aanpassingen in de NSE rekening gehouden 2. Bij de inventarisatie van de vragenlijsten hebben we gekeken naar: a. De doelgroep en het gebruik van de vragenlijst Alle geïnventariseerde vragenlijsten hebben als doel de tevredenheid van studenten over hun opleiding en instelling in kaart te brengen. De resultaten worden vooral gebruikt voor de kwaliteitszorg van instellingen. Alleen de NSE heeft daarnaast als doel om de verzamelde oordelen te gebruiken als informatiebron voor studiekiezers. b. De omvang/lengte van de vragenlijst Uit deze analyse blijkt dat de NSE met 24 verschillende onderwerpen de omvangrijkste en ook de langste vragenlijst is. Ook de Reflector van de Haagse Hogeschool is met 21 onderwerpen omvangrijk en lang. Het STO is met tien onderwerpen de kortste en minst omvangrijke vragenlijst. Daartussen in liggen de vragenlijsten van de Universiteit Utrecht (Zestien onderwerpen over drie vragenlijsten verdeeld) en van het HEFCE (Zestien onderwerpen). c. De gebruikte antwoordschalen Uit de analyse blijkt dat het gebruik van antwoordschalen voor wat betreft de studentenoordelen in de verschillende geïnventariseerde enquêtes nogal uiteen loopt. De NSE maakt gebruik van een 10-punt schaal in de vorm van een rapportcijfer. Het STO maakt gebruik van een 5- punt Likertschaal, waarbij aan studenten stellingen worden voorgelegd waarvan zij moeten aangeven in hoeverre zij het daarmee eens zijn. De Reflector gebruikt voor een deel een 5-punt Likertschaal op basis van stellingen en voor een deel een 10-punt schaal in de vorm van rapportcijfers. In de vragenlijsten van de Universiteit Utrecht wordt vooral gebruik gemaakt van een neutrale 5-punt schaal (zeer ontevreden zeer tevreden), maar deels ook van een 3-punt schaal (ontevreden neutraal tevreden). In de survey van het HEFCE wordt uitsluitend gebruik gemaakt van een 5-punt Likertschaal waarbij studenten moeten aangeven in hoeverre zij het met bepaalde stellingen eens zijn. Het onderzoek van CHE maakt gebruik van een neutrale 6-punt schaal (in Duitsland lopen rapportcijfers van 1-6). 2 Internationalizing the master s questionnaire. Rapport van ResearchNed in opdracht van Studiekeuze123. 7 Validatie NSE 2010

d. Inhoud van de vragenlijst Op basis van de inventarisatie is in overleg met een deskundige vanuit het hbo (Bastiaan van der Wulp) en een deskundige vanuit het wo (Felipe Salve) een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is tevens rekening gehouden met de behoefte van studiekiezers dat uit eerdere onderzoeken naar voren is gekomen 3 4. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema s van het STO in de nieuwe NSE zijn opgenomen. Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin alle belangrijke hoofd- en subthema s voor de nieuwe NSE zijn opgenomen. Deze thema s staan voor de onderwerpen en vragen die op grond van de inventarisatie opgenomen zouden moeten worden in een landelijke studententevredenheidsvragenlijst die is afgestemd op actuele ontwikkelingen in het hoger onderwijs en aansluit bij andere landelijke vragenlijsten in Europa. Deze groslijst bestaat uit 23 hoofd- en 117 subthema s. Om te komen tot een definitieve selectie van belangrijke hoofd- en subthema s voor de NSE 2010 is deze groslijst vervolgens aan een groter aantal deskundigen uit het hbo en wo voorgelegd in de vorm van een delphi-onderzoek. Dit onderzoek lichten wij in het volgende hoofdstuk verder toe. Naast de inhoudelijke vragen is het belangrijk ook een aantal achtergrondkenmerken van de deelnemende studenten te verzamelen. Indien deze kenmerken niet te koppelen zijn uit administratieve data adviseren wij de volgende gegevens te verzamelen: a. geslacht (man/vrouw); b. opleiding; c. opleidingsvariant (voltijd/deeltijd/duaal); d. opleidingslocatie; e. start huidige opleiding; f. vooropleiding (havo/vwo/mbo/hbo-propedeuse/hbo-einddiploma of hbo-bachelor/universiteit - propedeuse/universiteit - bachelor/universiteit - doctoraal examen/universiteit - master/buitenlandse vooropleiding voortgezet onderwijs/buitenlandse vooropleiding hoger onderwijs/colloquium doctum of toelatingsgesprek/op basis van eerder verworven competenties/werkervaring). 3 Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de IOWO-Instroommonitor. 4 Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation. 8 Validatie NSE 2010

4 Delphi-onderzoek 4.1 Overzicht Als vervolgstap op het opstellen van de groslijst aan de hand van de inventarisatie is een delphi-onderzoek afgenomen. Deze methodiek houdt in dat een groep deskundigen wordt geraadpleegd om via een online vragenlijst hun oordeel te geven over het belang van opname van verschillende hoofd- en subthema s in de NSE 2010. De conceptlijst (groslijst) is aan een representatief aantal deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek is opgezet als een online vragenlijst waarbij aan de participanten voor elk hoofdthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit hoofdthema vonden voor de nieuwe NSE 2010. Tevens is aan de respondenten gevraagd of zij dit hoofdthema een kernonderwerp vonden of een onderwerp dat aanvullend op de basisvragenlijst door de instellingen facultatief kan worden toegevoegd. Verder werd voor elk van de hoofdthema s een aantal subthema s voorgelegd die de basis vormen voor de vragen die horen bij elk van de hoofdthema s. Ook hiervoor is aan de deskundigen gevraagd in hoeverre zij dit een belangrijke invulling van het hoofdthema vonden en of er subthema s ontbraken. Aan het einde van de vragenlijst konden de deskundigen aangeven of de groslijst volledig was of dat er naar hun mening nog belangrijke hoofdthema s ontbraken. De uitnodiging voor dit delphi-onderzoek is in de derde week van juni 2009 per e-mail aan 178 deskundigen verstuurd. Hiervoor zijn alle centrale contactpersonen benaderd, aangevuld met studentvertegenwoordigers, leden van het deskundigenpanel en andere overlegorganen, en een aantal externe deskundigen. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. De resultaten van dit onderzoek zijn gebruikt om de vragenlijst verder te optimaliseren. Centraal daarbij staat de vraag of de vragenlijst: inhoudelijk volledig is (zijn de thema s volledig, missen er (sub)-thema s op cruciale punten, passen de thema s bij de doelstelling van het onderzoek?); duidelijk is; in balans (niet te veel thema s binnen één onderwerp) en niet te omvangrijk is. Hiermee ontstaat een conceptlijst van hoofd- en subthema s die inhoudelijk volledig is en gedragen wordt door gebruikers. 4.2 Resultaten Hoofdthema s Allereerst is voor alle deskundigen berekend hoe belangrijk zij de hoofdthema s beoordeelden (op een schaal van 1=zeer onbelangrijk, tot 5=zeer belangrijk). Hieruit bleek dat de deskundigen de meeste thema s belangrijk vinden, maar zien we ook dat er een aantal thema s als neutraal of onbelangrijk worden beschouwd (zie Tabel 1). De in Tabel 1 grijs-gearceerde onderwerpen worden door de deelnemers als minder belangrijk gezien. 9 Validatie NSE 2010

Tabel 1: Gemiddeld belang bij opname van hoofdthema s in de NSE Thema s Gemiddelde Standaardafwijking Kwaliteit van docenten 4,64 0,57 Inhoud van de opleiding 4,63 0,59 Studiebegeleiding 4,44 0,63 Toetsing en beoordeling 4,33 0,79 Voorbereiding beroepsloopbaan 4,33 0,88 Algemene oordelen 4,31 0,81 Studielast 4,13 0,88 Onderwijsvoorzieningen 4,01 0,83 Informatie vanuit instelling 3,99 0,83 Stage binnen de studie 3,93 1,01 Betrokkenheid van de instelling 3,90 0,89 Opgedane competenties 3,86 0,91 Start van de studie 3,76 0,89 Sfeer/sociale omgeving 3,66 1,01 Tijdsbesteding 3,61 1,03 Internationale studenten 3,51 1,34 Handicap en studie 3,47 1,07 Keuzeruimte van de opleiding 3,46 0,90 Groepsgrootte 3,27 1,14 Overige voorzieningen 3,19 0,92 Studiestad en studieomgeving 3,10 1,21 Studiekosten 2,91 1,24 Woonsituatie 2,87 1,32 Gemeten op een schaal van 1 (helemaal niet belangrijk) 5 (zeer belangrijk), Daarnaast is gekeken of deskundigen van verschillende soorten onderwijsinstellingen variëren in hun mening over welke thema s zij wel of niet belangrijk vinden, Er is hiervoor bepaald hoe hoog het percentage deskundigen is dat per soort onderwijs/instelling (hbo, wo, nbi) een bepaald thema belangrijk of zeer belangrijk vindt (zie Tabel 2). De in Tabel 2 grijs-gearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75% of meer) dit thema als belangrijk beschouwt voor de nieuwe NSE. De studenten en de overige deskundigen zijn in onderstaande tabellen niet mee opgenomen omdat zij in dit onderzoek een zeer kleine en minder specifieke groep vormden. Uit nadere analyse bleek dat dit geen wezenlijk effect had op de totale percentages. 10 Validatie NSE 2010

Tabel 2: Belang bij opname van hoofdthema s in de NSE, naar soort onderwijs (in %) Thema's Hbo Wo Nbi Totaal Algemene oordelen 88,2 70,0 81,3 79,8 Inhoud van de opleiding 97,1 90,0 100,0 95,7 Keuzeruimte van de opleiding 55,9 70,0 31,3 52,4 Opgedane competenties 61,8 80,0 68,8 70,2 Voorbereiding beroepsloopbaan 97,1 50,0 81,3 76,1 Stage binnen de studie 82,4 40,0 68,8 63,7 Kwaliteit van docenten 97,1 100,0 87,5 94,9 Informatie vanuit instelling 79,4 80,0 68,8 76,1 Betrokkenheid van de instelling 73,5 50,0 62,5 62,0 Toetsing en beoordeling 97,1 80,0 62,5 79,9 Onderwijsvoorzieningen 79,4 90,0 75,0 81,5 Overige voorzieningen 41,2 20,0 43,8 35,0 Start van de studie 55,9 80,0 56,3 64,0 Sfeer/sociale omgeving 61,8 40,0 81,3 61,0 Groepsgrootte 29,4 50,0 56,3 45,2 Studielast 85,3 70,0 68,8 74,7 Studiekosten 14,7 40,0 62,5 39,1 Studiebegeleiding 100,0 90,0 87,5 92,5 Tijdsbesteding 44,1 70,0 68,8 61,0 Handicap en studie 52,9 50,0 37,5 46,8 Woonsituatie 29,4 60,0 25,0 38,1 Studiestad en studieomgeving 29,4 50,0 56,3 45,2 Internationale studenten 52,9 60,0 50,0 54,3 Uit de percentages in Tabel 2 blijkt dat, naast de thema s die volgens de eerdere analyse als niet belangrijk werden gevonden, ook nog een aantal andere thema s als minder belangrijk wordt gezien. We zien variaties in het belang aan bepaalde thema s tussen de deskundigen van de verschillende soorten hoger onderwijs. De thema s opgedane competenties en start van de studie worden vooral door deskundigen uit het wo als belangrijk gezien. De thema s voorbereiding op beroepsloopbaan, stage binnen de studie en studielast vooral door deskundigen uit het hbo, en sfeer/sociale omgeving vooral door de nbi s. Uit deze analyse blijkt dat er zes thema s zijn die telkens alleen door een specifieke groep als belangrijk worden gezien. Omdat het doel van de NSE is om te komen tot één gezamenlijke landelijke enquête stellen wij voor om alle onderwerpen op te nemen die voor een bepaalde groep gebruikers als belangrijk wordt ervaren. Een alternatief zou zijn om te kiezen voor een kernvragenlijst met alle thema s die door meer dan één groep gebruikers als belangrijk worden gezien en de thema s waarbij maar een bepaalde groep belangstelling heeft als aanvullende module voor deze groep aan te bieden. Uitgaande van één gezamenlijke vragenlijst komen we op dertien hoofdthema s die op grond van de 75 procent drempel opgenomen zouden moeten worden in de eerste conceptversie van de nieuwe NSE. 11 Validatie NSE 2010

Subthema s Naast het belang van de hoofdthema s is in het delphi-onderzoek gevraagd welke subthema s belangrijk worden gevonden voor de nieuwe vragenlijst. Ook hier is gekeken hoe hoog het percentage deskundigen is dat per soort hoger onderwijs (hbo, wo, nbi) een bepaald subthema belangrijk of zeer belangrijk vindt. De grijs-gearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75%) dit subthema als belangrijk beschouwt voor de nieuwe NSE. De deskundigen kregen bij elk (sub)thema tevens de mogelijkheid hun keuzes toe te lichten en aanvullend commentaar te geven. Hierin stelde een aantal deskundigen een alternatieve toewijzing van sommige subthema s bij hoofdthema s voor. Hiermee is bij de evaluatie van de thema s rekening gehouden. De subthema s zijn voor alle belangrijke hoofdthema s bekeken en resulteerden in de volgende keuzes per subthema. Als we kijken naar de algemene oordelen blijkt dat het merendeel van de deskundigen alle genoemde thema s belangrijk vindt (zie Tabel 3). De thema s werkvormen en overige voorzieningen worden alleen door het hbo belangrijk gevonden. Omdat hiervan wel een duidelijke meerderheid (boven de 85%) dit belangrijk vindt, adviseren wij deze alsnog op te nemen in de conceptvragenlijst. In aanvullend commentaar door deskundigen kwam de wens naar voren om alle aan bod komende thema s bij de algemene vragen op te nemen. Omdat dit ook overeen komt met de keuze van algemene vragen bij de STO en de oude NSE adviseren wij dit ook hier toe te passen. Omdat de subthema s aansluiting vooropleiding, samenhang binnen opleiding en werkvormen geen hoofdthema vormen, stellen wij voor deze daarom op te nemen als item bij het thema inhoud van de opleiding. Tabel 3: Algemene oordelen Thema's Hbo Wo Nbi Totaal Algemene oordelen: algemeen oordeel studie 94,1 90,0 93,8 92,6 Algemene oordelen: inhoud opleiding 97,1 100,0 87,5 94,9 Algemene oordelen: aansluiting vooropleiding 79,4 90,0 87,5 85,6 Algemene oordelen: samenhang binnen opleiding 91,2 70,0 93,8 85,0 Algemene oordelen: werkvormen 85,3 50,0 62,5 65,9 Algemene oordelen: voorbereiding loopbaan 94,1 50,0 93,8 79,3 Algemene oordelen: kwaliteit docenten 97,1 90,0 87,5 91,5 Algemene oordelen: informatie vanuit opleiding 91,2 90,0 81,3 87,5 Algemene oordelen: overige voorzieningen 94,1 60,0 68,8 74,3 Algemene oordelen: toetsing en beoordeling 97,1 100,0 81,3 92,8 Zoals blijkt uit Tabel 4 worden de diepgang, de breedte, en de afwisseling van de inhoud niet door het merendeel als belangrijk ervaren. Op grond van inhoudelijke overwegingen is ervoor gekozen om het item aansluiting bij toetsing te verschuiven naar het thema toetsing en beoordeling. 12 Validatie NSE 2010

Tabel 4: Inhoud van de opleiding Thema's Hbo Wo Nbi Totaal Inhoud van de opleiding: diepgang 70,6 70,0 81,3 73,9 Inhoud van de opleiding: breedte 50,0 60,0 87,5 65,8 Inhoud van de opleiding: niveau 91,2 100,0 100,0 97,1 Inhoud van de opleiding: aansluiting inhoud bij doelstellingen 73,5 90,0 81,3 81,6 Inhoud van de opleiding: aansluiting inhoud bij toetsing 100,0 80,0 75,0 85,0 Inhoud van de opleiding: stimulerend 85,3 90,0 81,3 85,5 Inhoud van de opleiding: aansluiting bij actuele ontwikkelingen 97,1 80,0 81,3 86,1 Inhoud van de opleiding: afwisseling 58,8 40,0 62,5 53,8 Inhoud van de opleiding: samenhang programma 94,1 90,0 81,3 88,5 Zoals blijkt uit Tabel 5 worden de thema s ethische aspecten en communicatievermogen niet door het merendeel van de deskundigen als belangrijk gevonden en daarom ook niet opgenomen in de conceptvragenlijst. Tabel 5: Opgedane competenties Thema's Hbo Wo Nbi Totaal Opgedane competenties: actief leren 73,5 90,0 68,8 77,4 Opgedane competenties: kritische houding 67,6 90,0 75,0 77,5 Opgedane competenties: aanpakken complexe problemen 70,6 90,0 68,8 76,4 Opgedane competenties: professionele context 76,5 90,0 81,3 82,6 Opgedane competenties: probleemoplossende vermogens 73,5 100,0 75,0 82,8 Opgedane competenties: kunnen aansluiten bij actuele ontwikkelingen 73,5 80,0 81,3 78,3 Opgedane competenties: ethische aspecten 61,8 70,0 62,5 64,8 Opgedane competenties: conclusies onderbouwen 73,5 100,0 81,3 84,9 Opgedane competenties: communicatievermogen 76,5 70,0 75,0 73,8 De thema s voorbereiding beroepsloopbaan en stage binnen studie worden vooral door het hbo belangrijk gevonden. Uit de analyse van de subthema s blijkt dat er maar twee thema s van de totale meerderheid boven de 75 procent grens komen te liggen (zie Tabel 6). Een duidelijke meerderheid (85,3%) van de Hbo ers geeft wel aan de kwaliteit stagebegeleiding in deze context belangrijk te vinden. Omdat juist deze groep aangaf dit hoofdthema bijzonder belangrijk te vinden is gekozen dit subthema alsnog op te nemen. Stage is vaak een onderdeel van de voorbereiding op de beroepsloopbaan en omdat het nu gaat om nog maar een vraag binnen dit thema wordt voorgesteld deze vraag bij de module voorbereiding op de beroepsloopbaan op te nemen. Tabel 6: Voorbereiding beroepsloopbaan en stage binnen de studie Thema's Hbo Wo Nbi Totaal Voorbereiding beroepsloopbaan: opdoen vaardigheden beroepsloopbaan 97,1 40,0 93,8 76,9 Voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt 94,1 50,0 87,5 77,2 Voorbereiding beroepsloopbaan: beschikbaarheid en kwaliteit advies 61,8 20,0 68,8 50,2 Stage binnen de studie: ondersteuning en advies 61,8 50,0 75,0 62,3 Stage binnen de studie: kwaliteit stagebegeleiding 85,3 50,0 68,8 68,0 Stage binnen de studie: aansluiting bij overig onderwijs 70,6 50,0 62,5 61,0 13 Validatie NSE 2010

Bijna alle subthema s binnen het thema kwaliteit van de docenten ligt boven de 75 procent grens (zie Tabel 7). Alleen de thema s inlevingsvermogen en taalvaardigheid vallen onder deze grens en zullen daarom niet opgenomen worden in de conceptvragenlijst. Tabel 7: Kwaliteit van de docenten Thema's Hbo Wo Nbi Totaal Kwaliteit van docenten: deskundigheid 97,1 100,0 93,8 96,9 Kwaliteit van docenten: didactiek 97,1 100,0 87,5 94,9 Kwaliteit van docenten: bereikbaarheid 88,2 80,0 87,5 85,2 Kwaliteit van docenten: inlevingsvermogen 50,0 70,0 68,8 62,9 Kwaliteit van docenten: betrokkenheid 64,7 80,0 87,5 77,4 Kwaliteit van docenten: Kwaliteit feedback 88,2 100,0 87,5 91,9 Kwaliteit van docenten: contact 76,5 90,0 93,8 86,7 Kwaliteit van docenten: taalvaardigheid 52,9 80,0 75,0 69,3 Kwaliteit van docenten: kennis praktijk 82,4 100,0 87,5 90,0 Kwaliteit van docenten: motiverend 79,4 100,0 81,3 86,9 Kwaliteit van docenten: begeleiding 79,4 80,0 81,3 80,2 Wat betreft de informatie vanuit de opleiding worden twee subthema s als belangrijk bevonden: resultaten en beoordeling en studievoortgang (zie Tabel 8). Op grond van inhoudelijke overwegingen wordt voorgesteld om resultaten en beoordeling te verschuiven naar toetsing en beoordeling, en het subthema voorlichting hierbij op te nemen (zie Tabel 11). De thema s regels en procedures, praktische zaken en digitale leeromgeving komen te vervallen. Tabel 8: Informatie vanuit opleiding Thema's Hbo Wo Nbi Totaal Informatie vanuit opleiding: resultaten en beoordeling 91,2 80,0 81,3 84,1 Informatie vanuit opleiding: regels en procedures 79,4 60,0 62,5 67,3 Informatie vanuit opleiding: praktische zaken 79,4 80,0 56,3 71,9 Informatie vanuit opleiding: digitale leeromgeving 61,8 50,0 62,5 58,1 Informatie vanuit opleiding: studievoortgang 94,1 90,0 81,3 88,5 De belangrijkste thema s die bij het thema toetsing en beoordeling genoemd worden zijn tijdig bekendmaken en duidelijkheid criteria (zie Tabel 9). Deze zullen allebei opgenomen worden onder het kopje toetsing en beoordeling. Tabel 9: Toetsing en beoordeling Thema's Hbo Wo Nbi Totaal Toetsing en beoordeling: tijdig bekendmaken 88,2 90,0 68,8 82,3 Toetsing en beoordeling: duidelijkheid criteria 94,1 100,0 75,0 89,7 Toetsing en beoordeling: fairness 73,5 80,0 56,3 69,9 Toetsing en beoordeling: feedback 82,4 70,0 68,8 73,7 14 Validatie NSE 2010

Alle thema s behalve studenteninformatiebalies worden voor het thema onderwijsvoorzieningen als belangrijk ervaren en zullen opgenomen worden in de conceptvragenlijst (zie Tabel 10). Tabel 10: Onderwijsvoorzieningen Thema's Hbo Wo Nbi Totaal Onderwijsvoorzieningen: geschiktheid onderwijsruimtes 85,3 80,0 75,0 80,1 Onderwijsvoorzieningen: beschikbaarheid werkplekken 82,4 80,0 75,0 79,1 Onderwijsvoorzieningen: bibliotheek/mediatheek 85,3 100,0 62,5 82,6 Onderwijsvoorzieningen: computer en netwerkfaciliteiten 91,2 90,0 68,8 83,3 Onderwijsvoorzieningen: digitale leeromgeving 82,4 90,0 68,8 80,4 Onderwijsvoorzieningen: opleidingsmateriaal 94,1 100,0 75,0 89,7 Onderwijsvoorzieningen: studenteninformatiebalies 76,5 80,0 56,3 70,9 Het thema start van de studie werd vooral door deskundigen uit het wo als belangrijk ervaren. Binnen dit thema bleken de thema s voorlichting en aansluiting vooropleiding belangrijk (zie Tabel 11). Zoals eerder genoemd is overwogen dat de aansluiting bij vooropleiding inhoudelijk beter past bij het thema inhoud opleiding en voorlichting bij informatie vanuit de opleiding. Het hoofdthema start van studie komt hierdoor te vervallen. Tabel 11: Start van de studie Thema's Hbo Wo Nbi Totaal Start van de studie: selectieprocedure 58,8 80,0 68,8 69,2 Start van de studie: voorlichting 85,3 90,0 81,3 85,5 Start van de studie: aansluiting vooropleiding 82,4 100,0 50,0 77,5 Start van de studie: introductieprogramma 41,2 70,0 31,3 47,5 Start van de studie: eerste indruk voorzieningen 38,2 40,0 50,0 42,7 Start van de studie: visum 26,5 50,0 56,3 44,2 Wat betreft het thema sfeer/sociale omgeving bleek dat dit thema door nbi s als belangrijk werd ervaren, maar zoals blijkt uit Tabel 12 werd geen van de opgenomen subthema s in deze context door de meerderheid als belangrijk gezien. Om alsnog aan de wens van de groep nbi te voldoen is daarom ervoor gekozen een algemene vraag over de sfeer op de opleiding en de instelling toe te voegen. Tabel 12: Sfeer/sociale omgeving Thema's Hbo Wo Nbi Totaal Sfeer/sociale omgeving: medestudenten 64,7 50,0 75,0 63,2 Sfeer/sociale omgeving: sociaal en cultureel aanbod 52,9 50,0 37,5 46,8 Sfeer/sociale omgeving: veiligheid 58,8 60,0 62,5 60,4 Sfeer/sociale omgeving: motiverende leeromgeving 79,4 70,0 75,0 74,8 Binnen het thema studielast kwamen alle genoemde subthema s boven de 75 procent grens (zie Tabel 13) terecht en zullen daarom alle drie opgenomen worden in de conceptvragenlijst. 15 Validatie NSE 2010

Tabel 13: Studielast Thema's Hbo Wo Nbi Totaal Studielast: oordeel belasting 82,4 70,0 75,0 75,8 Studielast: aantal uur besteed per week 76,5 70,0 87,5 78,0 Studielast: opdrachten zijn op tijd af te ronden 85,3 60,0 87,5 77,6 Ook wat betreft de thema s die vallen onder de module studiebegeleiding blijkt dat deze volgens de deskundigen allemaal opgenomen zouden moeten worden (zie Tabel 14). Tabel 14: Studiebegeleiding Thema's Hbo Wo Nbi Totaal Studiebegeleiding: kwaliteit begeleiding 100,0 90,0 93,8 94,6 Studiebegeleiding: contact met studieadviseur 82,4 80,0 93,8 85,4 Studiebegeleiding: advies studieadviseur 76,5 80,0 87,5 81,3 Het hoofdthema internationale studenten werd door alle deskundigen als minder belangrijk ervaren. Gezien een doel van de NSE is om ook informatie beschikbaar te stellen voor internationale studenten adviseren wij dit thema alsnog op te nemen. Daarom is ook hiervoor gekeken naar de oordelen van de deskundigen over de voorgestelde subthema s. Zoals blijkt uit Tabel 15 worden de thema s hulp door instellingen en aanbod vakken in het Engels in deze context als belangrijk ervaren. Daarom is ervoor gekozen om deze twee thema s op te nemen in de module voor internationale studenten. Tabel 15: Internationale studenten Thema's Hbo Wo Nbi Totaal Internationale studenten: informatie door instelling 58,8 70,0 56,3 61,7 Internationale studenten: hulp door instelling 44,1 80,0 56,3 60,1 Internationale studenten: woonsituatie 35,3 70,0 43,8 49,7 Internationale studenten: kosten studie en leven 35,3 60,0 56,3 50,5 Internationale studenten: aanbod vakken in het Engels 58,8 80,0 68,8 69,2 Internationale studenten: goedkeuring ects 61,8 70,0 68,8 66,8 Internationale studenten: omgangsvormen 29,4 40,0 37,5 35,6 Internationale studenten: sociale activiteiten 41,2 40,0 43,8 41,6 Internationale studenten: contact medestudenten 44,1 50,0 62,5 52,2 Een ander thema dat door het merendeel van de deskundigen als niet belangrijk werd beoordeeld (zowel het hoofdthema alsook alle subthema s) is handicap en studie. Net als bij de internationale studenten betreft dit thema een bepaalde groep studenten. Omdat het juist voor deze groep belangrijk is te weten waar zij met hun beperking het beste kunnen gaan studeren, adviseren wij om dit thema als extra module voor gehandicapte studenten alsnog op te nemen. In de NSE 2009 werden veertien vragen gesteld over studeren met een handicap. Voor nu adviseren wij om twaalf hiervan op te nemen in een optionele module voor de NSE 2010. De drie niet opgenomen vragen gaan niet over een oordeel en lijken ons minder belangrijk voor het bepalen van de nodige achtergrondinformatie. 16 Validatie NSE 2010

Ten slotte bleken deskundigen het thema betrokkenheid van de instelling in meerderheid niet belangrijk te vinden. Van de hbo-participanten hechtte echter een meerderheid van de deskundigen (73,5%) wel belang aan dit hoofdthema. Dit ligt net onder de bepaalde grens van 75 procent, maar aangezien dit in het STO een belangrijk thema is, adviseren wij dit onderwerp alsnog voor hbo-instellingen toe te voegen aan de basisvragenlijst. Op deze wijze komen alle hoofdthema s uit het STO in de nieuwe NSE aan bod. 4.3 Open vragen Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Voor een aantal van de voorgestelde thema s gold dat deze op een later moment in het onderzoek wel aan bod kwamen en daarom al meegewogen zijn. Daarnaast is geëvalueerd of de voorgestelde thema s passen bij het doel van de NSE. Voorgestelde thema s zoals vragen naar het beeld van de beroepspraktijk zijn buiten beschouwing gelaten omdat deze zich niet richten op de tevredenheid van de student met zijn opleiding. Gebaseerd op de analyse van de open vragen is het hoofdthema studieroosters (met twee relevante items, zie Tabel 16) en het subthema opgedane competenties: samenwerken opgenomen in de conceptvragenlijst. Het subthema studielast: oordeel studielast is naar aanleiding van het commentaar toegespitst op studielast: oordeel spreiding studielast over het jaar. Uit de algemene opmerkingen van de deskundigen kwam bovendien de wens naar voren om alle aan bod komende thema s bij de algemene vragen op te nemen, en stelden een aantal deskundigen een alternatieve toewijzing van sommige subthema s bij hoofdthema s voor. Zoals boven is aangegeven is hier bij het opzetten van de conceptvragenlijst rekening mee gehouden. Tabel 16: Studieroosters Thema's Studieroosters: Tijdig bekend maken van roosters Studieroosters: Tijdig bekend maken van wijzigingen in roosters 4.4 Conclusies Op deze wijze zijn alle resultaten van het delphi-onderzoek verwerkt. Op grond van deze analyse zullen dertien hoofdthema s en 62 subthema s opgenomen worden in de conceptvragenlijst. Omdat ervoor gekozen is om bij het thema sfeer een algemene vraag over de opleiding en de instelling te stellen, wordt voorgesteld dit thema niet nog een keer bij de module algemene vragen op te nemen. Aanvullende onderwerpen Het doel van de nieuwe NSE is om nauw aan te sluiten bij de wensen van de gebruikers. Dit zijn aan de ene kant de instellingen die hun wensen en behoeftes door middel van het delphionderzoek kenbaar konden maken. Aan de andere kant is de NSE bedoeld als informatiebron voor studiekiezers. Dit betekent dat de NSE ook moet ingaan op de wensen van deze groep gebruikers. Net zoals bij de samenstelling van de groslijst zal ook bij het opzetten van de conceptvragenlijst rekening worden gehouden met de wensen van de studenten. Ook al hebben een aantal studenten aan het delphi-onderzoek deelgenomen, was dit een selecte groep van studenten die verbonden zijn aan een vakbond of organisatie en daardoor wellicht niet representatief voor de wensen van de gemiddelde studiekiezer. 17 Validatie NSE 2010

We richten ons daarom vooral op eerder onderzoek waaruit bleek dat studenten naast de oordelen over de opleiding, ook de overige faciliteiten van de opleiding, de bereikbaarheid van de instelling, de woonsituatie en de studiestad als belangrijke informatie opvatten om een goede studiekeuze te kunnen maken 5 6. Daarom is ervoor gekozen om een aantal vragen over deze onderwerpen in de conceptvragenlijst op te nemen onder het thema overige faciliteiten en studieomgeving (zie Tabel 17). De conceptvragenlijst is vervolgens in het kader van een live pilot aan een aantal studenten voorgelegd, waarin zij de gelegenheid kregen deze keuze te evalueren. Tabel 17: Overige faciliteiten en studieomgeving Thema's Overige faciliteiten en studieomgeving: bereikbaarheid instelling Overige faciliteiten en studieomgeving: restauratieve voorzieningen van je instelling Overige faciliteiten en studieomgeving: sportvoorzieningen Overige faciliteiten en studieomgeving: horecavoorzieningen studiestad Overige faciliteiten en studieomgeving: cultureel aanbod studiestad Overige faciliteiten en studieomgeving: beschikbaarheid woonruimte Overige faciliteiten en studieomgeving: betaalbaarheid woonruimte Daarnaast is het de bedoeling om de NSE aan te laten sluiten bij de actuele ontwikkelingen in het hoger onderwijs zoals de sterkere nadruk op wetenschappelijk onderwijs. Er is in de laatste jaren een steeds sterkere aandacht ontstaan op het ontwikkelen van wetenschappelijke competenties. In de vragenlijsten die geïnventariseerd waren om te komen tot de groslijst voor het delphi-onderzoek is geen aandacht geweest voor deze competenties. Omdat dit wel een belangrijke ontwikkeling in het onderwijs is stellen we voor om een module op te nemen waarin studenten een oordeel kunnen geven over het opdoen van deze specifieke competenties binnen hun opleiding (zie Tabel 18). Tabel 18: Academische competenties Thema's Academische competenties: ontwikkelen van wetenschappelijke theorieën Academische competenties: leren van methoden en technieken Academische competenties: leren schrijven van wetenschappelijke artikelen Academische competenties: kritisch beoordelen wetenschappelijk werk Academische competenties: ondersteuning bij schrijven onderzoeksvoorstel Academische competenties: gelegenheid voor internationale contacten en uitwisseling 5 Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hbo- en wo-studenten in Nederland, studiejaar 2005-2006. Rapportage in opdracht van SURFfoundation op basis van de IOWO-Instroommonitor 6 Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation 18 Validatie NSE 2010

5 Gebruik van antwoordschalen 5.1 Inleiding Naast het bepalen van de inhoud van de nieuwe NSE 2010 is het belangrijk dat er een gefundeerde beslissing wordt genomen over de te gebruiken antwoordschalen. Uit de inventarisatie van de verschillende studentenenquêtes blijkt dat er veel verschil is in antwoordschalen voor studententevredenheidsonderzoek in nationaal en internationaal onderzoek. Dit maakt een keuze op grond van alleen deze inventarisatie lastig. De keuze voor een antwoordschaal is ten eerste afhankelijk van de vraagstelling en van de nuancering die in het antwoord is gewenst. Een vraag naar oordelen vergt een andere antwoordschaal dan bijvoorbeeld een vraag naar frequentie of kenmerken. In de afgelopen jaren zijn in de NSE niet alleen vragen over de tevredenheid van studenten over hun opleiding gesteld, maar is er ook andere informatie in kaart gebracht, zoals de tijdbesteding van studenten, studiekosten, en achtergrondinformatie (bijv. vooropleiding). Voor dit soort vragen wordt vaak gebruik gemaakt van antwoordcategorieën op ordinaal (bijv. werkdruk wordt ervaren als: te laag precies goed te hoog) of nominaal niveau (bijv. soort opleiding: bachelor master). Als het gaat om de mening van studenten over de kwaliteit van de opleiding is er echter behoefte aan een meer genuanceerde schaal die een waardering van zeer ontevreden tot zeer tevreden mogelijk maakt. Omdat de gebruikte antwoordschalen in onderzoek naar studententevredenheid in zowel Nederland alsook in andere Europese landen sterk uiteenlopen, hebben we ervoor gekozen een onderzoek uit te voeren waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. Dit onderzoek wordt gebruikt als basis om tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE te komen. In dit onderzoek is het verschil in antwoorden op vijf verschillende schalen met elkaar vergeleken: 10-puntschaal; 6-puntschaal; 5-puntschaal; 5-punt Likertschaal (STO); Open rapportcijfer. 5.2 Overzicht Om het effect van verschillende antwoordschalen op de antwoorden van vragen over tevredenheid in kaart te brengen, is aan studenten gevraagd de tevredenheid over hun opleiding te beoordelen op grond van de volgende vragen (clusters uit de NSE 2009): 19 Validatie NSE 2010

1 Wat is je algemene oordeel over je opleiding? 2 Wat is je algemene oordeel over de volgende aspecten van jouw opleiding: a. de inhoud van de opleiding; b. de aansluiting bij je vooropleiding; c. de keuzeruimte binnen de opleiding; d. de samenhang binnen de opleiding; e. de werkvormen van de opleiding; f. de mogelijkheid binnen de opleiding om je voor te bereiden op je studie- of beroepsloopbaan; g. de docenten van de opleiding; h. de communicatie door de opleiding; i. de praktische organisatie van de opleiding; j. de geschiktheid van de huisvesting van de opleiding; k. de faciliteiten van de opleiding; l. de sfeer op de opleiding. In dit onderzoek kregen studenten deze vragen steeds met een andere antwoordschaal aangeboden (10-punt; 6-punt; 5-punt; 5-punt Likertschaal; rapportcijfer invullen). Voor de Likertschaal werd een iets andere formulering gehanteerd die overeenkomt met de formulering uit het STO (bijv, Over het geheel genomen ben ik tevreden over mijn opleiding ; 1=zeer mee oneens; 5=zeer mee eens). Het onderzoek kende een experimentele opzet waarbij de studenten per toeval aan verschillende condities zijn toegewezen. De conditie bepaalde op welke antwoordschaal de studenten de vragen als eerste moesten beantwoorden. Zo kon voor mogelijke anker- en volgorde-effecten van de verschillende schalen gecontroleerd worden. Voor dit experiment is gebruik gemaakt van HetStudentenpanel.nl. Dit panel is een initiatief van ResearchNed. Het geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. In totaal hebben 3.470 studenten aan dit onderzoek deelgenomen. 5.3 Resultaten Als eerste stap hebben we verkennende factoranalyses (principale componenten methode) over de dertien tevredenheidsvragen uitgevoerd om tot een gezamenlijke meting te komen waarop we de antwoorden konden vergelijken. Uit de factoranalyses bleek dat er op de 10-punt schaal, de 5-punt schaal, de Likertschaal en op het rapportcijfer alle vragen op één factor laden, met uitzondering van de vragen over huisvesting en faciliteiten. Dit is inhoudelijk verklaarbaar omdat deze twee vragen niet direct betrekking hebben op de tevredenheid over de opleiding, maar over randvoorwaarden van de opleiding. Het vermoeden dat de resterende elf vragen gezamenlijk een schaal vormen voor de tevredenheid over de opleiding wordt door een betrouwbaarheidsanalyse over deze vragen bevestigd (Cronbach s Alpha s: 10-puntschaal: α=0,891; 5-puntschaal: α=0,845; Likertschaal: α=0,864; 6-puntschaal: α=0,845; rapportcijfer: α=0.891). Van deze elf vragen (algemeen oordeel, inhoud, aansluiting, keuzeruimte, samenhang, werkvormen, loopbaan, docenten, communicatie, praktische organisatie, en sfeer) is vervolgens een algemene tevredenheidscore voor elke antwoordschaal berekend. Daarna hebben we de verdeling van de antwoorden over de verschillende schalen bekeken. Hieruit blijkt dat alle antwoordschalen een iets scheve verdeling laten zien. Bij de 10-puntschaal en het rapportcijfer schaal is deze scheefheid het grootst. De 5-punt schaal en de Likertschaal zijn het minst scheef verdeeld. Er tussen in ligt de 6-puntschaal (zie Tabel 19 en Figuur 1). 20 Validatie NSE 2010