Pilot vragenlijst NSE

Pilot vragenlijst NSE Kwantitatieve validatie van de enquête voor de Nationale Studenten Enquête 2013 Onderzoek in opdracht van Studiekeuze123 Anja van den Broek Sander Weijers ResearchNed november 2012

2012 ResearchNed Nijmegen in opdracht van Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder nauwkeurige bronvermelding. 1 - Kwantitatieve pilot NSE2013

Inhoudsopgave 1 Inleiding... 3 1.1 Aanleiding... 3 1.2 Werkwijze... 3 1.2.1 Structuur vragenlijst... 3 1.3 Randomisatie... 3 2 Resultaten... 4 2.1 Respons en cleaning... 4 2.1.1 Werkwijze... 4 2.1.2 Respons... 4 2.1.3 Advies 5 2.2 Itemanalyse... 5 2.2.1 Werkwijze... 5 2.2.2 Resultaten... 6 2.2.3 Advies 6 2.3 Factor- en betrouwbaarheidsanalyse... 7 2.3.1 Werkwijze... 7 2.3.2 Resultaten... 8 2.3.3 Advies 13 2.4 Consistentie... 13 2.4.1 Resultaten... 14 Bijlage A Vragenlijst... 18 Bijlage B Algemene statistieken... 24 Bijlage C Betrouwbaarheidsanalyses... 29 Bijlage D Tabellen... 33 2 - Kwantitatieve pilot NSE2013

1 Inleiding 1.1 Aanleiding Studiekeuze123 heeft ResearchNed gevraagd een kwantitatieve validatie uit te voeren onder het studentenpanel. Hiervoor kregen de panelleden de nieuwe vragenlijst van de NSE2013 voorgelegd met daaraan toegevoegd een aantal oorspronkelijke vragen en een aantal vragen om het effect van wijzigingen in formuleringen te testen. Dit laatste heeft als doel om bij geherformuleerde items een transformatieformule te bepalen waarmee de oude vragen (tot en met 2012) kunnen worden herberekend naar de nieuwe vragen (NSE2013). Studiekeuze123 heeft hiervoor een excelbestand vervaardigd met alle vragen van de NSE2013, geordend naar (verwachte) thema s en (in een extra kolom) de corresponderende vraag van de NSE2012. Daarnaast bevat dit excelbestand in een derde kolom informatie met een alternatieve vraagstelling indien men twee verschillende vraagstellingen wil uitproberen c.q. er twijfel bestaat over welke manier van vragen de meest betrouwbare resultaten levert (zie bijlage ). 1.2 Werkwijze 1.2.1 Structuur vragenlijst In oktober 2012 is voorzien in een pilot onder een groep studenten. ResearchNed gebruikt hiervoor het studentenpanel, dat in beheer is bij ResearchNed. Dit panel is ingezet om de vragenlijst te testen. Omdat het een testsituatie betreft, zijn eventuele alternatieven uitgeprobeerd en is nagegaan wat de beste structuur c.q. volgorde is. Hiervoor hebben de panelleden de nieuwe vragenlijst van de NSE2013 voorgelegd gekregen met daaraan toegevoegd een aantal oorspronkelijke vragen. Dit laatste had als doel om bij geherformuleerde items een transformatieformule te bepalen waarmee de oude vragen (tot en met 2012) konden worden herberekend naar de nieuwe vragen (NSE2013). Studiekeuze123 heeft hiervoor een excelbestand vervaardigd met alle vragen van de NSE2013, geordend naar (verwachte) thema s en (in een extra kolom) de corresponderende vraag van de NSE2012. Daarnaast bevat dit excelbestand in een derde kolom informatie over een alternatieve vraagstelling indien men twee verschillende vraagstellingen wil uitproberen c.q. er twijfel bestaat over welke manier van vragen de meest betrouwbare resultaten levert. De lijst is opgenomen Bijlage A op pagina 18. 1.3 Randomisatie In de vragenlijst zijn de vragen gerandomiseerd. Hiervoor zijn de respondenten ingedeeld in drie groepen. Deze groepen hebben de vragen steeds in een andere volgorde aangeboden gekregen. Uitgangspunt hierbij was dat de items die bij een thema behoren, geclusterd blijven. Om een randomisatietest uit te voeren, is de groep als volgt ingedeeld: (1) groep 1: vaste volgorde; geen randomisatie; (2) groep 2: randomisatie van items binnen een thema; (3) groep 3: randomisatie van thema s/blokken. 3 - Kwantitatieve pilot NSE2013

2 Resultaten 2.1 Respons en cleaning 2.1.1 Werkwijze In de testfase is de datastructuur gecontroleerd aan de hand van het vragenlijstprotocol. Volgens een standaardprocedure zijn alle open antwoorden nagelopen op bijvoorbeeld outliers, een extreem korte invultijd of onmogelijke of vaste antwoordpatronen. Ook is gecheckt of alle data en velden goed zijn weggeschreven en zijn voorzien van labels en versiegegevens. De gegevens van respondenten die de vragenlijst slechts gedeeltelijk hebben ingevuld zijn gemarkeerd. Deze informatie wordt gebruikt voor de itemanalyse. Zowel vóór als na de cleaningsprocedure worden bruto en netto responspercentages berekend. 2.1.2 Respons Tabel 2.1 toont de responsgegevens (aantallen); tabel 2.2 laat de percentages zien. De totale respons bedraagt 44 procent, 35% voor alleen de completes en negen procent voor de incompletes. Tussen de randomisatiegroepen is sprake van responsverschillen. deze verschillen zijn significant. In de groep zonder randomisatie is de respons 172 lager dan verwacht, in de groep waarvan de vragen gerandomiseerd werden is de respons 40 hoger dan verwacht en in de groep met een randomisatie tussen blokken is de respons 132 hoger dan verwacht. Ook de verdeling binnen de respons naar groep en het aantal completes binnen de groep is significant. Het aandeel completes verschilt tussen de groepen. Het aantal missings van degenen die de vragenlijst niet complete hebben ingevuld is 71,93 van de 92 vragen. Dat wil zeggen dat de afhakers gemiddeld 22 procent van de vragenlijst hebben ingevuld. Er zijn geen significante verschillen tussen de groepen. Tabel 2.1: Responsaantallen naar completes en randomisatiegroep Respons aantallen Geen randomisatie Randomisatie binnen blokken Randomisatie tussen blokken Totaal Niet volledig afgerond 159 155 250 564 Expected N 153,87 196,05 214,07 564 % Van de vragenlijst ingevuld 22% 20% 23% 22% Gemiddeld aantal missings (n.s.) 71,91 73,59 70,92 71,93 Volledig afgerond 618 835 831 2.284 Expected N 623,13 793,95 866,93 2.284 Residual (chisq=18,450**) -5,13 41,05-35,93 0 Observed N 777 990 1.081 2.848 Expected N 949 949,50 949,50 2.848 Residual (chisq=51,135**) -172,04 40,52 131,52 0 Populatie 2.166 2.167 2.167 6.500 4 - Kwantitatieve pilot NSE2013

Tabel 2.2: Responspercentages naar completes en randomisatiegroep Respons % Geen randomisatie Randomisatie binnen blokken Randomisatie tussen blokken Totaal Niet volledig afgerond 7% 7% 12% 9% Volledig afgerond 29% 39% 38% 35% Totaal 36% 46% 50% 44% Populatie 100% 100% 100% 100% % Complete naar randomisatiegroep Geen randomisatie Randomisatie binnen blokken Randomisatie tussen blokken Totaal Niet volledig afgerond 20% 16% 23% 20% Volledig afgerond 80% 84% 77% 80% Totaal 100% 100% 100% 100% 2.1.3 Advies Het is niet aannemelijk dat de respons te maken heeft met de randomisatie. De respondenten wisten immers van tevoren niet dat er sprake was van randomisatie, noch waren ze op de hoogte van een groepsindeling. Omdat er geen verschil is in het aantal beantwoorde vragen zal randomisatie naar verwachting geen effect hebben op het aantal ingevulde vragen. Het niet kiezen voor randomisatie heeft het nadeel dat afhakers meer voorkomen aan het eind van de vragenlijst. Dat heeft gevolgen voor het aantal missings op deze vragen. Als tegenargument geldt dat, indien de belangrijkste vragen aan het begin van de vragenlijst geplaatst worden, tenminste op deze vragen de respons optimaal zal zijn. Afhankelijk van het standpunt van Studiekeuze123 kan al dan niet gekozen worden voor een randomisatie van blokken. 2.2 Itemanalyse 2.2.1 Werkwijze In beginsel worden alle vragen door alle respondenten ingevuld. Per vraag wordt een analyse gemaakt van de verdeling en andere descriptieve kenmerken. Dit wordt gedaan om de statistische kwaliteit van de verschillende items vast te stellen, nog los van het feit of een item onderdeel uitmaakt van een cluster. Het materiaal dat we gebruiken voor het bepalen van de kwaliteit van de verdelingen en dus van de afzonderlijke vragen zijn de frequentieverdelingen en de maten die hieraan kunnen worden ontleend. Een frequentieverdeling is een tabel met een beknopte samenvatting van de uitkomsten van een onderzoek en geeft van iedere vraag weer hoe de respondenten hebben geantwoord. De belangrijkste karakteristieken van een frequentieverdeling zijn centrum en spreiding. Het centrum geeft aan rond welke centrale waarde de uitkomsten liggen. De spreiding geeft aan hoe ver de uitkomsten uiteen liggen. Voor het centrum en de spreiding bestaan diverse maten, de zogenaamde centrummaten (gemiddelde, modus, mediaan) en spreidingsmaten (standaardafwijking of standaarddeviatie, variantie). De modus is de meest voorkomende uitkomst (met de hoogste frequentie); de mediaan deelt de uitkomsten in twee even grote groepen zodat 50 procent van respondenten een waarde heeft die kleiner dan of gelijk is aan de mediaan en tegelijkertijd 50 procent een waarde heeft die groter dan of gelijk is aan die van de mediaan. Het (rekenkundig) gemiddelde is de som van alle uitkomsten gedeeld door het aantal respondenten dat een uitkomst heeft gegeven. Andere kenmerken van een frequentieverdeling zijn scheefheid, kurtosis en modaliteit. De scheefheid van een verdeling duiden we in de statistiek aan met skewness. Een verdeling kan normaal zijn, recht- of linksscheef. Bij een rechtsscheve verdeling ligt de piek aan de linkerkant (een negatieve skewness); bij een linksscheve verdeling ligt de piek aan de rechterkant (een positieve skewness). 5 - Kwantitatieve pilot NSE2013

De kurtosis is een maat voor de gepiektheid of van een verdeling. Bij een negatieve kurtosis is de verdeling plat en bij een positieve kurtosis is deze gepiekt. Met de modaliteit van een verdeling wordt bedoeld het aantal pieken (maxima) in de verdeling. Een verdeling met maar één maximum noemen we unimodaal ; een verdeling met twee maxima wordt ook wel bimodaal genoemd. Voor veel empirische toetsing is het van belang dat de items (vragen) normaal verdeeld zijn. De meeste vragen zijn gesteld in de vorm van een vijfpuntschaal. Bij een perfect normale verdeling hebben de skewness en kurtosis een waarde van 0 en vallen de hierboven genoemde centrummaten (gemiddelde, modus, mediaan) samen (symmetrische verdeling). Verdelingen met een skewness en kurtosis van tussen de -1 en +1 zijn bij benadering normaal. Als we onderzoek doen met als doel verbetering van kwaliteit door beleidsmatig bijsturing zijn we vooral op zoek naar verschillen: (welke groepen zijn heel ontevreden; welke groepen zijn tevreden?) en de wijze waarop we deze verschillen kunnen verklaren (zitten de tevreden studenten in dezelfde instelling of type instelling; hebben zij andere karakteristieken dan de ontevreden studenten?). De omvang van verschillen tussen respondenten worden uitgerukt in de variantie, het kwadraat van de gemiddelde afwijking van de scores van de respondenten ten opzichte van het gemiddelde (de standaardafwijking). Hoe meer variantie, des te groter de verschillen die we met behulp van onderzoek kunnen verklaren. Het verklaren van verschillen in de ene variabele door respondentkarakteristieken of andere variabelen gebeurt door middel van verklarende analyses (bijvoorbeeld verschillende vormen van regressie- en variantieanalyses). Samengevat kijken we naar de verdeling van de afzonderlijke vragen eruit (gemiddelde, modus, mediaan, scheefheid, mate van spreiding, aantal toppen in de verdeling)? Hierbij hanteren we het uitgangspunt dat de kwaliteit van de items wordt uitgedrukt in de mate waarin de items een normaalverdeling benaderen. 2.2.2 Resultaten Voor alle items waar de antwoorden op een 5-puntsschaal liggen (helemaal mee oneens helemaal mee eens) zijn de in de vorige paragraaf beschreven statistische waarden achterhaald. Over het algemeen zijn de items normaal verdeeld. Voor een paar items geldt echter dat de waarde van de skewness niet tussen de -1 en 1 ligt. Hieruit kan worden afgeleid dat deze items niet normaal verdeeld zijn. In Bijlage B op pagina 24 worden alle statistische gegevens en de verdelingen van deze items gepresenteerd. 2.2.3 Advies De items van onderstaande vragen zijn scheef verdeeld. bereikbaarheid instelling; begeleiding op stageplek; geleerd tijdens stage; volgen geprogrammeerde onderwijsactiviteiten; zou je jouw opleiding aanraden aan vrienden, familie of collega's. Ten aanzien van de deze vragen kunnen we concluderen dat er weinig differentiatie is tussen de studenten op deze vragen. Op alle vragen wordt door een hele grote groep studenten positief gescoord. Dat zou een reden kunnen zijn om de vragen uit de factoranalyses achterwege te laten. De vragen over stage zijn door relatief weinig mensen ingevuld. Voor de overige vragen geldt dat er geen goed verschil gemaakt kan worden tussen tevreden en ontevreden studenten op deze vragen. Omdat in dergelijke onderzoeken vooral gezocht wordt naar verschillen (variantie) en een onderzoek pas betekenisvol wordt wanneer er sprake is zowel positieve als negatieve studenten is het aan studiekeuze om te bepalen in hoeverre deze vragen in dit onderzoek een functie hebben. 6 - Kwantitatieve pilot NSE2013

2.3 Factor- en betrouwbaarheidsanalyse 2.3.1 Werkwijze Doordat er telkens meerdere vragen worden gesteld over een onderwerp, is het mogelijk om te achterhalen in hoeverre met een blok vragen wordt gemeten wat men wil weten. Als voorbeeld nemen de tevredenheid over docenten. De tevredenheid over docenten is het latente construct dat gemeten moet worden. Wanneer men enkel zou vragen hoe tevreden studenten zijn over de docenten, zal elke student de vraag verschillend interpreteren. Waar het voor de ene student belangrijk is dat een docent in de colleges duidelijk uitlegt, kan het voor een andere student belangrijker zijn dat een docent bereikbaar is voor vragen. Door meerdere vragen op te nemen in de vragenlijst, kan met behulp van factoranalyse inzichtelijk gemaakt worden hoe ieder item bijdraagt aan bijvoorbeeld de tevredenheid over de docenten. Factoranalyse is een statistische techniek, waarmee op basis van gemeenschappelijke variantie van variabelen wordt gezocht naar achterliggende (theoretische) latente constructen. In de analyse wordt nagegaan hoe sterk variabelen correleren met de gevonden (hypothetische) factoren, die de eerdergenoemde constructen vertegenwoordigen. De factoranalyse is bedoeld om de gegevens te reduceren tot (enkele) factoren. We onderscheiden in het dit traject twee vormen van factoranalyses: exploratieve en confirmatieve (of toetsende) factoranalyses. Bij een exploratieve factoranalyse hebben we van tevoren geen verwachtingen over welke variabele op welke factor laadt. Het is een techniek om na te gaan welke structuur er in de vragenlijst zit, welke items samen laden op één latent construct. Bij een exploratieve factoranalyse is, naast de onderliggende structuur, ook datareductie een belangrijk doel. Deze vorm van factoranalyse wordt doorgaans gebruikt bij de ontwikkeling of aanpassing van een vragenlijst. Op het moment dat de factorstructuur met behulp van de exploratieve factoranalyse duidelijk is, wordt een confirmatieve factoranalyse verricht. Deze analyse is een vaak gebruikte methode wanneer onderzoekers een bepaalde veronderstelling of aanname hebben over de indeling van items en willen onderzoeken of deze indeling ook wordt ondersteund door verzamelde onderzoeksgegevens. Om een interpretatieve en eenvoudige factorstructuur te vinden is het vaak nodig om de factorstructuur op nieuw te definiëren door middel van een factorrotatie. Bij een orthogonale (varimax) factorrotatie wordt ervan uitgegaan dat de factoren onderling onafhankelijk (ongecorreleerd) zijn. In het geval van de NSE is dit onwaarschijnlijk omdat het allemaal gaat om tevredenheidsoordelen over een opleiding, die onderling wel enig verband zullen houden. Bij een oblique rotatie (oblimin) worden de onderlinge correlaties wel geaccepteerd. In deze fase zullen we beide rotatiemethoden toepassen en verschillen en overeenkomsten rapporteren. In dit onderzoek is gekozen voor een exploratieve componentenanalyse. We hebben de vragenlijst behandeld als ware het een geheel nieuwe vragenlijst en zijn op zoek gegaan naar de structuur achter de items. Daarnaast is gekozen voor een varimax rotatie. Voorafgaand aan de factoranalyse is een correlatieanalyse uitgevoerd om na te gaan in hoeverre vragen een grote samenhang vertonen (bijv. correlatie hoger dan 0,8). Indien dit het geval is kan een keuze worden gemaakt één van beide vragen niet meer op te nemen, omdat deze kennelijk weinig informatie toevoegt. De interne consistentie van de vragen die samen één schaal vormen kunnen we verder toetsen met behulp van de Cronbach s alpha. Dit is een veel gebruikte maat om de betrouwbaarheid van een vragenlijst vast te stellen: in hoeverre meet de serie vragen het te meten begrip op stabiele wijze en mag een aantal items samen één schaal vormen. 7 - Kwantitatieve pilot NSE2013

De Cronbach s alpha heeft een bereik van 0 tot 1, waarbij als vuistregel geldt dat bij sociaalwetenschappelijk onderzoek een waarde lager dan 0,7 als niet betrouwbaar genoeg geldt; waarden van 0,8 of 0,9 worden beschouwd als (zeer) goed; in dat geval vormt de set van vragen een stabiel en samenhangend. De kwaliteit van de items bepalen door het berekenen van de item-totaal correlatie. Het is een maat voor de samenhang tussen de itemscore en de totaalscore op een thema (factor). De itemtotaal correlatie moet in ieder geval positief zijn; een score van 0,30 is doorgaans voldoende. Ook geldt dat hoe hoger de correlatie, des te sterker de samenhang tussen de itemscore en de totaalscore. Omdat in de NSE naar een grote diversiteit van onderwerpen wordt gevraagd zal de item-totaal correlatie worden vastgesteld als de correlatie tussen de afzonderlijke items en de factor zoals wordt berekend in de factoranalyse. Dit wordt gedaan met behulp van een reliability analyse. Per item wordt een uitspraak gedaan over de mate waarin een afzonderlijk item bijdraagt het totale beeld (iets toevoegt aan het totale beeld). 2.3.2 Resultaten Allereerst zijn de correlaties berekend tussen de items. In drie gevallen was deze hoger dan 0,7 (zie tabel 2.3). Onderstaande tabel laat zien welke vragen het betreft. Het betreft de relatie tussen het opdoen van vaardigheden voor beroepspraktijk en de praktijkgerichtheid van de opleiding; de mogelijkheid tot begeleiding en de kwaliteit begeleiding; en de betaalbaarheid van woonruimte en de beschikbaarheid van woonruimte. Binnen elk paar zou overwogen kunne worden om één van beide items te verwijderen. Dit reduceert de vragenlijst. Tabel 2.3: Correlaties > 0,7 Vraag 1 Vraag1 Correlatie Opdoen van vaardigheden voor beroepspraktijk > Praktijkgerichtheid van de opleiding (0,77) Mogelijkheid tot begeleiding > Kwaliteit begeleiding (0,73) Betaalbaarheid van woonruimte > Beschikbaarheid van woonruimte (0,80) De eerste exploratieve componentenanalyse, waarin alle items zijn opgenomen, laat zien dat er in totaal dertien unieke componenten kunnen worden onderscheiden. Ten aanzien van dubbelladers (dit zijn items die op meerdere componenten vrij hoog laden) is een norm aangehouden van een verschil van ten minste 0,2 tussen beide factorladingen. Als het verschil groter was, is het item behouden; was het verschil kleiner is het item verwijderd. Allereerst valt op dat er een onduidelijke structuur is van de factoren Studiebegeleiding, Informatievoorziening en Studierooster. Omdat de items over Informatievoorziening niet eenduidig op één component laden, zijn deze in vervolganalyses buiten beschouwing gelaten. Uit de resultaten van de tweede exploratieve componentenanalyse kan worden opgemaakt dat de items Samenwerken met anderen en Communicatieve vaardigheden ook op meer dan één component hoog laden. Ook deze items zijn verwijderd. Vervolgens zijn in de derde en vierde analyse respectievelijk de items Kennis beroepspraktijk docenten en Mogelijkheid inhoud te bepalen niet meer opgenomen. Het eerste item is verwijderd omdat er geen duidelijk onderscheid was tussen De uiteindelijke componenten structuur bevat dan geen hoge dubbelladers meer. Deze structuur is weergegeven in tabel 2.4. 8 - Kwantitatieve pilot NSE2013

Competenties Docenten Faciliteiten Inhoud Beroepsloopbaan Studielast Kwaliteitszorg Toetsing en beoordeling Studiebegeleiding Studieomgeving Groepsgrootte Huisvesting Roosters Tabel 2.4: Resultaten factoranalyses wetenschappelijkevaardigheden_02 Beoordelen wetenschappelijk werk 0,73 0,18 0,06 0,12 0,04 0,07 0,10 0,01 0,02 0,06 0,05-0,00 0,05 wetenschappelijkevaardigheden_04 Methoden en technieken 0,72 0,17 0,06 0,01 0,07 0,18 0,11 0,06 0,03 0,09-0,01-0,08 0,01 wetenschappelijkevaardigheden_03 Schrijven wetenschappelijke artikelen 0,70 0,14 0,06-0,00 0,10 0,14 0,10 0,07 0,08 0,09-0,01-0,05 0,00 algemenevaardigheden_03 Onderbouwen conclusies 0,69 0,10 0,10 0,19 0,01 0,06-0,01 0,15 0,09 0,09 0,09 0,03 0,04 wetenschappelijkevaardigheden_01 Analytisch denken 0,69 0,14 0,08 0,21-0,02 0,02 0,10 0,15 0,04 0,03 0,10 0,05 0,09 algemenevaardigheden_01 Kritische houding 0,65 0,10 0,08 0,30 0,02-0,03 0,07 0,09 0,05 0,04 0,11 0,03 0,06 algemenevaardigheden_06 Argumenteren/redeneren 0,64 0,11 0,13 0,18-0,01-0,01 0,04 0,15 0,07 0,07 0,10 0,04 0,02 algemenevaardigheden_02 Probleemoplossende vermogens 0,55 0,03 0,10 0,24 0,26-0,03 0,09 0,14 0,11 0,00 0,10 0,14 0,01 docenten_05 Begeleiding docenten 0,20 0,69 0,12 0,19 0,13 0,13 0,13 0,15 0,24 0,01 0,09 0,06 0,02 docenten_04 Betrokkenheid docenten 0,16 0,68 0,06 0,13 0,11 0,14 0,17 0,05 0,26 0,05 0,19 0,06-0,01 docenten_06 Feedback docenten 0,22 0,64 0,12 0,12 0,08 0,11 0,15 0,22 0,14 0,05 0,05 0,05 0,05 docenten_07 Docenten inspirerend 0,20 0,64 0,13 0,35 0,12 0,06 0,08 0,15 0,05 0,08 0,05 0,01 0,04 docenten_02 Didactiek docenten 0,20 0,64 0,15 0,22 0,10 0,12 0,10 0,19 0,01 0,07 0,05-0,03 0,08 docenten_03 Bereikbaarheid docenten 0,14 0,60 0,10 0,04-0,08 0,14 0,18 0,05 0,24 0,07 0,17 0,06 0,13 docenten_01 Deskundigheid docenten 0,23 0,52 0,16 0,33 0,05 0,05 0,05 0,22-0,03 0,11 0,08-0,05 0,18 studiefaciliteiten_02 De geschiktheid van werkplekken 0,09 0,07 0,81 0,10 0,01 0,09 0,07 0,05 0,05 0,05 0,09 0,06 0,03 studiefaciliteiten_05 De ICT-faciliteiten 0,09 0,10 0,79 0,06 0,05 0,05 0,10 0,05 0,08 0,06 0,04 0,08 0,05 studiefaciliteiten_03 De beschikbaarheid van werkplekken 0,06 0,10 0,78 0,07 0,05 0,06 0,08 0,03 0,06-0,03 0,07 0,08-0,02 studiefaciliteiten_04 De bibliotheek/mediatheek 0,10 0,09 0,68 0,04 0,02 0,05 0,08 0,12 0,07 0,12 0,01 0,02 0,03 studiefaciliteiten_01 De geschiktheid van de onderwijsruimten 0,10 0,11 0,68 0,15 0,03 0,10 0,08 0,05 0,05 0,09 0,14 0,05 0,09 studiefaciliteiten_06 De digitale leeromgeving 0,09 0,09 0,58 0,11 0,03 0,11 0,10 0,07 0,11 0,10 0,03 0,04 0,17 9

Competenties Docenten Faciliteiten Inhoud Beroepsloopbaan Studielast Kwaliteitszorg Toetsing en beoordeling Studiebegeleiding Studieomgeving Groepsgrootte Huisvesting Roosters inhoud_04 Opleiding stimulerend 0,27 0,29 0,10 0,66 0,12 0,08 0,09 0,11 0,08 0,04 0,05 0,02 0,02 inhoud_02 Aansluiting inhoud bij verwachting 0,20 0,19 0,09 0,61 0,16 0,19 0,11 0,15 0,13 0,05 0,08 0,04 0,03 inhoud_01 Niveau opleiding 0,32 0,23 0,13 0,59 0,05-0,03 0,09 0,27 0,01-0,00 0,04-0,00 0,10 inhoud_03 Aansluiting bij vooropleiding 0,08-0,01 0,07 0,56-0,02 0,26 0,11-0,01 0,14 0,04 0,08 0,04-0,02 inhoud_09 Kwaliteit studiemateriaal 0,25 0,30 0,12 0,53 0,04 0,05 0,08 0,23 0,02 0,09 0,06-0,02 0,17 inhoud_05 Aansluiting inhoud actuele ontwikkelingen 0,27 0,14 0,10 0,43 0,26 0,05 0,13 0,09 0,11 0,08 0,09-0,03 0,09 inhoud_07 Gehanteerde werkvormen 0,21 0,23 0,09 0,40 0,19 0,17 0,13 0,12 0,07 0,06 0,20 0,02 0,09 inhoud_06 Samenhang tussen onderdelen 0,19 0,19 0,12 0,38 0,15 0,15 0,14 0,23 0,11 0,09 0,03-0,01 0,00 algemeen_02 Algemene sfeer 0,19 0,26 0,16 0,35 0,11 0,05 0,13 0,04 0,20 0,14 0,20-0,02 0,05 voorbereidingberoepsloopbaan_01 Opdoen van vaardigheden voor beroepspraktijk 0,09 0,10 0,05 0,11 0,86 0,05 0,11 0,07 0,10 0,01 0,04 0,04-0,04 voorbereidingberoepsloopbaan_02 Praktijkgerichtheid van de opleiding 0,07 0,09 0,05 0,12 0,86 0,04 0,11 0,06 0,09 0,01 0,07 0,05-0,04 voorbereidingberoepsloopbaan_03 Contact met beroepspraktijk 0,08 0,09 0,07 0,13 0,80 0,03 0,08 0,03 0,11 0,03 0,07 0,04 0,03 studielast_02 Haalbaarheid deadlines 0,07 0,09 0,10 0,12-0,01 0,76 0,01 0,11 0,06 0,10 0,13 0,08 0,08 studielast_03 Zonder vertraging volgen van gewenste studieonderdelen 0,08 0,11 0,10 0,03 0,05 0,70 0,09 0,07 0,18 0,11 0,10 0,06 0,04 studielast_01 Spreiding studielast 0,07 0,11 0,13 0,17 0,04 0,70 0,09 0,10 0,05 0,06 0,06 0,01 0,12 studielast_04 Aansluiting ECTS bij studielast 0,08 0,17 0,13 0,18 0,07 0,63 0,15 0,15 0,01 0,05 0,02-0,00 0,07 kwaliteitszorg_03 Gebruik onderwijsevaluaties 0,14 0,20 0,16 0,17 0,10 0,10 0,78 0,14 0,10 0,05 0,06 0,02 0,06 kwaliteitszorg_02 Informatie onderwijsevaluaties 0,11 0,14 0,16 0,10 0,13 0,05 0,78 0,12 0,06 0,02 0,04 0,05 0,02 kwaliteitszorg_01 Onderwijsevaluaties 0,20 0,12 0,11 0,18 0,07 0,12 0,67 0,11 0,11 0,09 0,11 0,01 0,10 kwaliteitszorg_04 Reactie klachten en problemen 0,11 0,24 0,18 0,15 0,11 0,14 0,60 0,15 0,20 0,04 0,06 0,02 0,12 toetsingbeoordeling_03 Kwaliteit toetsing van kennis en inzicht 0,29 0,20 0,11 0,24 0,02 0,09 0,15 0,71 0,08 0,08 0,07 0,02 0,09 toetsingbeoordeling_04 De kwaliteit van de toetsing op vaardigheden 0,24 0,22 0,12 0,17 0,13 0,11 0,15 0,69 0,11 0,06 0,11 0,03 0,02 toetsingbeoordeling_02 Aansluiting toetsing en beoordeling 0,21 0,22 0,15 0,19 0,01 0,19 0,14 0,69 0,14 0,06 0,12 0,02 0,06 toetsingbeoordeling_01 Duidelijkheid beoordelingscriteria 0,13 0,20 0,11 0,14 0,10 0,25 0,14 0,58 0,13 0,03 0,10 0,05 0,08 studiebegeleiding_01 Mogelijkheid tot begeleiding 0,15 0,21 0,17 0,12 0,13 0,14 0,13 0,12 0,77 0,08 0,07 0,05 0,06 studiebegeleiding_03 Initiatief begeleiding/ondersteuning van opleiding 0,11 0,20 0,16 0,16 0,16 0,13 0,17 0,11 0,74 0,01 0,07 0,05 0,07 studiebegeleiding_02 Kwaliteit begeleiding 0,14 0,25 0,13 0,16 0,13 0,10 0,12 0,14 0,74 0,04 0,04 0,03 0,05 studieomgeving_04 Cultureel aanbod studiestad 0,09 0,07 0,03 0,11-0,02 0,04 0,02-0,01 0,04 0,83 0,06-0,09 0,02 10

Competenties Docenten Faciliteiten Inhoud Beroepsloopbaan Studielast Kwaliteitszorg Toetsing en beoordeling Studiebegeleiding Studieomgeving Groepsgrootte Huisvesting Roosters studieomgeving_03 Horecavoorzieningen studiestad 0,14 0,08 0,04 0,07 0,00 0,06 0,05 0,02 0,02 0,82 0,02-0,01 0,04 studieomgeving_01 Bereikbaarheid instelling 0,07 0,07 0,14 0,03 0,07 0,17-0,00 0,09 0,02 0,49 0,13 0,10-0,01 studieomgeving_02 Restauratieve voorzieningen 0,04-0,00 0,36-0,08 0,19 0,12 0,09 0,12-0,01 0,40-0,02 0,09 0,06 studieomgeving_07 Sportvoorzieningen 0,09 0,04 0,20 0,09-0,13-0,00 0,12 0,03 0,07 0,40 0,09 0,26 0,19 groepsgrootte_02 Groepsgrootte hoorcolleges 0,09 0,13 0,06 0,05 0,02 0,05 0,06 0,12 0,06 0,07 0,79 0,04 0,06 groepsgrootte_03 Verhouding kleinschalig versus grootschalig onderwijs 0,15 0,14 0,09 0,16 0,10 0,10 0,10 0,06 0,09 0,06 0,78 0,05 0,04 groepsgrootte_01 Groepsgrootte werkgroepen 0,10 0,10 0,14 0,11 0,08 0,16 0,04 0,07-0,00 0,10 0,69-0,01 0,04 studieomgeving_06 Betaalbaarheid van woonruimte 0,02 0,05 0,12 0,02 0,05 0,08 0,04 0,03 0,05 0,02 0,04 0,92 0,02 studieomgeving_05 Beschikbaarheid van woonruimte 0,03 0,03 0,16 0,01 0,10 0,05 0,01 0,04 0,03 0,06 0,02 0,91 0,02 studierooster_01 Tijdigheid informatie roosters 0,10 0,09 0,15 0,08-0,01 0,14 0,08 0,07 0,04 0,08 0,06 0,01 0,85 studierooster_02 Tijdigheid informatie roosterwijzigingen 0,09 0,15 0,13 0,10-0,02 0,15 0,12 0,09 0,11 0,06 0,09 0,06 0,81 11

Op basis van deze factorstructuur zijn betrouwbaarheidsanalyses uitgevoerd. Dit leidt tot de constructie van 13 thema s die inhoudelijk benoemd zijn. Alle schalen zijn betrouwbaar. Voor een uitvoeriger overzicht van de betrouwbaarheidsanalyses verwijzen we naar Bijlage C op pagina 29. Op deze wijze kunnen 13 thema s worden geconstrueerd met in totaal 60 vragen. resterende vragen, zoals bijvoorbeeld Het doen van onderzoek (wetenschappelijkevaardigheden_05), die alleen aan wo-studenten is gesteld, kan apart in de vragenlijst worden opgenomen. Overigens verslechtert de schaal met de opname van deze vraag (als alleen de betrouwbaarheid van wetenschappelijk vaardigheden in het wo wordt bestudeerd) van 0,85 naar 0,81. Thema Betrouwbaarheid Aantal vragen 1. Competenties Cronbach's Alpha (0,88) 8 vragen 2. Docenten Cronbach's Alpha (0,88) 7 vragen 3. Faciliteiten Cronbach's Alpha (0,86) 6 vragen 4. Inhoud Cronbach's Alpha (0,85) 9 vragen 5. Beroepsloopbaan Cronbach's Alpha (0,88) 3 vragen 6. Studielast Cronbach's Alpha (0,78) 4 vragen 7. Kwaliteitszorg Cronbach's Alpha (0,85) 4 vragen 8. Toetsing en beoordeling Cronbach's Alpha (0,85) 4 vragen 9. Studiebegeleiding Cronbach's Alpha (0,87) 3 vragen 10. Studieomgeving Cronbach's Alpha (0,66) 5 vragen 11. Groepsgrootte Cronbach's Alpha (0,77) 3 vragen 12. Huisvesting Cronbach's Alpha (0,89) 2 vragen 13. Roosters Cronbach's Alpha (0,78) 2 vragen Totaal aantal vragen 60 vragen De vragen over stages zijn niet opgenomen in de factorstructuur omdat deze aan een beperkt aantal studenten zijn gesteld. Tabel 2.5 toont de factorstructuur van deze vragen. In beginsel worden twee factoren aangemaakt die inhoudelijk te onderscheiden zijn van elkaar vanwege het feit dat één factor betrekking heeft op de opleiding en de andere op (meer generiek) ook met de stageplaats. Indien op deze vragen een betrouwbaarheidsanalyse wordt gedaan, dan blijken de vijf vragen samen wel een betrouwbare factor te vormen; voor de twee factoren afzonderlijk geldt dit overigens ook. Tabel 2.5: Factorstructuur stages Variabele Label Kwaliteit stage Stagebegeleiding opleiding stages_01 Kwaliteit stagebegeleiding vanuit opleiding,16,86 stages_02 Voorbereiding op stage door opleiding,15,87 stages_03 Begeleiding op stageplek,85,11 stages_04 Geleerd tijdens stage,88,12 stages_05 Aansluiting stage bij het overige onderwijs,61,46 Cronbach's Alpha (twee thema s),75,74 Cronbach's Alpha (één thema),76 Betrouwbaarheid verbetert nergens als vragen verwijderd worden. 12 - Kwantitatieve pilot NSE2013

2.3.3 Advies De gegevens zijn kwalitatief voldoende robuust om over te gaan tot de constructie van dertien betrouwbare schalen die geconstrueerd kunnen worden aan de hand van met 60 vragen. Op basis van dit onderzoek kan Studiekeuze123 overwegen onderstaande items te verwijderen of in ieder geval niet op te nemen bij de themascores omdat ze onvoldoende onderscheidend zijn of uniek zijn voor een deel van de respondenten. Bovendien zijn alle vragen waarvoor een duidelijk routing is toegepast (bijv. stages) niet in de factoranalyses opgenomen. Dit betekent niet automatisch dat deze vragen ook uit de vragenlijst geschrapt moeten worden. Studiekeuze123 kan overwegen om deze vragen op te nemen aan het eind van de vragenlijst indien partijen hechten aan de informatie. Ten aanzien van stages kunnen twee factoren geconstrueerd worden; er kan ook één betrouwbare factor onderscheiden worden. Dit hangt af van de wens van de gebruikers om al dan niet een aparte score over de rol van de opleiding beschikbaar te hebben. Variabele Label Reden Omschrijving reden informatievoorziening_01 Informatie studievoortgang Dubbele lading informatievoorziening_02 informatievoorziening_03 Informatie over regels en procedures Informatie keuzemogelijkheden opleiding Dubbele lading Dubbele lading Slecht onderscheid tussen studiebegeleiding, informatievoorziening en studierooster informatievoorziening_04 Tijdig bekend maken resultaten en beoordelingen Dubbele lading algemenevaardigheden_05 Samenwerken met anderen Dubbele lading Lading op vaardigheden en beroepsloopbaan algemenevaardigheden_04 Communicatieve vaardigheden Dubbele lading Lading op vaardigheden en beroepsloopbaan docenten_08 Kennis beroepspraktijk docenten Dubbele lading Lading op vaardigheden en beroepsloopbaan wetenschappelijkevaardigheden_05 Het doen van onderzoek Alleen wo Vraag alleen aan wo gesteld. Opname in wo-thema maakt clusters onvergelijkbaar: wellicht als aparte vraag handhaven inhoud_08 Mogelijkheid inhoud te bepalen Verzoek werkgroep Onduidelijke vraag 2.4 Consistentie In het voorstel voor de nieuwe NSE is een aantal vragen geherformuleerd. deze vragen zijn dubbel opgenomen in de vragenlijst: een keer met de oude formulering en een keer met de nieuwe formulering. Zo kunnen we nagaan in hoeverre een nieuwe formulering naar verwachting zou leiden tot trendbreuken. Op basis hiervan kan besloten worden om op basis van de oude databestanden van de NSE de oude vragen te herberekenen naar de nieuwe vragen. Dit kan op twee manier: er kunnen gemiddelden berekend worden per categorie van de oude variabele of er kan met een regressie-transformatie een herberekening plaatsvinden. Onderstaand overzicht toont de vragen die dubbel (of drievoudig) zijn gesteld (zie tabel 2.6). 13 - Kwantitatieve pilot NSE2013

Tabel 2.6: Vragen die opgekomen zijn in de transformatie-analyses Voorstel NSE2013 Oude vraag Alternatieve formulering Doen van onderzoek Doen van zelfstandig onderzoek Tijdig bekend maken Tijdig bekend maken van resultaten en beoordelingen toetsen en beoordelingen Aantal reguliere toetsmomenten Aantal toetsmomenten Aansluiting ECTS bij Aansluiting studiepunten en studielast studielast Alleen wo Mogelijkheid tot begeleiding Mogelijkheid tot begeleiding Toegevoegd: We bedoelen hiermee Kwaliteit begeleiding Initiatief begeleiding/ondersteuning van opleiding De sportvoorzieningen vanuit je instelling Kwaliteit begeleiding Initiatief begeleiding/ondersteuning van opleiding De sportvoorzieningen op je instelling De sportvoorzieningen op je instelling of gefaciliteerd vanuit je instelling begeleiding door studieadviseurs, mentoren, tutors - anders dan de inhoudelijke begeleiding van je docent. 2.4.1 Resultaten Uit analyses is naar voren gekomen dat de verdelingen allemaal verschillen van elkaar. Dit betekent dat in geen enkel geval de gegevens perfect gereproduceerd worden in de oude vraag. De conclusie is dan ook dat er bij alle vragen sprake kan zijn van een trendbreuk. De uitkomsten op bovenstaande vragen zijn steeds met elkaar vergeleken. Tabel 2.7 toont de resultaten van elk paar vragen. Tabel 2.7: Antwoorden op nieuwe vraag Doen van onderzoek en Doen van zelfstandig onderzoek Doen van onderzoek (wetenschappelijkevaardigheden_05) Doen van zelfstandig onderzoek (wetenschappelijkevaardigheden_05b) Gem. N Std. 1 Zeer ontevreden 2,40 15 1,24 2 Ontevreden 2,63 93 1,02 3 Neutraal 3,17 241 0,83 4 Tevreden 3,77 563 0,73 5 Zeer tevreden 4,37 302 0,71 Totaal 3,69 1.214 0,94 % Inconsistent +/- 1 +/- 2 Totaal 38% 9% 47% Regressieformule y= 0,55x + 1,84 14 - Kwantitatieve pilot NSE2013

Tabel 2.8: Antwoorden op nieuwe vraag Tijdig bekend maken resultaten en beoordelingen en bekend maken van toetsen en beoordelingen Tijdig bekend maken resultaten en beoordelingen (informatievoorziening_04) Tijdig bekend maken van toetsen en beoordelingen (informatievoorziening_04b) Gem. N Std. 1 Zeer ontevreden 1,52 129 0,75 2 Ontevreden 2,32 328 0,77 3 Neutraal 3,14 642 0,68 4 Tevreden 3,91 834 0,56 5 Zeer tevreden 4,60 234 0,61 Totaal 3,37 2.167 1,04 % Inconsistent +/- 1 +/- 2 Totaal 29% 4% 33% Regressieformule y= 0,79x + 0,68 Tabel 2.9: Antwoorden op nieuwe vraag Aantal reguliere toetsmomenten en Aantal toetsmomenten Aantal reguliere toetsmomenten (toetsingbeoordeling_05) Aantal toetsmomenten (toetsingbeoordeling_05a) Gem. N Std. 1 Veel te weinig 1,58 12 1,38 2 Te weinig 2,12 166 0,39 3 Precies goed 3,01 1875 0,14 4 Te veel 3,89 239 0,33 5 Veel te veel 4,63 16 0,62 Totaal 3,04 2.308 0,46 % Inconsistent +/- 1 +/- 2 Totaal 3% 0% 3% Regressieformule y=0,89 x + 0,32 Tabel 2.10: Antwoorden op nieuwe vraag Aansluiting ECTS bij studielast en Aansluiting studiepunten en studielast Aansluiting ECTS bij studielast (studielast_04) Aansluiting studiepunten en studielast (studielast_04b) Gem. N Std. 1 Zeer ontevreden 1,38 103 0,60 2 Ontevreden 2,25 322 0,60 3 Neutraal 3,14 675 0,59 4 Tevreden 3,87 948 0,47 5 Zeer tevreden 4,64 169 0,55 Totaal 3,35 2.217 0,95 % Inconsistent +/- 1 +/- 2 Totaal 24% 2% 26% Regressieformule y= 0,84x + 0,52 15 - Kwantitatieve pilot NSE2013

Tabel 2.11: Antwoorden op nieuwe vraag Mogelijkheid tot begeleiding (wijziging hoofdvraag) Mogelijkheid tot begeleiding (studiebegeleiding_01) Mogelijkheid tot begeleiding (studiebegeleiding_01b) Gem. N Std. 1 Zeer ontevreden 1,27 56 0,56 2 Ontevreden 2,22 145 0,59 3 Neutraal 3,11 488 0,56 4 Tevreden 3,92 1012 0,45 5 Zeer tevreden 4,69 450 0,54 Totaal 3,71 2.151 0,93 % Inconsistent +/- 1 +/- 2 Totaal 22% 2% 24% Regressieformule y=0,85x + 0,63 Tabel 2.12: Antwoorden op nieuwe vraag Kwaliteit begeleiding (wijziging hoofdvraag) Kwaliteit begeleiding (studiebegeleiding_02) Kwaliteit begeleiding (studiebegeleiding_02b) Gem. N Std. 1 Zeer ontevreden 1,49 63 0,90 2 Ontevreden 2,23 146 0,56 3 Neutraal 3,10 468 0,53 4 Tevreden 3,92 918 0,43 5 Zeer tevreden 4,75 309 0,51 Totaal 3,64 1.904 0,93 % Inconsistent +/- 1 +/- 2 Totaal 19% 2% 21% Regressieformule y= 0,86x + 0,53 Tabel 2.13: Antwoorden op nieuwe vraag Initiatief begeleiding/ondersteuning van opleiding (wijziging hoofdvraag): geheel nieuwe vraag Initiatief begeleiding/ondersteuning van opleiding (studiebegeleiding_03) Initiatief begeleiding/ondersteuning van opleiding (studiebegeleiding_03b) Gem. N Std. 1 Zeer ontevreden 1,27 132 0,64 2 Ontevreden 2,18 338 0,59 3 Neutraal 3,05 647 0,56 4 Tevreden 3,88 737 0,52 5 Zeer tevreden 4,69 263 0,58 Totaal 3,29 2.117 1,07 % Inconsistent +/- 1 +/- 2 Totaal 23% 2% 25% Regressieformule y= 0,86x + 0,49 16 - Kwantitatieve pilot NSE2013

Tabel 2.14: Antwoorden op nieuwe vraag De sportvoorzieningen vanuit je instelling en De sportvoorzieningen op je instelling De sportvoorzieningen vanuit je instelling (studieomgeving_07) De sportvoorzieningen op je instelling (studieomgeving_07b) Gem. N Std. 1 Zeer ontevreden 1,22 87 0,58 2 Ontevreden 2,05 150 0,63 3 Neutraal 3,00 314 0,57 4 Tevreden 3,88 608 0,52 5 Zeer tevreden 4,78 515 0,50 Totaal 3,69 1.674 1,15 % Inconsistent +/- 1 +/- 2 Totaal 20% 2% 22% Regressieformule y= 0,87x + 0,58 Tabel 2.15: Antwoorden op nieuwe vraag De sportvoorzieningen vanuit je instelling en De sportvoorzieningen op je instelling of gefaciliteerd vanuit je instelling De sportvoorzieningen vanuit je instelling (studieomgeving_07) De sportvoorzieningen op je instelling of gefaciliteerd vanuit je instelling (studieomgeving_07a) Gem. N Std. 1 Zeer ontevreden 1,21 89 0,55 2 Ontevreden 2,14 148 0,64 3 Neutraal 3,03 311 0,66 4 Tevreden 3,80 598 0,54 5 Zeer tevreden 4,69 503 0,63 Totaal 3,64 1.649 1,14 % Inconsistent +/- 1 +/- 2 Totaal 22% 4% 26% Regressieformule y= 0,85x + 0,70 17 - Kwantitatieve pilot NSE2013

Bijlage A Vragenlijst Voor alle tevredenheidvragen geldt: 1= zeer ontevreden ; 5= zeer tevreden ; 6= niet van toepassing Tabel 2.16: Vragenlijst en status vragen Status Vraag Opmerking We willen je graag vragen hoe jij je studie in het algemeen beoordeelt. Geef hieronder aan hoe tevreden je bent over: 1-5; 6=n.v.t. De algemene sfeer op je opleiding Introtekst De volgende vragen gaan over de inhoud en opzet van het onderwijs bij jouw opleiding. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. Het niveau van je opleiding De aansluiting van de inhoud bij het beeld dat je van je opleiding had De aansluiting van je opleiding bij je vooropleiding De mate waarin de inhoud van je opleiding stimulerend is De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De in jouw opleiding gehanteerde werkvormen De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen De inhoudelijke kwaliteit van het studiemateriaal Introtekst De volgende vragen gaan over de algemene vaardigheden die je binnen je opleiding opdoet. Geef aan hoe tevreden je bent over 1-5; 6=n.v.t. de mate waarin jou de volgende algemene vaardigheden worden aangeleerd: Het aanleren van een kritische houding Probleemoplossend vermogen Het onderbouwen van conclusies Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) Het samenwerken met anderen Argumenteren/redeneren Introtekst (WO) De volgende vragen gaan over de wetenschappelijke vaardigheden die je binnen je opleiding opdoet. Geef aan hoe 1-5; 6=n.v.t. tevreden je bent over de mate waarin jou de volgende wetenschappelijke vaardigheden worden aangeleerd: Analytisch denken Het kritisch beoordelen van wetenschappelijk werk Het schrijven van wetenschappelijke artikelen Methoden en technieken van onderzoek Dubbel (b) Het doen van onderzoek Nieuwe vraagstelling Dubbel (b) Het doen van zelfstandig onderzoek Vraagstelling 2012 Introtekst (HBO) De volgende vragen gaan over het onderzoekend vermogen dat je binnen je opleiding opdoet. Geef aan hoe tevreden je 1-5; 6=n.v.t. bent over de mate waarin jou de volgende aspecten van onderzoekend vermogen worden aangeleerd: Analytisch denken Het kritisch beoordelen van praktijkgericht onderzoek 18

Status Vraag Opmerking Het schriftelijk rapporteren over praktijkgericht onderzoek Methoden en technieken van praktijkgericht onderzoek Introtekst De volgende vragen gaan over de voorbereiding op je beroepsloopbaan. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. Het opdoen van vaardigheden voor de beroepspraktijk De praktijkgerichtheid van je opleiding Het contact met de beroepspraktijk (bijv. stages, gastsprekers) Introtekst De volgende vragen gaan over de docenten aan je opleiding. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De inhoudelijke deskundigheid van docenten De didactische kwaliteit van docenten De bereikbaarheid van docenten buiten contacturen De betrokkenheid van de docenten bij de studenten De kwaliteit van de begeleiding door docenten De kwaliteit van feedback van docenten De mate waarin docenten inspirerend zijn De kennis van de docenten over de beroepspraktijk Introtekst De volgende vragen gaan over de informatie vanuit je opleiding. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De informatie over jouw studievoortgang De informatie over regels en procedures Nieuw De informatie over de keuzemogelijkheden van de opleiding (varianten, minoren, buitenland etc.) Dubbel Het tijdig bekendmaken van resultaten en beoordelingen Nieuwe vraagstelling Dubbel (b) Het tijdig bekendmaken van resultaten van toetsen en beoordelingen Vraagstelling 2012 Introtekst De volgende vragen gaan over studiefaciliteiten. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De geschiktheid van de onderwijsruimten De geschiktheid van werkplekken (bv. computers, studieruimten van voldoende kwaliteit) De beschikbaarheid van werkplekken (bv. voldoende werkplekken) De bibliotheek/mediatheek De ICT-faciliteiten De digitale leeromgeving Introtekst De volgende vragen gaan over toetsing en beoordeling. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De duidelijkheid van criteria waarop beoordeeld wordt De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding Nieuw De kwaliteit van de toetsing op kennis en inzicht Nieuw De kwaliteit van de toetsing op vaardigheden Dubbel Het aantal reguliere toetsmomenten (tentamens, verslagen, presentaties e.d.) in je opleiding is: Nieuwe vraagstelling; Dubbel Veel te weinig Dubbel Te weinig Dubbel Precies goed Dubbel Te veel Dubbel Veel te veel 19

Status Vraag Opmerking Dubbel (a) Het aantal toetsmomenten (tentamens, verslagen, presentaties e.d.) in je opleiding is: Alternatieve vraagstelling; niet in factoranalyse Dubbel Veel te weinig Dubbel Te weinig Dubbel Precies goed Dubbel Te veel Dubbel Veel te veel Introtekst De volgende vragen gaan over studieroosters. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. Het tijdig bekendmaken van de studieroosters Het tijdig bekendmaken van wijzigingen in het studierooster Introtekst De volgende vragen gaan over de studielast. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines Dubbel De mate waarin de studiepunten (EC) overeenkomen met de daadwerkelijke studielast Nieuwe vraagstelling Dubbel De aansluiting tussen studiepunten (EC) en de daadwerkelijke studielast Vraagstelling 2012 Nieuw De mogelijkheid om zonder vertraging de gewenste studieonderdelen te volgen Introtekst nieuw De volgende vragen gaan over studiebegeleiding. We bedoelen hiermee begeleiding door studieadviseurs, mentoren, tutors - 1-5; 6=n.v.t. anders dan de inhoudelijke begeleiding van je docent. Geef aan hoe tevreden je bent over: De mogelijkheid tot begeleiding De kwaliteit van begeleiding Toegevoegd De mate waarin de opleiding initiatief neemt in ondersteuning of begeleiding van studenten Introtekst oud De volgende vragen gaan over studiebegeleiding. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. De mogelijkheid tot begeleiding De kwaliteit van begeleiding Toegevoegd De mate waarin de opleiding initiatief neemt in ondersteuning of begeleiding van studenten Introtekst De volgende vragen gaan over de overige faciliteiten van je instelling en de omgeving van je studie. Geef aan hoe tevreden je 1-5; 6=n.v.t. bent over: De bereikbaarheid van je instelling (openbaar vervoer e.d.) De restauratieve voorzieningen op je instelling Drievoudig De sportvoorzieningen vanuit je instelling Nieuwe vraagstelling Drievoudig De sportvoorzieningen op je instelling Vraagstelling 2012 Drievoudig De sportvoorzieningen op je instelling of gefaciliteerd vanuit je instelling Nieuwe vraagstelling De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) De beschikbaarheid van woonruimte in je studiestad De betaalbaarheid van woonruimte in je studiestad Introtekst geherformuleerd De volgende vragen gaan over de kwaliteitszorg op je instelling. Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties 20

Status Vraag Opmerking De manier waarop je opleiding op klachten en problemen reageert Introtekst nieuw De volgende vragen gaan over contacttijd. Dat is het aantal klokuren per week waarin je geprogrammeerd contact hebt met een Niet in factoranalyse onderwijsgevende (docent, tutor, begeleider, e.d.). Niet tot contacttijd moet je activiteiten rekenen als stages, werkplekleren, scripties en afstudeeronderzoek. Geef aan welke antwoordcategorie voor jou van toepassing is ten aanzien van contacttijd binnen je opleiding. In deze onderwijsperiode heb ik de volgende hoeveelheid contacttijd: Nieuw Minder dan 6 uur per week; 6 tot 12 uur per week; 13 tot 18 uur per week; 18 tot 24 uur per week; 24 tot 30 uur per week 30 of meer uur per week Niet van toepassing Ik vind deze hoeveelheid contacttijd: Nieuw Veel te weinig Te weinig Precies goed Te veel Veel te veel Ik volg de geprogrammeerde onderwijsactiviteiten: Nieuw Nooit Zelden Soms Meestal Altijd Bij mijn opleiding vielen het laatste half jaar. lessen uit: Nieuw Nooit Zelden Soms Vaak Heel vaak De volgende vragen gaan over de grootte van de groep waarin de onderwijsactiviteiten (hoorcolleges, werkgroepen) in jouw 1-5; 6=n.v.t. opleiding plaats vinden. Geef aan hoe tevreden je bent over Nieuw De groepsgrootte bij werkgroepen Nieuw De groepsgrootte bij hoorcolleges Nieuw De verhouding kleinschalig versus grootschalig onderwijs in mijn opleiding Introtekst De volgende vragen gaan over de stages van je opleiding: een periode van tenminste 1 tot 3 maanden of deelname waarin je onder begeleiding van zowel iemand uit de opleiding als vanuit de stageplek concrete ervaring opdoet in het beroepenveld. Nieuw Heb je de afgelopen periode stage(s) gelopen? Ja <skip> Nee 21

Status Vraag Opmerking Geef aan hoe tevreden je bent over: 1-5; 6=n.v.t. Niet in factoranalyse1 De kwaliteit van de stagebegeleiding vanuit je opleiding De voorbereiding op de stage door de opleiding Nieuw De begeleiding op de stageplek door het bedrijf of instelling Nieuw Wat je tijdens je stage hebt geleerd Nieuw De aansluiting van de stages bij het overige onderwijs Hoe is jouw woonsituatie? Ik woon bij mijn ouders <skip> Ik woon in een studentenflat of studentenwoning van een studentenhuisvestingsorganisatie Ik woon in een particulier studentenhuis Ik woon in een eigen woning of appartement (koop of huur) <skip> Anders <skip> Welk maandelijks bedrag betaal je aan huur (inclusief servicekosten)?... <10-1500> Weet ik niet Zou je jouw opleiding aanraden aan vrienden, familie of collega s? Wel in factoranalyse Nee, zeker niet Nee, ik denk het niet Misschien Ja, ik denk het wel Ja, zeker wel Wensen / ideeen voor verbetering Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je nog andere opmerkingen? De door jou geplaatste opmerkingen worden doorgegeven aan jouw instelling. Zij gebruiken deze informatie voor het verbeteren van het onderwijs. Nee Ja, namelijk <Vrij tekstveld> 22

Status Vraag Opmerking Nieuw Heb je een functiebeperking, aandoening of ziekte, zoals bijvoorbeeld een lichamelijke beperking, een (chronische) ziekte, dyslexie, AD(H)D of een psychische klacht? Ja Nee Nieuw Heb je één of meerdere van onderstaande functiebeperkingen? Je kunt meerdere antwoorden aankruisen. Filter- en controlevraag Nee, geen functiebeperking [exclusief] Spraak en/of taalproblemen (bijv. stotteren, afasie) Visuele beperking (blind, slechtziend) Auditieve beperking (doof, slechthorend) Motorische beperking (lopen, bewegen, gebruik van armen) Rolstoelgebonden Dyslexie Dyscalculie Concentratieproblemen Vermoeidheid / energietekort Chronische pijnklachten Anders, namelijk Nieuw Heb je één of meerdere van onderstaande aandoeningen of ziektes? Je kunt meerdere antwoorden aankruisen. Geen aandoening of ziekte [exclusief] RSI (pijn / tintelingen in armen, nek en rug door veelvuldig computergebruik) Migraine / ernstige hoofdpijn Eetstoornis (boulimie, anorexia) Long- en ademhalingsprobleem (bijv. cara, astma, chronische bronchitis, CF COPD) Huidaandoening (bijv. eczeem, psoriasis) Suikerziekte / diabetes ADHD Psychisch probleem / aandoening (bijv. psychose, burn-out, angststoornis, dwangneurose) Autisme of verwante stoornis (bijv. PDD-NOS) Chronisch vermoeidheidssyndroom (ME) Artrose, reuma of andere gewrichtsklachten Spierdystrofie, spasme of andere spierziekte Andere stoornis aan bewegingsapparaat (bijv. hernia, verlammingsverschijnselen) Een vorm van kanker Epilepsie Andere neurologische aandoening (bijv. MS) Hart- en vaatziekte (bijv. hartaandoening, hoge bloeddruk, vernauwde vaten) Ernstige darmstoornis (bijv. ziekte van Crohn, colitis) Anders, namelijk 23