Nationale Studentenenquête 2009

Transcriptie

1 SK Nationale Studentenenquête 2009 Onderzoeksverantwoording ResearchNed in opdracht van Stichting Studiekeuze123 Anja van den Broek Marjolein Muskens Bas Kurver Robert Tholen Jessica Pass Dik Leering januari 10

2 2009 ResearchNed Nijmegen in opdracht van Stichting Studiekeuze123. Alle rechten voorbehouden. Het is niet geoorloofd gegevens uit dit rapport te gebruiken in publicaties zonder toestemming van de opdrachtgever en zonder nauwkeurige bronvermelding. 2

3 Inhoud 1 ORGANISATIE EN COMMUNICATIE Projectorganisatie Overlegstructuur Communicatie met instellingen Deelname instellingen Vragenlijst Steekproeftrekking en steekproefomvang 7 2 VERWERKVERLOOP Mailings Responsverhogende maatregelen Respons 10 3 ANALYSE Schaalbetrouwbaarheid Bijschatten opleidingsvorm Typering van de respons en non-respons Betrouwbaarheid van de data Koppeling trendbestand Weging Respons en aggregatie Kleine cellen 31 4 CORRECTIE VAN HET METHODE-EFFECT Berekening van het methode-effect Multilevel-modellen Verschillen naar achtergrondkenmerken na correctie 35 5 RESULTATEN OP HOOFDLIJNEN 47 6 PUBLICATIE VAN DE DATA Studiekeuzedatabase en website Studiekeuze Instellingsspecifieke bestanden en rapportages NSE Online 52 7 VERNIEUWING VRAGENLIJST Aanleiding Inventarisatie bestaande vragenlijsten Delphi-onderzoek Resultaten Open vragen Conclusies 65 3 Onderzoeksverantwoording v1

4 8 GEBRUIK VAN ANTWOORDSCHALEN Overzicht Resultaten Conclusies Transformaties tussen antwoordschalen Kwalitatieve analyse Contextgebondenheid en taalgebruik Meetniveau en antwoordcategorieën Live pilot onder studenten 73 9 VALIDATIE Hoofdcomponentenanalyse Betrouwbaarheidsanalyses Conclusie INTEGRATIE STO-NSE Inhoud van de vragenlijst Antwoordcategorieën 89 BIJLAGE A: VRAGENLIJST NSE BIJLAGE B: OVERIGE OPMERKINGEN VRAGENLIJST 106 BIJLAGE C: VERGELIJKING STO2009-NSE BIJLAGE D: OVERZICHT TABELLEN EN FIGUREN Onderzoeksverantwoording v1

5 1 Organisatie en communicatie 1.1 Projectorganisatie Met ingang van 1 januari 2009 valt de Nationale Studentenenquête (NSE) onder verantwoordelijkheid van Studiekeuze123. Studiekeuze123.nl is een gezamenlijk initiatief van hoger onderwijsinstellingen HBO- Raad, VSNU en PAEPON, en de studentenorganisaties LSVb en ISO. Het ministerie van Onderwijs, Cultuur en Wetenschap zorgt voor de financiering. De uitvoering is in handen van SURFfoundation. SURFfoundation is de ICT-samenwerkingsorganisatie voor het hoger onderwijs en onderzoek in Nederland. De uitvoering van de Nationale Studentenenquête is handen van ResearchNed en TNS NIPO. De algehele projectleiding is in handen van Anja van den Broek. 1.2 Overlegstructuur De uitvoering van de Nationale Studentenenquête wordt begeleid door een commissie waarin universiteiten, hogescholen, het particuliere onderwijs, studentenorganisaties en methodologen zijn vertegenwoordigd. De Begeleidingscommissie NSE kwam in 2009 maandelijks bij elkaar om de stand van zaken rondom de NSE door te spreken en hier advies over te geven. De begeleidingscommissie NSE werd op de hoogte gehouden van actuele ontwikkelingen door middel van relevante stukken zoals tussentijdse rapportages en responsoverzichten. Van elke bijeenkomst is een verslag gemaakt waarin discussiepunten, besluiten en actiepunten zijn opgenomen. Daarnaast zag een deskundigenpanel toe op de kwaliteit van de data en de gebruikte methoden. Het deskundigenpanel kwam in 2009 zeven keer bij elkaar. Bij elke bijeenkomst zijn stukken die verband hielden met de methode en kwaliteit van de data verspreid onder leden van het deskundigenpanel. Tijdens de bijeenkomsten werden deze stukken besproken op basis waarvan afspraken werden gemaakt over het vervolg van het traject. 1.3 Communicatie met instellingen Communicatie met instellingen heeft op diverse manieren plaatsgevonden. Er zijn twee informatiebijeenkomsten georganiseerd waar alle instellingen in het hoger onderwijs welkom waren. Tijdens de eerste bijeenkomst is het draaiboek van de NSE 2009 toegelicht, in de tweede bijeenkomst zijn voornamelijk de resultaten van de NSE 2009 besproken. Alle informatie en stukken die beschikbaar waren gedurende 2009 zijn op de website geplaatst. Op deze site konden instellingen onder andere het draaiboek, de uitnodigingstekst en de vragenlijst downloaden. Daarnaast konden de contactpersonen NSE hier gegevens aanvragen waarmee zij bestanden met adressen en achtergrondgegevens konden uploaden via de beveiligde uploadfaciliteit. Ook deze uploadfacilteit was te vinden op deze website. Tijdens de afname van de enquête werden wekelijks responsoverzichten per instelling op de website geplaatst. Bij de voorbereiding van het veldwerk is intensief contact geweest met instellingen om na te gaan of zij actief wilden participeren aan de NSE Medewerkers op instellingen die bekend waren als contactpersoon voor de Studiekeuzedatabase zijn benaderd per telefoon en . In een aantal gevallen bleek een andere medewerker als contactpersoon NSE te worden benoemd hoewel in de meeste gevallen de contactpersoon voor de Studiekeuzedatabase ook de contactpersoon voor de NSE is geworden. Met deze contactpersonen is rechtstreeks gecommuniceerd. 5 Onderzoeksverantwoording v1

6 Vragen die gesteld zijn via (rechtstreeks bij de onderzoeker of via het contactformulier op studiekeuzeinformatie.nl), zijn opgenomen in de helpdesk Jira. Hierin werd bijgehouden wanneer een vraag gesteld en beantwoord was, wie het antwoord gegeven heeft en het uiteindelijke antwoord op de vraag. 1.4 Deelname instellingen Studiekeuze123 had als doel de instellingen actiever betrekken bij de Nationale Studentenenquête. Dit uitte zich onder andere door een actieve betrokkenheid van representanten van instellingen en studenten bij de totstandkoming van de vragenlijst. Ook werd aan instellingen de mogelijkheid geboden om extra vragen toe te voegen aan de vragenlijst en om de hele studentenpopulatie deel te laten nemen. Hierdoor waren er in 2009 instellingen waarvan de gehele populatie ondervraagd werd (actieve participatie) en instellingen waarvan een steekproef werd uitgenodigd (passieve participatie) die vanwege de driejaarlijkse cylcus die gehanteerd werd aan de beurt waren om mee te doen. Bij actieve participatie werd aan instellingen gevraagd een bestand aan te leveren met daarin de e- mailadressen en enkele achtergrondkenmerken van de hele studentenpopulatie. Het was belangrijk om een koppeling te kunnen maken tussen de opleiding en de instelling waar de student studeert, èn een aantal achtergrondkenmerken (croho-code, instelling, geslacht, leeftijd, studiejaar, etniciteit, vooropleiding). Deze kenmerken waren nodig om de route door de vragenlijst te programmeren en de gegevens te wegen en te analyseren nadat het veldwerk was afgerond. Bij actieve participatie werden studenten per uitgenodigd mee te doen met de NSE, bij passieve participatie werden studenten per brief uitgenodigd. De voorkeur ging echter sterk uit naar het verzenden van deze wachtwoorden per vanwege de betere beheersbaarheid van het proces bij e- mailverzendingen dan bij postverzendingen. Instellingen hadden de keuze om de onderzoekers de s te laten versturen, of om dit zelf te doen. In het eerste geval leverde de instelling een bestand aan met adressen samen met een aantal relevante achtergrondkenmerken (croho-code, instelling, geslacht, leeftijd, studiejaar, etniciteit, vooropleiding). Deze informatie werd aangeleverd worden via een uploadfaciliteit op Studenten ontvingen een individuele mail aan elke student met daarin een persoonlijke link naar de vragenlijst. Op basis van de geleverde achtergrondkenmerken werd de route door de vragenlijst bepaald. Gedurende het veldwerk werd een aantal malen een rappel worden verzorgd voor die studenten die nog niet gereageerd hebben (zie ook paragraaf 2.2). Van de mogelijkheid om de s zelf te versturen heeft geen van de actief participerende instellingen gebruik gemaakt. Instellingen kregen de mogelijkheid aangeboden om extra vragen aan te leveren. Het ging hier om instellingsspecifieke vragen die alleen aangeboden werden aan studenten van de instelling die de vragen heeft aan geleverd. Hier waren kosten aan verbonden voor het redigeren, programmeren, testen, toevoegen aan het veldwerk en de verwerking. De resultaten van de extra vragen zijn eigendom geworden van de instellingen. Instellingen konden maximaal vijf extra vragen aanleveren. Het aanleveren gebeurde in Word-formaat, via de uploadfaciliteit op Instellingen konden om advies vragen bij de onderzoekers over de juiste formulering van vragen en antwoordcategorieën. In totaal hebben zeven instellingen gebruik gemaakt van de mogelijkheid om extra vragen toe te voegen. 1.5 Vragenlijst Het uitgangspunt voor de vragenlijst NSE 2009 vormde de vragenlijst voor bachelorstudenten en de vragenlijst voor masterstudenten van de NSE Allereerst zijn deze lijsten geïntegreerd tot één lijst, waarbij er gebruik werd gemaakt van verschillende routings voor bachelor- en masterstudenten. Vervolgens is deze concept-vragenlijst voorgelegd aan de leden van de Begeleidingscommissie NSE. 6 Onderzoeksverantwoording v1

7 Door deze commissie zijn suggesties gedaan voor verbetering van de vragenlijst, zoals het consequent gebruiken van begrippen, het verwijderen van vragen die dubbel gesteld werden en het splitsen van vragen die twee onderwerpen tegelijk besloegen. Het streven was om de vragenlijst van de NSE 2009 zoveel mogelijk gelijk te houden aan de vragenlijsten die in voorgaande jaren werden gebruikt om de vergelijkbaarheid met deze jaren te garanderen. De begeleidingscommissie NSE en de opdrachtgever hebben de definitieve versie van de vragenlijst goedgekeurd. Vervolgens is de vragenlijst is vertaald in het Engels en Duits door vertalers die ruime ervaring hebben in het vertalen van teksten op het gebied van het hoger onderwijs. De vertalingen zijn voor meerdere onderzoekers beoordeeld en goedgekeurd. 1.6 Steekproeftrekking en steekproefomvang In totaal hebben 31 instellingen gekozen voor een actieve participatie aan de Nationale Studentenenquête. Deze instellingen leverden samen bijna adressen van studenten. Dit waren vooral instellingsadressen. Sommige instellingen leverden daarnaast ook de privé-adressen (voor het gebruik hiervan is te allen tijde toestemming gevraagd). Onder de actief participerende instellingen bevonden zich negen wo- en 22 hbo-instellingen. Twaalf instellingen zijn bekostigd; 19 instellingen zijn niet-bekostigd (NBI). Van de overige niet-bekostigde instellingen is een steekproef getrokken van hoofdinschrijvingen uit het 1CijferHo 1. Bij het bepalen van de opleidingen die worden opgenomen in de NSE 2009 zijn de volgende uitgangspunten gehanteerd: Grote opleidingen die in het verleden tweejaarlijks bevraagd werden, zijn in 2009 (als zij aan de beurt waren) bevraagd. Dit geldt ook voor kleine opleidingen met een traditioneel driejaarlijkse bevraging. Van alle wo-opleidingen waarvan de bachelorvariant in 2009 aan de beurt was, zijn ook de verwante masteropleidingen opgenomen, zelfs als die in 2008 zijn bevraagd. Deze verwantschappen zijn ingedeeld op basis van en zogenaamde studiecode (zie Studiekeuzedatabase). Bijvoorbeeld: Gedrag en Maatschappij bevat de volgende studiecodes: HBO Maatschappelijk werk en dienstverlening, HBO Culturele en maatschappelijke vorming, HBO Personeel en arbeid, HBO Sociaal pedagogische hulpverlening, HBO Sociaal-juridische dienstverlening, HBO Creatieve therapie, WO Sociologie en Sociale studies, WO Culturele antropologie, WO Psychologie, HBO Toegepaste psychologie, HBO Social Work). In de vorige versies van de NSE was vaak sprake van herkansingen. Dat betekent dat opleidingen, indien in een bepaald jaar onvoldoende respons werd behaald, het jaar daarop volgend opnieuw werden opgenomen. Hierdoor zijn voor veel opleidingen uit verschillende jaren data beschikbaar. Als uitgangspunt is genomen het jaar waarin een opleiding (croho-code) voor het eerst in de laatste cyclus bevraagd is. Als bijvoorbeeld de opleiding Hoger Hotelmanagement in 2006 is bevraagd en bij sommige instellingen in 2007 is herkanst, is deze opleiding in 2009 opnieuw opgenomen. Daardoor lijkt het soms dat ook kleinere opleidingen tweejaarlijks worden bevraagd. De steekproefomvang is als volgt berekend: Voor opleidingen met minder dan 200 studenten is de hele populatie aangeschreven; voor opleidingen met meer dan 200 studenten worden 200 studenten random geselecteerd. De totale bruto steekproef komt hiermee op : voltijdstudenten (inclusief duaal) en deeltijdstudenten. 1 In dit bestand staan alle inschrijvingen en examens van studenten in het Hoger Onderwijs (WO en HBO). Tot en met 2005 zijn de gegevens beschikbaar van het hele studiejaar. Van studiejaar 2006 zijn de gegevens beschikbaar van de peildatum 1 oktober. In het 1CijferHo zijn attributen aan de gegevens van het CRIHO toegevoegd waarmee inschrijvingen die geldig zijn op 1 oktober, kunnen worden onderscheiden van de latere inschrijvingen in het studiejaar. Tevens kan van de inschrijvingen op 1 oktober de hoofdinschrijving van de student per domein geselecteerd worden. 7 Onderzoeksverantwoording v1

8 In totaal bevat de steekproef records die afkomstig zijn uit het 1CijferHo; record zijn aangeleverd via de instellingen. De steekproef kent unieke opleiding-instellingscombinaties (704 unieke croho-codes). Ruim 40 procent van de unieke opleiding-instellingscombinaties kent een bruto-steekproef kleiner dan 50; 20 procent heeft en steekproef groter dan 200 (zie Tabel 1). Tabel 1: Steekproefomvang van de unieke opleiding- en instellingscombinaties Steekproefomvang Opleiding-instellingscombinatie Percentage van totale steekproef > % % % % % < % Totaal % 8 Onderzoeksverantwoording v1

9 2 Verwerkverloop 2.1 Mailings In de periode april-juli 2009 heeft het veldwerk van de Nationale studentenenquête plaatsgevonden. De totale steekproef bedroeg respondenten. Van 59% waren één of twee adressen beschikbaar. In totaal 41% van de steekproef is getrokken uit het 1CijferHo. Deze records zijn per brief door de IB-Groep aangeschreven. De elektronische mailings zijn verzonden via een gespecialiseerd en gecertificeerd mailbedrijf. In totaal zijn er zes elektronische mailings uitgevoerd. De meeste mailings gingen in porties van per dag. De laatste mailing is in één batch van verstuurd. Dagelijks ontvingen de onderzoekers monitorrapporten over de deliverability van de mails. Vanaf de mailing Z1 zijn ook de privéadressen van studenten gebruikt en is meer communicatie verricht richting instellingen. Voor het gebruik van de privé-adressen is allereerst toestemming gevraagd aan de instellingen. Een aantal instellingen gaf hiervoor geen toestemming. Tabel 2 toont het overzicht van de mailings. Een belangrijk verschil tussen de eerste fase en tweede fase is de inzet van incentives. We komen hier later op terug. Dat zou de hoge respons van de tweede reminder (derde mailing: Z1) kunnen verklaren. Ook de betere deliverability zou een verklaring kunnen zijn. Tabel 2: Overzicht elektronische mailings Mailingservice Verstuurd Respons % Respons van deze zending % Respons van totale respons M % 25% M % 13% Z % 29% Z % 15% Z % 8% Z % 9% Omdat niet alle instellingen actief deelnamen aan de NSE is een steekproef getrokken uit het 1CijferHo. Dit traject is al eerder beschreven. Van alle geselecteerde opleidingen met een N (=populatie) groter dan 200 zijn 200 studenten random getrokken; van opleidingen met een N lager dan 200 zijn alle studenten aangeschreven. De brieven zijn bij de IB-Groep gemerged en gecouverteerd en aangeboden aan TNT. Hiervan zijn documenten beschikbaar. Respons die via deze weg gerealiseerd is, is lager dan de respons per . De respons op de schriftelijke uitnodigingen loopt wel langer door (het lange-termijnrendement is groter). Vanwege kostenaspecten is deze groep eenmaal initieel benaderd en tweemaal is een reminder verstuurd. De brieven zijn steeds in batches van à per dag verzonden. De rendementen van de mailings die door de IB-Groep zijn uitgevoerd zijn iets lager dan die van de elektronische mailings. Vanaf IB-Groep2 zijn incentives ingezet. Dat zou de hogere respons kunnen verklaren. 9 Onderzoeksverantwoording v1

10 Tabel 3: Overzicht schriftelijke mailings Mailingservice Verstuurd Respons % Respons van deze zending % Respons van totale respons IBG % 27% IBG % 49% IBG % 24% 2.2 Responsverhogende maatregelen Gedurende het veldwerk is bijgestuurd door middel van responsverhogende maatregelen. Uit een onderzoek onder circa 60 afbrekers bleek bovendien dat voor vier van de vijf respondenten de lengte van de vragenlijst een reden was om het invullen voortijdig te beëindigen. Uit de data blijkt inderdaad dat bij lange gridvragen de uitval begint. Dit is een van de redenen dat de enquête voor 2010 grondig is herzien (zie hoofdstuk 7, 8 en 9). Mogelijke andere redenen voor nonrespons kunnen zijn de lay-out van de vragenlijst (veel gele vlakken, onrustige lay-out), te lange uitnodigingsteksten, het ontbreken van incentives, bouncers. Om de respons te verhogen is een traject in gang gezet (fase 2: Z) waarin de volgende acties zijn ondernomen: Aantrekkelijke en rustiger styling van de vragenlijst. Nieuwe introtekst en uitnodigingsmail en -brief (wervend en vooral korter). Inzetten incentives (60 ipods Nano, ter beschikking gesteld door ResearchNed), vijf Apple MacBooks t.w.v euro en 250 bol.com-bonnen t.w.v. 20 euro (post onvoorzien ). Monitoring van het veldwerkproces door dagelijkse (live) rapportering van de responsvoortgang, dagelijks uitlezen en beantwoorden van s van studenten, wekelijks hierover rapporteren (ook Studiekeuze123 beschikte inmiddels over toegang tot mailbox van info@nse.nl), goede registratie van bouncers en reden van bouncing. Verlenging van de veldwerkperiode tot half juli. Begin januari is een traject gestart om instellingen ertoe te bewegen actief deel te gaan nemen aan de NSE. Dit leverde veel meer adressen op dan aanvankelijk is verwacht. In totaal kwam de bruto (ongecorrigeerde) steekproef op ruim Vanwege spam- en bounceproblemen, maar ook om de load op de enquête te spreiden, was een periode van twee à drie weken nodig om alle respondenten te mailen. Teneinde voldoende reminders te kunnen sturen (dit ook in verband met de afgegeven responsgarantie) was verlenging van het veldwerk noodzakelijk. Elke reminder leverde immers nieuwe respons op. Het verlengen van de veldwerkperiode leverde uiteindelijk geen vertraging op in het totale project, omdat alle procedures in voorbereiding waren. Gedurende het veldwerk zijn de steekproefaantallen bijgesteld op basis van niet-bereikbaarheid van respondenten. Hiermee kregen we beter zicht op de feitelijke responspercentages. 2.3 Respons In totaal zijn interviews gestart. Hiervan zijn er succesvol beëindigd. Dit is 81,9% van de totaal gerealiseerde respons. In totaal 19% van de respondenten heeft niet alle oordeelsvragen ingevuld. Van 2,2% van de respons klopte de voorgevulde combinatie opleiding en instelling niet. Deze zijn door de respondenten in de vragenlijst gecorrigeerd. Van de steekproef zijn alle records die twee keer of vaker gebounced zijn, waarvan de brieven retour afzender zijn gekomen (ongeldig adres) of die op de blacklist staan bij de IB-Groep (willen niet benaderd worden) als ongeldig gekwalificeerd. Het betreft hier van de records uit de steekproef. Dat betekent dat de gecorrigeerde steekproef bestaat uit records. Deze records zijn ontdubbeld op het niveau opleiding*instelling. De respons bedraagt 34%; de IB-Groep respons 21%. 10 Onderzoeksverantwoording v1

11 Hiermee komt de totale bruto respons op / op 28,63%. In beginsel zijn alle respondenten meegenomen in de analyses. Door de in het deskundigenpanel vastgestelde norm van minimaal vijf respondenten per vraag toe te passen en een ondergrens te hanteren voor de totale respons per opleiding van 10, worden de lage-responsopleidingen door middel van deze selecties niet getoond op de website, terwijl deze wel in het basisbestand beschikbaar blijven. Figuur 1 geeft een overzicht van het responsverloop in aantallen per week. Fase 1 (geen incentives) loop vanaf week 13 tot en met week 23/24. Fase 2 (incentives) startte in week Figuur 1: Algeheel responsverloop NSE per week Figuur 2 toont de responsaantallen per dag van de week. De aantallen liggen in het weekend lager omdat tijdens weekenden minder mails zijn verstuurd. Op donderdag is de respons lager dan op de andere dagen, ondanks nagenoeg gelijke mailverzendingen. Verder is de respons op de werkdagen nagenoeg gelijk Figuur 2: Maandag Dinsdag Woensdag Donderdag Vrijdag Zaterdag Zondag Respons per dag van de week Tabel 4 toont de respons (aantallen en percentages) per instelling en de benaderingswijze van studenten. De respons per instelling varieert van 15% tot 70%. In totaal 15% van het totaal van 78 betrokken instellingen laat een respons zien hoger dan 45%; 14 instellingen (18%) hebben een respons tussen 30 en 40%; 11 instellingen (14%) tussen 25 en 29%; 33 instellingen (42%) tussen 20 en 24%. Acht instellingen (10%) hebben een respons tussen 15 en 20%. Tabel 4: Respons per instelling 11 Onderzoeksverantwoording v1

12 Respons Uitgenodigd Instelling Methode N % Valide Geweigerd Hogeschool Wittenborg % Centrum voor studie en documentatie voor Latijns Amerika 5 71% 7 0 Roosevelt Academy Middelburg % Stichting Hoger Onderwijs NOVI % STC-Group 4 50% 8 0 Wageningen Universiteit % TMO, Hogeschool voor Modemanagement % Hogeschool Pedagogisch/Sociaal-Agogisch Onderwijs Groningen % 79 1 PC Hogeschool Marnix Academie Utrecht % Universiteit voor Humanistiek % Universiteit Utrecht % Hogeschool Gorinchem IDE bv 8 44% 18 0 Internationale Agrarische Hogeschool Larenstein % Van Hall Instituut % Christelijke Hogeschool De Driestar Gouda % Azusa Theologische Hogeschool % 60 2 Noordelijke Hogeschool Leeuwarden/Willem Barentz % Hogeschool Schumann Akademie BV % University College Utrecht % Hogeschool Schoevers % Vrije Universiteit Amsterdam % Nyenrode Business Universiteit % Open Universiteit Nederland % Universiteit Leiden % Hogeschool TIO % Erasmus Universiteit Rotterdam % Stenden Hogeschool CHN Leeuwarden % Hogeschool Notenboom % Driestar educatief % 81 2 Stichting NTI Hogeschool % Markus Verbeek/Praehap % Stichting Amsterdamse Balletacademie (Lucia Marthas) % 62 0 Stenden Hogeschool HD Emmen % Een andere hogeschool Een andere universiteit HAS Den Bosch IB-Groep 1 50% 2 1 Codarts, Hogeschool voor de Kunsten IB-Groep 16 33% Technische Universiteit Eindhoven IB-Groep % Fontys Hogescholen Sittard IB-Groep 35 30% Hogeschool voor de Kunsten Utrecht IB-Groep 56 29% Katholieke Pabo Zwolle IB-Groep 95 29% Gereformeerde Hogeschool Zwolle IB-Groep % ArtEZ IB-Groep 29 28% Christelijke Hogeschool Ede IB-Groep % Universiteit Twente IB-Groep % Iselinge Hogeschool Doetinchem IB-Groep 72 26% Radboud Universiteit Nijmegen IB-Groep % Technische Universiteit Delft IB-Groep % Fontys Hogescholen Eindhoven IB-Groep % Amsterdamse Hogeschool voor de Kunsten IB-Groep % Onderzoeksverantwoording v1

13 Respons Uitgenodigd Instelling Methode N % Valide Geweigerd Pedagogische Hogeschool De Kempel Helmond IB-Groep 75 24% Hogeschool Zuyd IB-Groep % Hogeschool Helicon te Zeist IB-Groep 43 23% Universiteit Maastricht IB-Groep % Noordelijke Hogeschool Leeuwarden IB-Groep % Hogeschool Rotterdam IB-Groep % Hogeschool van Arnhem en Nijmegen IB-Groep % Universiteit van Tilburg IB-Groep % Universiteit van Amsterdam IB-Groep % Hogeschool Domstad te Utrecht IB-Groep 60 22% Rijksuniversiteit Groningen IB-Groep % Saxion Hogeschool Enschede IB-Groep % Hogeschool IPABO Amsterdam Alkmaar IB-Groep % NHTV Internationale Hogeschool IB-Groep % Fontys Hogescholen 's-hertogenbosch IB-Groep 60 21% Hanzehogeschool Groningen IB-Groep % Fontys Hogescholen Pabo Eindhoven IB-Groep % Avans Hogeschool 's-hertogenbosch IB-Groep 67 20% Hogeschool Edith Stein Hengelo IB-Groep 66 20% Hogeschool Zeeland IB-Groep % Hogeschool Utrecht IB-Groep % Saxion Hogeschool IJsselland Deventer IB-Groep % Fontys Hogescholen Tilburg IB-Groep % Hogeschool Leiden IB-Groep % Christelijke Hogeschool Windesheim Zwolle IB-Groep % Avans Hogeschool Breda-Tilburg IB-Groep % Haagse Hogeschool IB-Groep % Fontys Hogescholen KL Roermond IB-Groep 78 16% Hogeschool INHOLLAND IB-Groep % Hogeschool van Amsterdam IB-Groep % Hotelschool Den Haag IB-Groep 47 15% Gerrit Rietveld Academie Amsterdam IB-Groep 1 7% 14 4 Totaal % IB-Groep % Totaal Totaal % ResearchNed heeft een korte analyse vervaardigd van de verschillen in respons in fase 1 en fase 2. Hiervoor zijn twee analyses uitgevoerd. Allereerst een multilevel-analyse om na te gaan of de scores op de totaaloordelen, gecorrigeerd naar achtergrondkenmerken en opleiding, verschillen voor de respondenten in fase 1 en fase 2. Daarnaast is gekeken naar de respons in fase 1 en 2 naar achtergrondkenmerken. Tabel 5 geeft de resultaten weer van de multilevel-analyses. Uit de multilevel-analyse blijkt dat er een klein verschil bestaat tussen de scores op het totaaloordeel van respondenten die met en zonder incentives hebben gerespondeerd: respondenten uit fase 2 scoren gemiddeld 0,03 pt. lager. Het effect van de fase van responderen op het studentoordeel is voor alle opleidingen gelijk. 13 Onderzoeksverantwoording v1

14 Tabel 5: Multilevel-model effecten van incentives op totaaloordeel over de opleiding Cluster Totaal Model 0 (nul model) Model 1 (alleen Incentive) Model 2 (+respondentkenmerken) B s.e.. B s.e.. B s.e.. Intercept 7,05 0,01** 7,07 0,02** 7,08 0,02 ** Incentive (wel-niet) -0,03 0,01* -0,03 0,01 * Respondentkenmerken Geslacht (man-vrouw) -0,02 0,01 * Vorm (voltijd-deeltijd) 0,02 0,02 Model parameters Variantie niveau respondent 0,15** 0,15 ** 0,15** Variantie niveau opleiding 0,78 0,78 0,78 Deviance (-2*loglikelihood) , , ,64 N Respondent N Opleiding Tabel 5: (vervolg) Multilevel-model effecten van incentives op totaaloordeel over de opleiding Cluster Totaal Model 3 (+opleidingskenmerken) Model 4 (+interacties) B s.e. B s.e. Intercept 6,82 0,04 ** 6,84 0,05** Incentive (wel-niet) -0,03 0,01 * -0,06 0,04 Respondentkenmerken Geslacht (man-vrouw) -0,02 0,01-0,02 0,02 Vorm (voltijd-deeltijd) 0,04 0,02-0,01 0,03 Opleidingskenmerken Numerus Fixus (wel-niet) -0,14 0,07 * -0,15 0,07* TypeHo (Bachelor-Master) -0,00 0,03-0,05 0,03 SoortHo (Hbo-Wo) 0,37 0,03 ** 0,44 0,04** Interacties (respondent) Incentive*geslacht -0,01 0,02 Incentive*vorm 0,06 0,03 Interacties (opleiding) Incentive*Numerus Fixus 0,01 0,04 Incentive*TypeHo 0,08 0,03** Incentive*SoortHo -0,11 0,03** Model parameters Variantie niveau respondent 0,12** 0,14** Variantie niveau opleiding 0,78 0,78 Deviance (-2*loglikelihood) , ,41 N Respondent N Opleiding Onderzoeksverantwoording v1

15 Tenslotte is gekeken naar het soort respondent dat heeft meegewerkt in fase 1 of in fase 2. Tabel 6 tot en met Tabel 11 geven een overzicht van de respons naar achtergrondkenmerken van achtereenvolgens type hoger onderwijs, bekostiging, soort hoger onderwijs, geslacht, leeftijd en studiejaar. De verdeling van de respons in beide fasen naar studiejaar laten geen significante verschillen zien. Bij de overige achtergrondkenmerken zijn de verschillen wel significant, doch zijn de feitelijke verschillen tussen de verdelingen klein. In het onderstaande vatten we de verschillen puntsgewijs samen. de studenten oude stijl (kleine groep) respondeerden iets vaker in de eerste fase; studenten van private opleidingen respondeerden iets vaker in de eerste fase; vrouwen respondeerden iets vaker in de eerste fase; mannen vaker in de tweede fase; jongere studenten werkten meer dan oudere studenten mee in de eerste fase. Tabel 6: Responsverschillen fase 1 en fase 2: type hoger onderwijs TypeHo Fase1 Fase2 N exp. % N exp. % Bachelor % % Master % % Oude stijl % % Totaal % % chisq=8,41; df=2; p=0,01 Tabel 7: Responsverschillen fase 1 en fase 2: bekostiging Bekostiging Fase1 Fase2 N exp. % N exp. % Publiek % % Privaat % % Totaal % % chisq=6,99; df=1; p=0,01 Tabel 8: Responsverschillen fase 1 en fase 2: soort hoger onderwijs SoortHO Fase1 Fase2 N exp. % N exp. % Hbo % % Wo % % Totaal % % chisq=41,78; df=1; p=0,00 Tabel 9: Responsverschillen fase 1 en fase 2: geslacht Geslacht Fase1 Fase2 N exp. % N exp. % Man % % Vrouw % % Totaal % % chisq=223,81; df=1; p=0,00 15 Onderzoeksverantwoording v1

16 Tabel 10: Responsverschillen fase 1 en fase 2: leeftijd Leeftijdsklasse Fase1 Fase2 N exp. % N exp. % <20 jaar % % jaar % % jaar % % jaar % % >25 jaar % % Totaal % % chisq=34,79; df=4; p=0,00 Tabel 11: Responsverschillen fase 1 en fase 2: studiejaar Studiejaar Fase1 Fase2 N exp. % N exp. % Eerstejaars % % Ouderejaars % % Totaal % % chisq=1,05; df=1; p=0,31 16 Onderzoeksverantwoording v1

17 3 Analyse 3.1 Schaalbetrouwbaarheid In de Nationale Studentenenquête beoordelen studenten de opleiding en instelling. Dit gebeurt aan de hand van verschillende vragen en items. De vragen meten het oordeel over verschillende aspecten van de opleiding en instelling. Ze zijn onderverdeeld in tien clusters: Inhoud, Keuzeruimte, Samenhang, Werkvormen, Loopbaan, Docenten, Communicatie, Studeerbaarheid, Gebouwen en Faciliteiten. De onderliggende oordelen worden per student opgeteld en gedeeld door het aantal items, zodat per student een gemiddeld oordeel per cluster ontstaat. De vraag blijft echter of de onderliggende items hetzelfde meten, of ze per cluster als een schaal mogen worden opgevat en of het statistisch verantwoord is om clusterscores te berekenen. Met behulp van factoranalyse en betrouwbaarheidsanalyse is dit nagegaan en maken we inzichtelijk dat de schalen intern consistent zijn. Factoranalyse is een techniek waarbij voor een aantal variabelen of items wordt bekeken of er sprake is van een of meerdere achterliggende dimensies waaronder deze variabelen kunnen worden geschaard. Deze dimensies worden ook wel factoren of schalen genoemd. De bedoeling is dat dimensies zo veel mogelijk variantie van de onderliggende variabelen verklaren, omdat er anders veel informatie verloren gaat. In factoranalyse wordt specifiek gekeken naar de gemeenschappelijke variantie van een variabele, en niet naar de totale variantie. Er wordt aangenomen dat iedere variabele een uniek component in zich heeft en bovendien dat een variabele niet volstrekt betrouwbaar gemeten is. Het uiteindelijke doel van factoranalyse is het verkrijgen van meer inzicht in de beschikbare data. Wanneer uit factoranalyse blijkt dat de verschillende blokken vragen als één cluster mogen worden beschouwd, kan met behulp van betrouwbaarheidsanalyse worden bekeken in hoeverre deze schalen betrouwbaar zijn. Deze schaalbaarheid wordt gemeten met behulp van Cronbach s alpha, een statistische maat die aangeeft in hoeverre bepaalde variabelen intern consistent zijn. Hoe hoger de Cronbach s alpha, des te sterker de mate waarin variabelen op hetzelfde cluster van toepassing zijn. Per cluster is nagegaan in hoeverre de onderliggende items opgevat kunnen worden als een schaal. De uitkomsten van de verschillende factoranalyses zijn in Tabel 12 verwerkt. In de tabel staan per item de communaliteit en factorscore. Een communaliteit geeft het deel van de variantie weer dat door de factor wordt bepaald. Het betreft een proportioneel deel en ligt tussen 0 en 1. In statistische termen behoort deze boven de 0,20 te liggen. De factorlading geeft de correlatie weer tussen de items en de te construeren schaal. Voor een statistisch goede fit liggen deze boven de 0,40. Uit de tabel blijkt dat de ieder cluster mag worden opgevat als een schaal. Zowel de communaliteiten als de factorladingen zijn hoog genoeg om te mogen spreken over tien afzonderlijke clusters, waaruit statistisch verantwoorde conclusies getrokken kunnen worden. Hierbij dient vermeld te worden dat tevens is gecontroleerd of er in ieder afzonderlijk jaar sprake is van een schaal. Dit bleek zo te zijn. Er is dus over alle jaren sprake van geldige en consistente schalen. 17 Onderzoeksverantwoording v1

18 Tabel 12: Factoranalyse clusters studentoordelen Cluster Communaliteit Factorlading Inhoud Opleiding inhoudelijk interessant 0,482 0,694 Inhoudelijk niveau opleiding 0,711 0,843 Kwaliteit toetsing en beoordeling 0,483 0,695 Keuzeruimte Ruimte voor eigen invulling 0,452 0,672 Eigen afstudeerrichting of specialisatie kiezen 0,558 0,747 Mogelijkheden om te studeren of stage te lopen in buitenland 0,262 0,512 Mogelijkheid om opleiding in eigen tempo te volgen 0,333 0,577 Samenhang Koppeling tussen theorie en praktijk in de opleiding 0,402 0,634 Mate waarin opleidingsonderdelen op elkaar voortbouwen 0,833 0,913 Mate waarin opleidingsjaren op elkaar voortbouwen 0,763 0,873 Werkvormen Mate waarin opleiding aanzet tot actief leren 0,733 0,856 Mate waarin de opleiding een kritische houding stimuleert 0,578 0,760 Ruimte voor oefening van praktische vaardigheden 0,294 0,542 Loopbaan Opleiding geeft helder beeld van beroep en arbeidsmarkt 0,388 0,623 Mogelijkheden voor het opdoen van beroepservaring 0,289 0,537 Mate van kennismaking met wetenschappelijk onderzoek 0,539 0,734 Mate van kennismaking met het toepassen van onderzoek 0,736 0,858 Docenten Inhoudelijke deskundigheid 0,607 0,779 Helder overdragen lesstof en stimuleren leerproces 0,771 0,878 Bereikbaarheid van docenten 0,528 0,726 Kwaliteit van feedback van docenten 0,639 0,799 Communicatie Tijdige bekendmaking van (toets)resultaten 0,454 0,674 Vanuit instelling over rechten en plichten als student 0,666 0,816 Vanuit opleiding over vakkenaanbod, les- en tentamentijd 0,634 0,796 Mogelijkheid actief bijdragen aan evaluatie, beleid van opleiding 0,447 0,669 Studeerbaarheid Haalbaarheid afronding eerste studiejaar in tijd die ervoor staat 0,570 0,755 Haalbaarheid afronding volledige bachelor- of masteropleiding 0,728 0,853 Mogelijkheden herkansen of inhalen achterstand 0,434 0,659 Begeleiding bij studievoortgang 0,213 0,462 Gebouwen Geschiktheid van collegezalen en lesruimtes 0,655 0,809 Geschiktheid van practicum- en oefenruimtes 0,786 0,886 Beschikbaarheid van werkplekken voor zelfstudie 0,421 0,649 Faciliteiten Beschikbaarheid vakdocumentatie 0,567 0,753 Beschikbaarheid computer- en netwerkfaciliteiten 0,501 0,708 Beschikbaarheid van opleidingsmateriaal 0,505 0, Onderzoeksverantwoording v1

19 Met behulp van betrouwbaarheidsanalyse is de Cronbach s alpha berekend voor de tien schalen. Deze zijn te vinden in Tabel 13. Te zien is dat er voor alle clusters sprake is van een hoge Cronbach s alpha. In de regel dienen ze boven de,60 te liggen. De laagste waarde is te vinden voor het cluster keuzeruimte, waarvoor een waarde van 0,733 wordt gevonden. Deze waarde is, net als de overige waarden, nog steeds hoog genoeg. Tabel 13: Betrouwbaarheid clusters Cluster Cronbach s alpha (alpha) Inhoud 0,787 Keuzeruimte 0,719 Samenhang 0,844 Werkvormen 0,757 Loopbaan 0,781 Docenten 0,873 Communicatie 0,827 Studeerbaarheid 0,773 Gebouwen 0,822 Faciliteiten 0,767 Concluderend is er sprake van tien afzonderlijke clusters, die tevens als een schaal mogen worden opgevat. Deze clusters zijn bovendien in sterke mate intern consistent en uit de uitgevoerde analyses blijkt dus dat het statistisch verantwoord is om op basis van clusterscores tot bepaalde uitspraken te komen. Vervolgens zijn per jaar de gemiddelde scores op zowel de clusters als op de afzonderlijke variabelen weergegeven. Te zien is dat studenten gemiddeld genomen iets positiever worden in het oordeel over de opleiding. Het minst positief zijn studenten over de communicatie met en binnen de opleiding, al zien we wel een duidelijk stijgende lijn. In 2006 gaven studenten gemiddeld een 6,0 als oordeel; in 2009 is deze score opgelopen tot 6,5. Het meest positief zijn studenten over de inhoud van hun opleiding. Tussen 2006 en 2009 is een verandering in het gemiddelde waar te nemen van een 6,8 naar een 7,4. Over het algemeen is te zien dat de oordelen van studenten gemiddeld zo rond de 6 en de 7 liggen. Bovendien is er, zoals gezegd, door de tijd een lichte stijging in het gemiddelde oordeel van studenten waar te nemen. Tabel 14: Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar Cluster Inhoud 6,8 6,9 6,9 7,4 Opleiding inhoudelijk interessant 6,9 7,1 7,2 7,6 Inhoudelijk niveau opleiding 6,8 7,0 7,0 7,4 Kwaliteit toetsing en beoordeling 6,5 6,7 6,6 7,1 Keuzeruimte 6,4 6,6 6,6 6,8 Ruimte voor eigen invulling 6,0 6,3 6,2 6,7 Eigen afstudeerrichting of specialisatie kiezen 6,7 6,8 6,9 7,0 Mogelijkheden om te studeren of stage te lopen in buitenland 6,7 6,9 7,0 7,1 Mogelijkheid om opleiding in eigen tempo te volgen 6,2 6,3 6,3 6,4 Samenhang 6,5 6,6 6,7 6,9 Koppeling tussen theorie en praktijk in de opleiding 6,5 6,5 6,7 6,7 Mate waarin opleidingsonderdelen op elkaar voortbouwen 6,6 6,7 6,7 7,0 Mate waarin opleidingsjaren op elkaar voortbouwen 6,3 6,7 6,8 6,9 19 Onderzoeksverantwoording v1

20 Tabel 14: (vervolg) Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar Cluster Werkvormen 6,3 6,5 6,6 6,9 Mate waarin opleiding aanzet tot actief leren 6,3 6,5 6,6 6,8 Mate waarin de opleiding een kritische houding stimuleert 6,2 6,5 6,6 7,1 Ruimte voor oefening van praktische vaardigheden 6,2 6,4 6,6 6,7 Loopbaan 6,5 6,5 6,6 6,7 Opleiding geeft helder beeld van beroep en arbeidsmarkt 6,3 6,3 6,4 6,4 Mogelijkheden voor het opdoen van beroepservaring 6,9 6,9 7,0 6,8 Mate van kennismaking met wetenschappelijk onderzoek 7,0 7,1 7,3 6,8 Mate van kennismaking met het toepassen van onderzoek 6,5 6,4 6,5 6,7 Docenten 6,6 6,8 6,9 7,1 Inhoudelijke deskundigheid 6,8 7,2 7,3 7,6 Helder overdragen lesstof en stimuleren leerproces 6,5 6,7 6,8 6,9 Bereikbaarheid van docenten 6,5 6,6 6,8 7,0 Kwaliteit van feedback van docenten n.b. n.b. 6,6 7,0 Communicatie 6,0 6,1 6,2 6,5 Tijdige bekendmaking van (toets)resultaten 5,8 5,9 5,9 6,2 Vanuit instelling over rechten en plichten als student 5,7 5,8 5,9 6,1 Vanuit opleiding over vakkenaanbod, les- en tentamentijd 6,3 6,4 6,5 6,8 Mogelijkheid actief bijdragen aan evaluatie, beleid van opleiding 6,1 6,4 6,5 6,9 Studeerbaarheid 6,7 6,7 6,7 6,9 Haalbaarheid afronding eerste studiejaar in tijd die ervoor staat 6,9 7,1 7,1 7,4 Haalbaarheid afronding volledige bachelor- of masteropleiding 6,7 6,7 6,7 6,9 Mogelijkheden herkansen of inhalen achterstand 6,9 6,9 6,9 6,9 Begeleiding bij studievoortgang 6,1 6,1 6,3 6,4 Gebouwen 6,2 6,5 6,5 6,8 Geschiktheid van collegezalen en lesruimtes 6,5 6,6 6,7 7,0 Geschiktheid van practicum- en oefenruimtes 6,3 6,6 6,7 7,0 Beschikbaarheid van werkplekken voor zelfstudie 6,0 6,2 6,2 6,5 Faciliteiten 6,5 6,8 6,9 7,3 Beschikbaarheid vakdocumentatie 6,6 6,9 7,1 7,4 Beschikbaarheid computer- en netwerkfaciliteiten 6,2 6,6 6,6 7,2 Beschikbaarheid van opleidingsmateriaal 6,7 6,8 6,9 7,2 3.2 Bijschatten opleidingsvorm Binnen de NSE worden uitsplitsingen gemaakt naar opleidingsvorm. We onderscheiden hierbij voltijd, deeltijd en duale studenten. De IB-Groep weet niet van alle studenten de opleidingvorm (voltijd of deeltijd). Daarom zijn deze gegevens ook additioneel bevraagd in de vragenlijst. Een deel van de studenten heeft deze vraag niet of niet betrouwbaar ingevuld. Omdat dit kenmerk relevant is voor de Studiekeuzedatabase is door middel van een schatting het databestand gecompleteerd. In deze paragraaf doen we verslag van de wijze waarop de opleidingsvorm van deze studenten is geschat. In totaal is van studenten binnen 317 opleidingen de opleidingsvorm niet bekend. Om deze respondenten wel te kunnen behouden voor het onderzoek is besloten om op basis van de bestaande en bekende verdeling binnen de respons deze opleidingsvorm random toe te delen. Hiervoor is een schatting gemaakt van de kans dat studenten een bepaalde opleidingsvorm volgen. Allereerst is voor elke opleiding (brin*isat) de procentuele verdeling naar opleidingsvorm berekend op basis van de gegevens van studenten van wie wèl de opleidingsvorm bekend is. Deze verdeling geeft de kans voor een student om respectievelijk een voltijd-, deeltijd- of duale opleiding te volgen. 20 Onderzoeksverantwoording v1

21 Deze kansverdeling is vervolgens gebruikt om aan studenten van wie de opleidingsvorm onbekend was, de opleidingsvorm toe te kennen. Indien bijvoorbeeld 80 procent van de medestudenten van een student van wie de opleidingsvorm onbekend is voltijd studeert, en 20 procent deeltijder is, heeft deze studenten een kans van 80 procent meegekregen om ook als voltijd student aangemerkt te worden. Rekening houdend met deze kansverhouding zijn vervolgens alle missende waarden op opleidingsvorm at random aan de studenten toegekend. 3.3 Typering van de respons en non-respons Voor de analyse van de Nationale Studentenenquête is het van belang dat de respondenten een representatief beeld vormen van de gehele studentenpopulatie. Wanneer de resulterende bevindingen representatief blijken te zijn, kunnen zij tevens informatie verschaffen over alle Nederlandse studenten. Gegevens kunnen echter op verschillende achtergrondkenmerken representatief zijn. In deze paragraaf wordt de representativiteit op een aantal van deze kenmerken getoetst, te weten geslacht, studiejaar en opleidingsvorm. De representativiteit van een steekproef kan worden getoetst met behulp van een Chi-kwadraat toets. Deze toets berekent op basis van het verschil tussen de verdeling in de steekproef en de verdeling in de populatie een getal (de Chi-kwadraat waarde) dat de mate van discrepantie tussen de twee aangeeft. Hoe hoger dit getal is, hoe groter de kans is dat de steekproef niet representatief is. Wanneer de Chi-kwadraat waarde significant van nul afwijkt (95% betrouwbaarheid), dient de nulhypothese te worden verworpen en is er geen sprake van representativiteit. In onderstaande tabel zijn de resultaten te zien van drie Chikwadraat toetsen. Tabel 15: Verdeling personen binnen NSE en populatie naar geslacht, studiejaar en opleidingsvorm Achtergrondkenmerk NSE Populatie Chi 2 Geslacht 2 Man 38,9% 36,3% 81,6* Vrouw 61,1% 63,7% Studiejaar Eerstejaars 29,8% 20,1% 1383,0* Ouderejaars 70,2% 79,9% Opleidingsvorm Voltijd 82,0% 85,8% 293,3* Deeltijd 18,0% 14,2% * significant bij p<0.05 Te zien is dat uit alle Chi-kwadraat toetsen een significante waarde naar voren komt. Dit betekent dat de respondenten in de steekproef niet representatief zijn voor de gehele studentenpopulatie wat betreft de kenmerken geslacht, studiejaar en opleidingsvorm. In de steekproef van de Nationale Studentenenquête vinden we een (lichte) oververtegenwoordiging van mannen, eerstejaarsstudenten en deeltijdstudenten. Het is bekend dat eerstejaarsstudenten beter responderen dan ouderejaars. Dit laatste heeft te maken met de wijze van sampling (deeltijdopleidingen zijn, omdat ze separaat in de Studiekeuzedatabase worden opgenomen, apart geselecteerd volgens de in paragraaf 1.6 beschreven criteria. Gezien het feit dat in het verleden niet binnen de opleidingen gewogen is, is voor dit jaar besloten dit ook niet te doen, temeer omdat voor de voorgaande jaren niet alle achtergrondgegevens voorhanden waren. 2 In de beschikbare data is sprake van een oververtegenwoordiging van vrouwen ten opzichte van de totale HOpopulatie. Dit is te wijten aan een aantal specifieke vrouwenopleidingen die voor de NSE 2009 zijn benaderd, te weten de Hbo Master Special Educational Needs, de Pabo en de Wo opleidingen Psychologie en Pedagogiek. 21 Onderzoeksverantwoording v1

22 In Tabel 16 zijn de populatie en de respons verder uitgesplitst. We zien dat op dit lagere niveau (soort ho*bama*jaar*geslacht) er nog maar een paar discrepanties bestaan tussen populatie en respons. De verdeling van de bachelors deeltijd lijkt het minst op die binnen de populatie. Hier staat tegenover dat binnen de respons de wo studenten wèl een representatief beeld vormen. Ook de deelnemende ouderejaars bachelors en eerstejaars masters in het hoger onderwijs (traditioneel de grootste groepen studenten in het hbo) een representatief beeld vormen van de populatie. Tabel 16: Verdeling personen per groep binnen NSE en populatie naar soort hoger onderwijs, jaar en geslacht Achtergrondkenmerk NSE Populatie Chi 2 Hbo Ba voltijd Eerstejaars Man 30,9% 28,4% 5,870* Vrouw 69,1% 71,6% Ouderejaars Man 31,0% 32,0% 1,884 Vrouw 69,0% 68,0% Ba deeltijd Eerstejaars Man 35,8% 28,3% 10,862* Vrouw 64,2% 71,7% Ouderejaars Man 36,6% 28,0% 45,331* Vrouw 63,4% 72,0% Ma Eerstejaars Man 18,0% 18,8% 0,125 Vrouw 82,0% 81,3% Ouderejaars Man 23,7% 20,2% 5,070* Vrouw 76,3% 79,8% Wo Ba voltijd Eerstejaars Man 41,8% 42,4% 0,449 Vrouw 58,2% 57,6% Ouderejaars Man 43,3% 45,3% 9,207* Vrouw 56,7% 54,7% Ba deeltijd Eerstejaars Man 41,0% 33,8% 1,192 Vrouw 59,0% 66,2% Ouderejaars Man 41,3% 38,9% 1,434 Vrouw 58,7% 61,1% Ma Eerstejaars Man 47,4% 49,4% 1,117 Vrouw 52,6% 50,6% Ouderejaars Man 45,1% 44,0% 2,016 Vrouw 54,9% 56,0% * significant bij p< Betrouwbaarheid van de data De studentoordelen zijn in verschillende clusters onderverdeeld. Al eerder is bekeken of de ondervraagde studenten representatief zijn voor de gehele studentenpopulatie. Hier kijken we of de gevonden waarden nauwkeurig en betrouwbaar zijn en ons iets kunnen zeggen over de mening van de populatie. We gaan dit na met behulp van betrouwbaarheidsintervallen. Een betrouwbaarheidsinterval geeft een gebied van waarden aan. De werkelijke waarde die in de populatie voorkomt, is met een bepaalde waarschijnlijkheid binnen dit gebied te vinden. Er wordt hier uitgegaan van een 95%-betrouwbaarheidsinterval. Wanneer er uit de populatie een x aantal steekproeven worden getrokken waarbinnen hetzelfde onderzoek wordt uitgevoerd, dan wordt er in 95% van deze steekproeven een resultaat gevonden dat binnen het betrouwbaarheidsinterval ligt. Naarmate een betrouwbaarheidsinterval kleiner is, ofwel wanneer de onder- en bovengrens dichter bij elkaar liggen, des te nauwkeuriger is de schatting van de werkelijke waarde binnen de populatie. De grootte van een interval wordt beïnvloed door de grootte van de steekproef en de standaarddeviatie. 22 Onderzoeksverantwoording v1

23 De betrouwbaarheidsintervallen zijn per opleidingvorm en soort hoger onderwijs berekend. Er is naast de betrouwbaarheidsintervallen tevens een F-waarden berekend om te bekijken of de varianties tussen de te onderscheiden groepen significant van elkaar verschillen. Tabel 17: Grootte van intervallen van clusterscores naar opleidingsvorm Cluster Subgroep Gemiddelde Aantal St. deviatie Intervallen F-waarde Inhoud Ba voltijd 7, ,5 0, ,0* Ba deeltijd 7, ,4 0,007 Ma 7, ,3 0,007 Totaal 7, ,5 0,003 Keuzeruimte Ba voltijd 6, ,5 0, ,9* Ba deeltijd 6, ,6 0,011 Ma 6, ,7 0,014 Totaal 6, ,6 0,004 Samenhang Ba voltijd 6, ,4 0, ,9* Ba deeltijd 6, ,4 0,008 Ma 6, ,5 0,009 Totaal 6, ,4 0,003 Werkvormen Ba voltijd 6, ,5 0, ,1* Ba deeltijd 6, ,5 0,008 Ma 7, ,4 0,009 Totaal 6, ,5 0,003 Loopbaan Ba voltijd 6, ,4 0, ,1* Ba deeltijd 6, ,4 0,007 Ma 6, ,6 0,011 Totaal 6, ,4 0,003 Docenten Ba voltijd 6, ,5 0, ,3* Ba deeltijd 6, ,5 0,009 Ma 7, ,3 0,007 Totaal 6, ,5 0,004 Communicatie Ba voltijd 6, ,6 0, ,7* Ba deeltijd 6, ,7 0,011 Ma 6, ,4 0,008 Totaal 6, ,6 0,004 Studeerbaarheid Ba voltijd 6, ,4 0, ,9* Ba deeltijd 6, ,4 0,013 Ma 6, ,5 0,010 Totaal 6, ,4 0,003 Gebouwen Ba voltijd 6, ,6 0, ,8* Ba deeltijd 6, ,4 0,007 Ma 7, ,5 0,010 Totaal 6, ,6 0,004 Faciliteiten Ba voltijd 6, ,6 0, ,8* Ba deeltijd 7, ,4 0,007 Ma 7, ,5 0,010 Totaal 6, ,6 0,004 * significant bij p<0.05. Betrouwbaarheidsintervallen zijn de marges vermenigvuldigd met Onderzoeksverantwoording v1

24 In Tabel 17 is te zien dat de grootte van de gevonden intervallen varieert van 0,003 tot 0,011. Aangezien er sprake is van grote aantallen is het niet verwonderlijk dat de intervallen zo klein zijn. Desalniettemin blijkt dat de in de NSE gevonden waarden een nauwkeurige schatting zijn van de werkelijke waardes binnen de studentenpopulatie. Daarnaast zijn de gevonden F-waarden allen significant, hetgeen betekent dat de gemiddelde waarde per cluster verschilt naar opleidingsvorm. Tabel 18: Grootte van intervallen van clusterscores naar hoger onderwijs Clusterscores Subgroep Gemiddelde Aantal St. deviatie Intervallen F-waarde Inhoud Hbo 6, ,4 0, ,7* Wo 7, ,3 0,004 Totaal 7, ,5 0,003 Keuzeruimte Hbo 6, ,5 0, ,7* Wo 6, ,6 0,006 Totaal 6, ,6 0,004 Samenhang Hbo 6, ,4 0, ,1* Wo 6, ,5 0,005 Totaal 6, ,4 0,003 Werkvormen Hbo 6, ,5 0, ,5* Wo 6, ,4 0,005 Totaal 6, ,5 0,003 Loopbaan Hbo 6, ,4 0,003 37,0* Wo 6, ,5 0,006 Totaal 6, ,4 0,003 Docenten Hbo 6, ,5 0, ,1* Wo 7, ,4 0,004 Totaal 6, ,5 0,004 Communicatie Hbo 6, ,5 0, ,7* Wo 6, ,4 0,005 Totaal 6, ,6 0,004 Studeerbaarheid Hbo 6, ,4 0,003 14,8* Wo 6, ,5 0,006 Totaal 6, ,4 0,003 Gebouwen Hbo 6, ,5 0, ,2* Wo 7, ,4 0,005 Totaal 6, ,6 0,004 Faciliteiten Hbo 6, ,5 0, ,5* Wo 7, ,3 0,004 Totaal 6, ,6 0,004 * significant bij p<0.05. Betrouwbaarheidsintervallen zijn de marges vermenigvuldigd met 2. In Tabel 18 is te zien dat de grootte van de gevonden intervallen varieert van 0,003 tot 0,006. De grootte van de intervallen wordt mede bepaald door de grootte van de steekproef. De intervallen zijn echter dermate klein dat ook hier gesteld kan worden dat de gevonden waarden een nauwkeurige benadering zijn van de werkelijke waarde binnen de studentenpopulatie. De F-waarden zijn significant. Er kan per cluster een onderscheid gemaakt worden tussen studenten binnen verschillende soorten hoger onderwijs. 24 Onderzoeksverantwoording v1

25 De hierboven beschreven betrouwbaarheidsintervallen zijn berekend op het totale databestand, onderscheiden naar hbo en wo en naar bachelor, master, voltijd en deeltijd. Om na te gaan of de gegevens zoals deze zijn opgenomen in de Studiekeuzedatabase voldoende betrouwbaar zijn, zijn vervolgens de marges (dit is het betrouwbaarheidsinterval/2) bekeken na een aggregatie naar NSE_ID (het aggregatieniveau voor de Studiekeuzedatabase en de website Studiekeuze123, zie ook paragraaf 3.7). Tabel 19 geeft de gemiddelde marges en het percentage opleidingen met een marge groter dan of gelijk aan 0,3 of kleiner dan 0,3. Marges gemiddeld kleiner dan 0,3 zien we bij inhoud, gevolgd door Docenten, Werkvormen en Faciliteiten. Gemiddeld genomen betekenen deze marges dat bijvoorbeeld een rapportcijfer van 7,2 een betrouwbaarheidsinterval heeft tussen 6,9 en 7,5. Voor ongeveer 60 procent van de opleidingen en acht van de tien van de clusters geldt dat de marges kleiner zijn dan 0,3. De extreme hoge marges hebben te maken met een klein aantal waarnemingen als gevolg van een groot aantal ontbrekende of niet van toepassing zijnde scores. Tabel 19: Marges naar opleiding en instellingen voor opleidingen die zijn opgenomen in de Studiekeuzedatabase Cluster Marge <0,3 Marge =>0,3 Gem. marge Min. marge Max. marge N Std Inhoud 76% 24% 0,24 0,06 2, ,13 Keuzeruimte 49% 51% 0,34 0,08 3, ,21 Samenhang 52% 48% 0,31 0,07 2, ,16 Werkvormen 60% 40% 0,29 0,07 2, ,15 Loopbaan 57% 43% 0,31 0,08 2, ,16 Docenten 62% 38% 0,28 0,06 2, ,15 Communicatie 52% 48% 0,32 0,07 2, ,16 Studeerbaarheid 57% 43% 0,31 0,08 2, ,16 Gebouwen 50% 50% 0,32 0,07 6, ,19 Faciliteiten 61% 39% 0,29 0,07 2, ,15 Betrouwbaarheidsmarges volgens de formule: 1.96*(std/sqr(n)). 3.5 Koppeling trendbestand Zoals reeds aangegeven werden studenten van elke opleiding eens in de drie jaar bevraagd. Bij de NSE 2009 hebben instellingen voor het eerst de mogelijkheid gekregen om met de hele instellingspopulatie mee te doen aan de enquête. Om betrouwbare vergelijkingen te maken met alle opleidingen is een trendbestand aangemaakt waarbij de gegevens van eerdere jaren zijn gekoppeld aan het resultatenbestand van In deze paragraaf gaan we in op de wijze waarop dit is gebeurd. Een groot deel van de studentoordelen uit de NSE wordt gebruikt in de Studiekeuzedatabase. De database bevat oordelen op clusters van vragen, de betrouwbaarheidsintervallen en de aantallen waarop deze gegevens gebaseerd zijn. Bij voorgaande enquêtes zijn alle missende waarden en alle oordelen die beantwoord zijn met weet niet vervangen door de gemiddelde waarde van het betreffende oordeel. De betrouwbaarheidsintervallen in de database zijn berekend aan de hand van de niet-gesubstitueerde oordelen, maar het gepresenteerde aantal respondenten is wel berekend inclusief respondenten met een gesubstitueerde waarde. Met terugwerkende kracht zijn de clusterscores herberekend. Ook zijn de betrouwbaarheidsintervallen en de aantallen opnieuw gegenereerd en vernieuwd weergegeven. Hierbij is rekening gehouden met voldoende vulling op het laagste niveau, het gebruiken van alleen vergelijkbare items en in geval van clustering is minimaal 60 procent van de items beantwoord met een geldige score (1-10, geen weet niet, niet van toepassing ). 3 In deze fase is ook een correctie van het methode-effect toegepast. Een uitgebreide beschrijving hiervan is opgenomen in hoofdstuk 5 (pagina 30). 25 Onderzoeksverantwoording v1

26 In voorgaande jaren zijn de resultaten van de NSE op de website Studiekeuze123 getoond in de vorm van tien clusters. Deze clusterscores zijn berekend door drie à vier items die betrekking hebben op hetzelfde thema te middelen. In 2009 is de vragenlijst gedeeltelijk herzien, waardoor het niet mogelijk is de clusterscores op exact dezelfde wijze te berekenen als voorgaande jaren. De volgende situaties zijn naar aanleiding van de herziening van de vragenlijst ontstaan: Er zijn vragen/items bijgekomen; indien items niet bevraagd zijn in de eerdere metingen zijn ze bij het berekenen van de clusterscores buiten beschouwing gelaten. Vragen/items zijn verdwenen; indien items in eerdere metingen wel bevraagd zijn, maar in de huidige vragenlijst niet aan de orde komen, zijn de clusterscores met terugwerkende kracht berekend. Formulering is veranderd; indien de formulering van items/vragen inhoudelijk is veranderd, zijn de clusterscores (met terugwerkende kracht) opnieuw berekend. De betreffende items/vragen zijn dan buiten beschouwing gelaten. Mocht de formulering van de items/vragen veranderen zonder dat de inhoud van de items is veranderd, verandert er niets aan de berekening van de clusterscores. Bestaande items zijn uitgediept; indien in voorgaande vragenlijst twee onderwerpen in één vraag aan de orde kwamen, zijn deze twee items/vragen in de nieuwe (2009) situatie eerst gemiddeld om dan als één item/vraag opgenomen te worden bij de berekening van de clusterscore. Beslisregels: Nieuwe items zijn buiten beschouwing gelaten bij de berekening van de clusterscores. Niet opnieuw bevraagde items zijn voor beide jaren buiten beschouwing gelaten (clusterscores zijn herberekend). Inhoudelijk anders geformuleerde items zijn voor beide jaren buiten beschouwing gelaten (clusterscores zijn herberekend). Verdiepende items (één vraag is bijvoorbeeld gesplitst in twee vragen) zijn eerst gemiddeld om als één item mee te worden genomen in de clusterscore. Tabel 20: Veranderingen in enquêtevragen per cluster Items Inhoud Vraag1 De mate waarin de opleiding inhoudelijk interessant is De mate waarin de opleiding inhoudelijk interessant is Vraag2 Het niveau van de studiestof (we bedoelen hier Het inhoudelijke niveau van de opleiding of u het niveau vindt passen bij uw huidige opleiding) Vraag3 De kwaliteit van toetsing en beoordeling De mate waarin de toetsing en beoordeling aansluiten bij de inhoud De mate waarin de toetsing en beoordeling aansluiten bij de onderwijsactiviteiten Keuzeruimte Vraag1 Vraag2 Vraag3 Vraag4 Samenhang Vraag1 Vraag2 Vraag3 De ruimte die het studieprogramma u biedt voor bijvakken en keuzevakken De mogelijkheden om uw eigen afstudeerrichting of specialisatie te kiezen of daar naar over te stappen De mogelijkheid die uw opleiding u biedt om in het buitenland te studeren of stage te lopen De ruimte die het opleidingsprogramma je biedt voor eigen invulling (denk aan major/minor of keuzevakken De mogelijkheden om je eigen afstudeerrichting of specialisatie te kiezen of daar naar over te stappen De mogelijkheid die je opleiding je biedt om in het buitenland te studeren of stage te lopen De mogelijkheid om de studie in uw eigen tempo te volgen tempo te De mogelijkheid om de opleiding in je eigen volgen De koppeling tussen theorie en praktijk in de De koppeling tussen theorie en praktijk in de opleiding opleiding De samenhang tussen de afzonderlijke vakken De inhoudelijke samenhang tussen de opleidings(onder)delen De mate waarin de studiejaren op elkaar voortbouwen De mate waarin opleidingsjaren op elkaar voortbouwen 26 Onderzoeksverantwoording v1

27 Items Werkvormen Vraag1 Vraag2 Vraag3 Loopbaan Vraag1 Vraag2 Vraag3 Docenten Vraag1 Vraag2 Vraag3 Vraag4 Communicatie Vraag1 Vraag2 Vraag3 Vraag4 Studeerbaarheid Vraag1 Vraag2 Vraag3 De mate waarin de opleiding u aanzet tot het actief leren toepassen van de stof De mate waarin het studieprogramma een kritische instelling stimuleert De ruimte in het studieprogramma voor oefening van praktische vaardigheden De mate waarin de opleiding een helder beeld geeft van beroep en arbeidsmarkt De mogelijkheden voor het opdoen van beroepservaring, door stages en dergelijke De mate waarin u in uw opleiding tot nu toe kennis maakt met wetenschappelijk onderzoek/het toepassen van onderzoek De inhoudelijke deskundigheid van de docenten Het vermogen van de docenten om de stof helder over te dragen en uw leerproces te stimuleren De mate waarin de opleiding je aanzet tot het actief leren De mate waarin de opleiding een kritische houding stimuleert De ruimte die deze opleiding beidt om praktijkervaring op te doen De mate waarin de opleiding een helder beeld geeft van beroep en arbeidsmarkt De mogelijkheden voor het opdoen van beroepservaring, door stages en dergelijke De mate waarin je in je opleiding tot nu toe genoeg kennis maakt met wetenschappelijk onderzoek De mate waarin je in je opleiding tot nu toe genoeg kennis maakt met het toepassen van onderzoek De inhoudelijke deskundigheid van docenten Het vermogen van de docenten om de stof helder over te dragen Het vermogen van de docenten om je leerproces te stimuleren De aanspreekbaarheid (bereikbaarheid/beschikbaarheid) van docenten De bereikbaarheid van docenten De kwaliteit van de feedback van de docenten De kwaliteit van de feedback van de docenten De tijdige bekendmaking van toetsresultaten en De tijdige bekendmaking van toetsresultaten en andere beoordelingen andere beoordelingen De communicatie van de instelling over uw rechten en plichten als student De communicatie van de instelling over je rechten en plichten als student De informatie van uw opleiding over het vakkenaanbod en les- en tentamentijden en ande- De kwaliteit van de studiegids (papier\digitaal) re praktische zaken De informatie van je opleiding over les- en tentamentijden en andere praktische zaken De mate waarin u actief kunt bijdragen aan evaluatie of beleid van de opleiding De haalbaarheid om het eerste studiejaar af te ronden in de tijd die er voor staat De haalbaarheid om het eerste studiejaar af te ronden in de tijd die er voor staat De haalbaarheid om de volledige opleiding af te De haalbaarheid om de volledige bachelor- of ronden in de tijd die er voor gerekend wordt masteropleiding af te ronden in de tijd die er voor gerekend wordt De mogelijkheden om examens/tentames te herkansen of een achterstand in te halen De mogelijkheden om beoordelingen te herkansen of een achterstand in te halen Vraag4 De begeleiding bij de studievoortgang De begeleiding bij je studievoortgang Gebouwen Vraag1 Vraag2 Vraag3 De geschiktheid van de collegezalen en lesruimtes van uw opleiding De geschiktheid van de practicum- en oefenruimtes van uw opleiding De beschikbaarheid van werkplekken voor zelfstudie De geschiktheid van de collegezalen en lesruimtes De geschiktheid van de practicum- en oefenruimtes De beschikbaarheid van werkplekken voor zelfstudie 27 Onderzoeksverantwoording v1

28 Items Faciliteiten Vraag1 Vraag2 Vraag3 De mate waarin u toegang hebt tot de benodigde vakdocumentatie, bijv. bij bibliotheek of mediatheek De voor u beschikbare computer- en netwerkfaciliteiten (inclusief digitale leeromgeving) De beschikbaarheid van het onderwijsmateriaal zoals dictaten, readers en syllabi De mate waarin je toegang hebt tot de benodigde vakdocumentatie, bijvoorbeeld bij bibliotheek of mediatheek Computer- en netwerkfaciliteiten Digitale leeromgeving (bijvoorbeeld blackboard) De beschikbaarheid van opleidingsmateriaal zoals dictaten, readers en syllabi 3.6 Weging De in de NSE gebruikte weegfactor is nodig om te corrigeren voor onder- of oververtegenwoordiging van groepen respondenten. Om een representatief beeld te krijgen van de populatie wordt vaak gebruik gemaakt van weeg- of correctiefactoren. Het idee van een weegfactor is erop geënt dat verschillen in de verhouding tussen subgroepen uit de populatie en de steekproef rechtgetrokken worden. De weegfactor heeft geen consequenties voor de scores binnen het niveau opleiding*instelling, maar gaat pas een rol spelen op het moment dat er aggregaties worden uitgevoerd die dat niveau overstijgen (bijv. scores voor het gehele hbo of wo, scores per instelling of scores landelijk per sector, landelijk per opleiding etc.). Binnen de NSE is voor elke opleiding/instellingscombinatie gewogen om een evenwichtig (landelijk) beeld te krijgen 4. Allereerst zijn op het niveau van instellingen*opleidingen (brin*croho) de respons- en populatieaantallen bekeken en met elkaar vergeleken. Voor deze aantallen is vervolgens het relatieve aandeel berekend. Op basis van deze relatieve aantallen is tenslotte een weegfactor berekend. Deze berekening ziet er als volgt uit: Overzicht 1: Berekening weegfactor Voorbeeld opleiding x aan instelling y: Populatie opleiding: Totale populatie: Relatieve aandeel: 1.662/ =0,0028 Respons opleiding: 110 Totale respons: Relatieve aandeel: 110/88.532=0,0012 Weegfactor: Relatieve aandeel populatie/relatieve aandeel respons=0,0028/0,0012=2,25. Op bovenstaande wijze is voor iedere opleiding de weegfactor berekend. Voor Ongeveer 2 procent van de opleiding had deze weegfactor een waarde lager dan 0,25 of hoger dan 4. Deze weegfactoren zijn apart beoordeeld en in sommige gevallen (afhankelijk van de aantallen respondenten) op een waarde van 1 gesteld. De weegfactoren zijn verder zo berekend dat de ongewogen en de gewogen aantallen voor de totale steekproef gelijk zijn. 4 In 2009 is gewogen op het niveau van brin*croho. Idealiter zou de weegfactor berekend moeten worden voor brin*croho*locatie. Voor de jaren konden echter studenten niet uniek aan een locatie worden toebedeeld, omdat reeds in het basisbestand locaties waren samengevoegd. Om deze reden is gekozen in 2009 ook locatie niet als weegniveau mee te nemen. 28 Onderzoeksverantwoording v1

29 3.7 Respons en aggregatie Het totale bestand van de NSE (peildatum september 2009) bedraagt Dit zijn gekoppelde gegevens uit aan het (deels verzameld door CHOICE, deels door ResearchNed/TNS NIPO): 36,8% van deze records is verzameld in 2009 (Tabel 21). Tabel 21: Aantallen records per jaar (basisbestand) Jaar Aantal % ,6% ,1% ,6% ,8% Totaal ,0% Als dit bestand wordt gesplitst op het niveau opleiding*instelling*locatie, dan bevat het in totaal de gegevens van unieke bachelor-voltijdopleidingen, 649 unieke bachelor(deeltijd)opleidingen en 709 unieke masteropleidingen. Van dit bestand is steeds het laatste jaar met voldoende respons in de Studiekeuzedatabase opgenomen. Overigens is ook dit laatste jaar opgenomen in het bestand dat gebruikt wordt voor NSE-online en de uitlevering aan instellingen. In het voorjaar 2009 zijn in samenspraak met het deskundigenpanel de volgende opnameregels afgesproken: Allereerst is gekeken of in 2009 voldoende respons (>=10) is behaald om de opleiding uniek op te nemen in de database. Indien dit niet het geval was, is 2008 als uitgangspunt genomen, daarna 2007 etc. Er is bewust gekozen voor een absolute ondergrens en niet voor een minimum omvang van de betrouwbaarheidsmarges. Indien de respons lager was dan 10 is vervolgens gekeken of het mogelijk was om opleidingen die een instelling op verschillend locaties aanbiedt, samen te voegen of verwante opleidingen te bundelen en hiermee de gewenste vulling van minimaal 10 te bereiken. Opleidingen zijn, ondanks een respons lager dan 10 maar hoger dan 5, wel getoond op het moment dat meer dan 40% van de studenten heeft gerespondeerd (kleine opleidingen). Op basis van deze bundeling en afzonderlijke opname is een zogenaamde NSE_ID toegekend. Een ongewogen aggregatie op deze ID levert exact de tabellen die zijn opgenomen in de Studiekeuzedatabase. Voor de ontsluiting in de database is daarnaast steeds op itemniveau gekeken naar de respons per vraag. Indien deze respons lager was dan 5, is in de Studiekeuzedatabase de betreffende cel op blank gezet. Opleidingen die na toepassing van deze regels niet konden worden opgenomen, zijn niet meegenomen in de Studiekeuzedatabase (en hebben derhalve een NSE_ID met de waarde -5 ), maar maken wel onderdeel uit van het basisbestand van de NSE en van NSE Online (zie paragraaf 6.3). Het meest recente jaar van met voldoende vulling is opgenomen. Hiermee resteerden van de oorspronkelijke records (24 procent is komen te vervallen omdat er sprake was van recentere informatie). In 2009 is een derde van de opleidingen ververst; in totaal 21 procent van de opleidingsinformatie is afkomstig uit 2008; 17 procent uit 2007 en 10 procent uit Daarnaast is van 17 procent van de opleidingen in geen enkel jaar voldoende respons behaald om de opleiding te kunnen tonen. Laten we deze laatste groep (onvoldoende respons) buiten beschouwing, dan kunnen we concluderen dat de gegevens van 41 procent van de op Studiekeuze123 opgenomen opleidingen verzameld is in 2009; 26 procent in 2008; 21% in 2007 en 12% in Het feit dat er nog gegevens uit 2006 in de database staan heeft te maken met (onder andere): 29 Onderzoeksverantwoording v1

30 onvoldoende respons in latere jaren; geen deelname van NBI; afwijkend bundelingen. In totaal 69 procent van de opleidingen is als afzonderlijke opleidingen opgenomen (Tabel 22). Deze 69 procent vertegenwoordigt in totaal (96%) van alle studenten in het definitieve bestand. Vijftien procent van de opleidingen (de gegevens van studenten: 4% van het totale bestand) is gebundeld met een andere opleiding om voldoende respons te kunnen realiseren. Tenslotte kon 17 procent van de opleidingen niet gebundeld worden. Het betreft hier vooral kleine masters (55% van deze groep) en deeltijdopleidingen (31%) en relatief weinig bachelors (14%). Het gaat hier om de records van studenten (2% van de totale respondentgroep). Tabel 22: Overzicht opname opleidingen op Studiekeuze123 Type Database Opleidingen % Binnen type % Totaal Bachelor-deeltijd Afzonderlijk % 14% Gebundeld % 5% Onvoldoende respons % 5% Bachelor-voltijd Afzonderlijk % 43% Gebundeld % 5% Onvoldoende respons 67 5% 2% Master Afzonderlijk % 11% Gebundeld % 5% Onvoldoende respons % 9% Totaal Afzonderlijk % Gebundeld % Onvoldoende respons % Tabel 23 laat de opname van het aantal opleidingen per jaar zien. Ook hieruit blijkt dat in 2009 minder deeltijdopleidingen konden worden opgenomen dan in 2008; daarentegen is het aantal opgenomen masters in 2009 zeer sterk gestegen. Tabel 23: Overzicht opname opleidingen op Studiekeuze123 naar aantal opleidingen en opleidingskenmerken Bachelor-voltijd Bachelor-deeltijd Master Afzonderlijk Gebundeld Afzonderlijk Gebundeld Afzonderlijk Gebundeld Totaal % 8% 15% 5% 0% 0% % 58% 29% 3% 7% 9% % 1% 31% 67% 6% 16% % 32% 24% 25% 87% 75% Totaal 100% 100% 100% 100% 100% 100% Tabel 24 toont de aantallen studenten waarvan de oordelen opgenomen zijn in de database. Ook hier is zichtbaar dat de niet-opgenomen oordelen vooral betrekking hebben op masters en deeltijdopleidingen. 30 Onderzoeksverantwoording v1

31 Tabel 24: Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten en opleidingskenmerken Afzonderlijk opgenomen Gebundeld Niet opgenomen Hbo % % 404 1% Wo % % % Bachelor % % 531 1% Master % % 979 7% Publiek % % % Privaat % 120 4% 64 2% Voltijd % % % Deeltijd % % 476 3% Tabel 25 toont tenslotte de studentaantallen per jaar, onderscheiden naar opleidingskenmerken. Ook hieruit blijkt dat de oordelen van voltijd bachelors nagenoeg allemaal zijn opgenomen in de afgelopen jaren. Procentueel is het aantal masteroordelen enorm toegenomen. De kleine masters die zijn bevraagd, zijn opgenomen in de NSE vanwege het feit dat een aantal universiteiten met de hele populatie is deelgenomen; er is voor deze universiteiten geen preselectie gemakt van opleidingen van voldoende omvang. Tabel 25: Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten, type en jaar Afzonderlijk opgenomen Gebundeld Niet opgenomen Hbo-Ba-vt % 42 1% 0 0% % 892 9% 11 0% % 48 0% 8 0% % 510 5% 120 1% Hbo-Ba-dt % 34 3% 0 0% % 0 0% 28 1% % % 6 0% % % 113 4% Hbo-Ma % 18 58% 3 10% % 73 81% 5 6% % 52 4% 110 8% Wo-Ba-vt % 53 7% 0 0% % 57 2% 6 0% % 0 0% 3 0% % 78 0% 48 0% Wo-Ba-dt % 0 0% 0 0% % 0 0% 17 5% % 0 0% 0 0% % 21 1% % Master % 82 15% % % 56 8% % % 750 7% 541 5% 3.8 Kleine cellen Ruim tweederde tot driekwart van de opleidingen kent een respons van minder dan vier studenten (Tabel 26). Deze opleidingen hadden geen verwantschappen met andere opleidingen. Indien deze verwantschappen er wel waren, kende de verwante opleiding een dermate hoge respons dat niet gekozen is voor samenvoeging, maar dat de laatste opleiding afzonderlijk is opgenomen en de opleidingen met een (te) kleine respons vervallen. 31 Onderzoeksverantwoording v1

32 Dit past binnen de afgesproken regel, namelijk dat opleidingen met voldoende respons afzonderlijk worden opgenomen. De kleine cellen (n=1.510) zijn als volgt te typeren. In 2009 kon vanuit het NSE-bestand % van alle opleidingen (voor bachelor uitgesplitst naar voltijd en deeltijd) niet worden getoond op de website Studiekeuze123. Het betreft hier vooral deeltijdopleidingen (die momenteel nog niet worden getoond op de website) en anderzijds masteropleidingen, die vooral bevraagd zijn omdat enkele universiteiten met de gehele populatie hebben deelgenomen; een aantal van deze opleidingen zou anders niet bevraagd zijn in de NSE vanwege onvoldoende omvang. Bij de helft van deze opleidingen is de populatie kleiner dan 30 (in 2009 bij 55%). Van vier instellingen zijn helemaal geen gegevens opgenomen in de database. Het betreft hier allemaal niet-bekostigde instellingen: - (23TG) Stichting Amsterdamse Balletacademie (Lucia Marthas): n=9; N=62; - (27WM) Hogeschool Gorinchem IDE bv: n=7; N=17; - (28BM) Centrum voor studie en documentatie voor Latijns Amerika n=4; N=7; - (29UK) STC-Group n=3; N=8. Van alle overige instellingen is ten minste één opleiding opgenomen in de database en op de website. Er is in overleg met het deskundigenpanel niet gekozen voor clustering over meerdere jaren omdat het hier nagenoeg allemaal kleine opleidingen betreft. De kans dat in opeenvolgende jaren dezelfde studenten bevraagd worden is dan relatief groot. Tabel 26: Responsaantallen van niet-opgenomen opleidingen Respons per opleiding Bachelor-voltijd Bachelor-deeltijd Master 1 20% 47% 21% 2 15% 16% 18% 3 20% 8% 14% 4 11% 8% 11% 5 8% 8% 6% 6 8% 5% 8% 7 11% 3% 9% 8 3% 3% 7% 9 6% 3% 6% Totaal 100% 100% 100% 32 Onderzoeksverantwoording v1

33 4 Correctie van het methode-effect In 2009 is de Nationale Studentenenquête zowel telefonisch als via internet afgenomen. Uit analyse is gebleken dat studenten die telefonisch zijn geënquêteerd over het geheel genomen gemiddeld een positiever studieoordeel hebben dan studenten die via het web respondeerden. Om te corrigeren voor dit methodeeffect is destijds gewogen naar een vaste 50/50 (telefonisch/internet) verhouding. Door het toepassen van deze correctie is het methode-effect teniet gedaan. Verschillen tussen opleidingen, die gerelateerd zijn aan meetmethodiek, zijn immers weggewogen. In 2009 konden studenten alleen via internet de vragenlijst invullen. Aangezien niet alle opleidingen zijn opgenomen in de enquête van 2009 is de vergelijkbaarheid met eerdere jaren cruciaal. Het mag niet zo zijn dat scores in 2009 lager uitvallen dan in voorgaande jaren als gevolg van de gehanteerde methodiek. Omdat de NSE in de toekomst alleen nog via internet wordt afgenomen, is ervoor gekozen de gegevens uit eerdere jaren te corrigeren met als uitgangspunt de scores op de internetenquêtes. Dit betekent in de meeste gevallen dat de scores die zijn behaald op de telefonisch afgenomen enquêtes naar beneden toe worden bijgesteld. Dit hoofdstuk doet verslag van de wijze waarop deze studieoordelen zijn gecorrigeerd en welke keuzes hierbij een rol speelden. 4.1 Berekening van het methode-effect Voor het corrigeren van het studieoordeel van studenten die telefonisch zijn geïnterviewd, is allereerst de grootte van het methode-effect in kaart gebracht. Dit is gebeurd door middel van een lineaire regressie analyse waarin rekening is gehouden met de hiërarchische structuur van de data. In de multilevel-analyse die is uitgevoerd zijn studenten genest in opleidingen binnen instellingen. De resultaten van deze analyse laten zien in welke mate het studieoordeel van studenten die telefonisch zijn geënquêteerd, afwijkt van het studieoordeel van studenten die via internet zijn geënquêteerd. Om het zuivere methode-effect te berekenen, is gecontroleerd voor relevante kenmerken van zowel studenten als opleidingen. Immers, de studenten die in voorgaande jaren telefonisch zijn geïnterviewd, wijken mogelijk af van de andere studenten, aangezien zij na eerdere weigering opnieuw (telefonisch) zijn benaderd. Door het meenemen van student- en opleidingskenmerken testen we in hoeverre de verschillen in studieoordeel het gevolg zijn van het methode-effect en niet van verschillen in de samenstelling van beide groepen studenten. We kijken hierbij naar relevante kenmerken van de student: geslacht, opleidingsvorm (voltijd/deeltijd), studiejaar (eerstejaars/ouderejaars) en relevante kenmerken van de opleiding (wel of niet numerus fixus, bachelor of master, hbo of wo). Nadat het zuivere methode-effect is berekend, is gekeken of dit effect verschilt voor verschillende groepen studenten. Dit is gedaan door interacties (producttermen) te berekenen met de variabele Methode en de student- en opleidingskenmerken. Op deze wijze kunnen we de zuivere methode-effecten van de studenten met verschillende kenmerken berekenen en corrigeren. De correctiefactoren van het studieoordeel van studenten die telefonisch zijn geïnterviewd, zijn berekend door per cluster (1. Inhoud, 2. Keuzeruimte, 3. Samenhang, 4. Werkvormen, 5. Loopbaan, 6. Docenten, 7. Communicatie, 8. Studeerbaarheid, 9. Gebouwen en 10. Faciliteiten) het methode-effect te verrekenen. Dit is gebeurd in een aantal opeenvolgende modellen per cluster. In paragraaf 4.2 tot en met 4.3 beschrijven we de opzet deze modellen. In Tabel 27 tot en met Tabel 36 zijn alleen de eindmodellen (model 4) getoond per cluster, steeds met methode-effect en na correctie van het methode-effect. 33 Onderzoeksverantwoording v1

34 4.2 Multilevel-modellen Allereerst is een 0-model getoetst. Dat is een leeg model waarin alleen gekeken wordt naar de zogenaamde Grand mean (algemeen gemiddelde) en de variantiecomponenten. In model 1 wordt de variabele Methode aan de analyse toegevoegd. Studenten die telefonisch zijn geïnterviewd beoordelen hun studie gemiddeld hoger dan studenten die via het web zijn bevraagd. We zagen bij nagenoeg alle clusters dat de variantie op het niveau van opleidingen nauwelijks afnam, hetgeen wil zeggen dat het methode-effect mogelijke verschillen in studieoordeel tussen opleidingen niet kan verklaren. Met Model 2 is het zuivere methode-effect berekend nadat is gecontroleerd voor de respondentkenmerken. We zien dan bijvoorbeeld de verschillen in oordelen tussen mannen en vrouwen, eerstejaars en ouderejaars en/of voltijd- en deeltijdstudenten. Vrouwen en ouderejaars studenten zijn positiever over hun studie dan mannen en eerstejaars studenten. Het methode-effect in model 2 verandert bij alle clusters niet tot nauwelijks, hetgeen er op wijst dat het verschil in studieoordeel tussen studenten die telefonisch en via de zijn geïnterviewd niet toe te schrijven is aan verschillen in geslacht, studievorm en studiejaar. In model 3 zijn opleidingskenmerken (Numerus Fixus, BaMa en SoortHo) meegenomen. Het methodeeffect blijft doorgaans stabiel. We kunnen dan ook concluderen dat er een methode-effect blijft, ook na correctie voor achtergrondkenmerken en dat het methode-effect stabiel is voor alle opleidingen. Tot slot wordt in model 4 (het in de tabellen getoonde model) het methode-effect berekend voor verschillende groepen studenten. Het model dat in Tabel 27 is weergegeven (Inhoud opleiding: methode-effect=- 0,2) heeft betrekking op mannelijke voltijd eerstejaars hbo-bachelorstudenten (studenten uit de referentiegroep). We zien dat het methode-effect niet voor alle groepen studenten gelijk is. Vrouwen worden minder beïnvloed door de methode waarop ze zijn benaderd dan mannen (-0,2+0,04). Ook zien we dat de enquêtemethode minder invloed heeft op master- en wo-studenten dan op bachelor- en hbo-studenten. Het methode-effect is bijna afwezig voor wo-studenten (-0,2+0,17). Overzicht 2: Modelspecificatie model 4 Level-1 Model Y=B0 + B1*(METHODE) + B2*(SEXE) + B3*(VTDT) + B4*(XJAAR) + B5*(MSEXE) + B6*(MVTDT) + B7*(MXJAAR) + R Level-2 Model B0=G00 + G01*(NUMERUSF) + G02*(BAMA) + G03*(HBOWO) + U0 B1=G10 + G11*(NUMERUSF) + G12*(BAMA) + G13*(HBOWO) + U1 B2=G20 B3=G30 B4=G40 B5=G50 B6=G60 B7=G70 Bovenstaande beschrijving geeft aan hoe de tabellen geïnterpreteerd moeten worden. Tabel 27 tot en met Tabel 36 zijn de resultaten terug te vinden voor de verschillende clusters. De uitkomst zijn niet voor elk cluster gelijk. Zo hebben numerus fixus en Bachelor Master niet altijd een effect op het oordeel. Dit veranderd echter niets aan de interpretatie van het methode-effect. De uiteindelijke correctie van het studieoordeel van studenten die telefonisch zijn benaderd, heeft plaatsgevonden door het berekenen van het methode-effect voor de verschillende subgroepen. Voor elk cluster wordt het studieoordeel van studenten gecorrigeerd met het methode-effect dat is gebaseerd op de specifieke situatie van studenten (persoonlijke kenmerken en opleidingskenmerken). Dit is gebeurd door middel van de volgende formule: 34 Onderzoeksverantwoording v1

35 Overzicht 3: Methode-effect Methode-effect= β1*methode+β2*(methode*geslacht)+β3*(methode*vorm)+β4*(methode*jaar)+β5*(methode*numerus Fixus)+ β6*(methode*typeho)+β7*(methode*soortho) Het methode-effect wordt zo voor elke subgroep berekend. Door dit effect te verrekenen met (in dit geval met name in mindering te brengen op ) de oordelen van telefonisch benaderde studenten ontstaat een betere vergelijkbaarheid van de cijfers. Tabel 37 toont de feitelijke correctiefactoren. 4.3 Verschillen naar achtergrondkenmerken na correctie Er is een tweede multilevel-analyse uitgevoerd nadat de correctie is toegepast. Voor geen van de clusters kon het eindmodel gedraaid worden vanwege multi-collineariteit. Dit houdt in dat het methode-effect volledig verdwenen is. De relatie tussen de clusters en de achtergrondkenmerken wijst steeds in dezelfde richting. Omdat vanwege de leesbaarheid niet alle modellen zijn weergegeven, zijn de coëfficiënten in de tabellen niet volledig vergelijkbaar (de ongecorrigeerde tabel toont model 4, de gecorrigeerde tabel toont model 3). Onderstaande tabellen geven de resultaten weer van de analyses (model 4) van alle clusters. Tabel 27: Lineaire regressie analyse (model 4) van studieoordeel Inhoud op enquêtemethode, studentenkenmerken en opleidingskenmerken en na correctie (model 3) Inhoud Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,84 0,03** 6,57 0,03** Methode (telefoon-web) -0,20 0,03** Respondentkenmerken Geslacht (man-vrouw) 0,11 0,01** 0,15 0,01** Vorm (voltijd-deeltijd) 0,14 0,01** 0,21 0,01** Jaar (eerstejaars-ouderejaars) -0,10 0,01** -0,14 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) 0,00 0,03 0,03 0,03 TypeHo (Bachelor-Master) 0,12 0,02** 0,19 0,03** SoortHo (Hbo-Wo) 0,43 0,02** 0,62 0,02** Interacties (respondent) Methode*Geslacht 0,04 0,01* Methode*Vorm 0,06 0,02** Methode*Jaar -0,04 0,02* Interacties (opleiding) Methode*numerus fixus 0,03 0,03 Methode*TypeHo 0,06 0,03* Methode*SoortHo 0,17 0,02** Level 1 variance (respondent) 0,72 0,75 Level 2 variance (opleiding) 0,06** 0,08** Deviance , ,50 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

36 Tabel 28: Lineaire regressie analyse (model 4) van studieoordeel Keuze op enquêtemethode, studentenkenmerken en opleidingskenmerken Keuze Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,93 0,04** 6,40 0,05** Methode (telefoon-web) -0,48 0,05** Respondentkenmerken Geslacht (man-vrouw) -0,04 0,01** -0,05 0,01** Vorm (voltijd-deeltijd) -0,22 0,03** -0,33 0,03** Jaar (eerstejaars-ouderejaars) 0,03 0,01* 0,04 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) -0,18 0,05** -0,32 0,07** TypeHo (Bachelor-Master) -0,05 0,04 0,01 0,05 SoortHo (Hbo-Wo) 0,29 0,03** 0,68 0,03** Interacties (respondent) Methode*Geslacht -0,02 0,02 Methode*Vorm -0,09 0,04* Methode*Jaar 0,01 0,03 Interacties (opleiding) Methode*numerus fixus -0,12 0,06 Methode*TypeHo 0,00 0,05 Methode*SoortHo 0,41 0,04** Level 1 variance (respondent) 1,19 1,20 Level 2 variance (opleiding) 0,15** 0,20** Deviance , ,65 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

37 Tabel 29: Lineaire regressie analyse (model 4) van studieoordeel Samenhang op enquêtemethode, studentenkenmerken en opleidingskenmerken Samenhang Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 7,10 0,04** 6,64 0,06** Methode (telefoon-web) -0,36 0,05** Respondentkenmerken Geslacht (man-vrouw) 0,08 0,01** 0,14 0,01** Vorm (voltijd-deeltijd) -0,06 0,02* 0,02 0,01 Jaar (eerstejaars-ouderejaars) -0,14 0,02** -0,17 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) 0,23 0,05** 0,24 0,06** TypeHo (Bachelor-Master) -0,06 0,04 0,06 0,05 SoortHo (Hbo-Wo) -0,12 0,03** 0,16 0,03** Interacties (respondent) Methode*Geslacht 0,04 0,02 Methode*Vorm 0,09 0,03** Methode*Jaar -0,04 0,03 Interacties (opleiding) Methode*numerus fixus 0,00 0,05 Methode*TypeHo 0,08 0,04 Methode*SoortHo 0,27 0,03** Level 1 variance (respondent) 1,39 1,35 Level 2 variance (opleiding) 0,15** 0,19** Deviance , ,91 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

38 Tabel 30: Lineaire regressie analyse (model 4) van studieoordeel Werkvormen op enquêtemethode, studentenkenmerken en opleidingskenmerken Werkvormen Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,45 0,03** 5,80 0,04** Methode (telefoon-web) -0,47 0,04** Respondentkenmerken Geslacht (man-vrouw) 0,12 0,01** 0,18 0,01** Vorm (voltijd-deeltijd) -0,05 0,02* 0,02 0,02 Jaar (eerstejaars-ouderejaars) -0,16 0,01** -0,02 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) 0,15 0,05** 0,13 0,05* TypeHo (Bachelor-Master) 0,40 0,03** 0,61 0,04** SoortHo (Hbo-Wo) 0,13 0,02** 0,40 0,02** Interacties (respondent) Methode*Geslacht 0,04 0,02 Methode*Vorm 0,07 0,03** Methode*Jaar 0,00 0,02 Interacties (opleiding) Methode*numerus fixus -0,03 0,04 Methode*TypeHo 0,15 0,04** Methode*SoortHo 0,23 0,03** Level 1 variance (respondent) 1,01 1,03 Level 2 variance (opleiding) 0,11** 0,154** Deviance , ,91 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

39 Tabel 31: Lineaire regressie analyse (model 4) van studieoordeel Loopbaan op enquêtemethode, studentenkenmerken en opleidingskenmerken Loopbaan Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 7,09 0,04** 6,96 0,05** Methode (telefoon-web) -0,21 0,05** Respondentkenmerken Geslacht (man-vrouw) 0,07 0,01** 0,07 0,01** Vorm (voltijd-deeltijd) -0,45 0,02** -0,38 0,02** Jaar (eerstejaars-ouderejaars) -0,11 0,01** -0,14 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) 0,18 0,05** 0,23 0,05** TypeHo (Bachelor-Master) -0,11 0,04** -0,18 0,05** SoortHo (Hbo-Wo) -0,31 0,03** -0,16 0,03** Interacties (respondent) Methode*Geslacht 0,00 0,02 Methode*Vorm 0,09 0,03** Methode*Jaar -0,03 0,02 Interacties (opleiding) Methode*numerus fixus 0,05 0,04 Methode*TypeHo -0,05 0,05 Methode*SoortHo 0,16 0,03** Level 1 variance (respondent) 1,18 1,17 Level 2 variance (opleiding) 0,10** 0,14** Deviance , ,05 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

40 Tabel 32: Lineaire regressie analyse (model 4) van studieoordeel Docenten op enquêtemethode, studentenkenmerken en opleidingskenmerken Docenten Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,90 0,03** 6,44 0,04** Methode (telefoon-web) -0,34 0,04** Respondentkenmerken Geslacht (man-vrouw) 0,05 0,01** 0,08 0,01** Vorm (voltijd-deeltijd) 0,08 0,02** 0,11 0,02** Jaar (eerstejaars-ouderejaars) -0,12 0,01** -0,09 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) -0,05 0,05-0,06 0,05 TypeHo (Bachelor-Master) 0,16 0,03** 0,30 0,03** SoortHo (Hbo-Wo) 0,40 0,02** 0,68 0,02** Interacties (respondent) Methode*Geslacht 0,02 0,02 Methode*Vorm 0,04 0,02 Methode*Jaar 0,02 0,02 Interacties (opleiding) Methode*numerus fixus -0,01 0,03 Methode*TypeHo 0,09 0,03** Methode*SoortHo 0,27 0,02** Level 1 variance (respondent) 1,01 1,03 Level 2 variance (opleiding) 0,11** 0,14** Deviance , ,36 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

41 Tabel 33: Lineaire regressie analyse (model 4) van studieoordeel Communicatie op enquêtemethode, studentenkenmerken en opleidingskenmerken Communicatie Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,32 0,03** 5,91 0,04** Methode (telefoon-web) -0,36 0,04** Respondentkenmerken Geslacht (man-vrouw) 0,10 0,01** 0,15 0,01** Vorm (voltijd-deeltijd) 0,16 0,03** 0,12 0,02** Jaar (eerstejaars-ouderejaars) -0,16 0,01** -0,11 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) -0,05 0,05-0,11 0,06 TypeHo (Bachelor-Master) 0,02 0,03 0,07 0,04 SoortHo (Hbo-Wo) 0,62 0,03** 0,88 0,03** Interacties (respondent) Methode*Geslacht 0,04 0,02* Methode*Vorm -0,05 0,03 Methode*Jaar 0,05 0,02* Interacties (opleiding) Methode*numerus fixus -0,06 0,05 Methode*TypeHo 0,05 0,04 Methode*SoortHo 0,24 0,03** Level 1 variance (respondent) 1,19 1,21 Level 2 variance (opleiding) 0,13** 0,16** Deviance , ,68 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

42 Tabel 34: Lineaire regressie analyse (model 4) van studieoordeel Studeerbaarheid op enquêtemethode, studentenkenmerken en opleidingskenmerken Studeerbaarheid Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 7,21 0,04** 6,81 0,05** Methode (telefoon-web) -0,39 0,05** Respondentkenmerken Geslacht (man-vrouw) 0,04 0,01** 0,05 0,01** Vorm (voltijd-deeltijd) 0,06 0,04-0,00 0,06 Jaar (eerstejaars-ouderejaars) 0,01 0,01 0,10 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) -0,14 0,06* -0,20 0,07** TypeHo (Bachelor-Master) -0,18 0,04** -0,16 0,05** SoortHo (Hbo-Wo) -0,14 0,02** 0,13 0,03** Interacties (respondent) Methode*Geslacht 0,00 0,02 Methode*Vorm 0,00 0,09 Methode*Jaar 0,09 0,03** Interacties (opleiding) Methode*numerus fixus -0,04 0,06 Methode*TypeHo 0,01 0,05 Methode*SoortHo 0,28 0,03** Level 1 variance (respondent) 1,11 1,11 Level 2 variance (opleiding) 0,09** 0,14** Deviance , ,57 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

43 Tabel 35: Lineaire regressie analyse (model 4) van studieoordeel Gebouwen op enquêtemethode, studentenkenmerken en opleidingskenmerken Gebouwen Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 6,81 0,04** 6,27 0,04** Methode (telefoon-web) -0,38 0,05** Respondentkenmerken Geslacht (man-vrouw) -0,04 0,01** 0,05 0,01** Vorm (voltijd-deeltijd) 0,30 0,02** 0,37 0,02** Jaar (eerstejaars-ouderejaars) -0,28 0,01** -0,31 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) 0,11 0,05* 0,12 0,06* TypeHo (Bachelor-Master) -0,05 0,03 0,15 0,04** SoortHo (Hbo-Wo) 0,58 0,03** 0,80 0,03** Interacties (respondent) Methode*Geslacht 0,07 0,02* Methode*Vorm 0,06 0,03* Methode*Jaar -0,03 0,02 Interacties (opleiding) Methode*numerus fixus 0,00 0,04 Methode*TypeHo 0,13 0,04** Methode*SoortHo 0,20 0,03** Level 1 variance (respondent) 1,24 1,26 Level 2 variance (opleiding) 0,14** 0,16** Deviance , ,25 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

44 Tabel 36: Lineaire regressie analyse (model 4) van studieoordeel Faciliteiten op enquêtemethode, studentenkenmerken en opleidingskenmerken Faciliteiten Ongecorrigeerd Gecorrigeerd B s.e. B s.e. Intercept 7,07 0,04** 6,62 0,04** Methode (telefoon-web) -0,37 0,04** Respondentkenmerken Geslacht (man-vrouw) -0,05 0,01** -0,01 0,01 Vorm (voltijd-deeltijd) 0,28 0,02** 0,38 0,02** Jaar (eerstejaars-ouderejaars) -0,22 0,01** -0,22 0,01** Opleidingskenmerken Numerus Fixus (wel-niet) -0,01 0,05-0,08 0,05 TypeHo (Bachelor-Master) -0,01 0,03 0,08 0,04* SoortHo (Hbo-Wo) 0,60 0,03** 0,85 0,02** Interacties (respondent) Methode*Geslacht 0,04 0,02* Methode*Vorm 0,09 0,03** Methode*Jaar 0,00 0,02 Interacties (opleiding) Methode*numerus fixus -0,07 0,04 Methode*TypeHo 0,05 0,04 Methode*SoortHo 0,24 0,03** Level 1 variance (respondent) 1,03 1,03 Level 2 variance (opleiding) 0,12** 0,13** Deviance , ,44 N level N level *p <.05; ** p < Onderzoeksverantwoording v1

45 Tabel 37: Correctiefactoren berekend op basos van multilevel-analyse Geslacht Vorm Jaar Numerus Fixus BaMa Soort Ho Inhoud Keuze Samenhang Werkvormen Loopbaan Docenten Communicatie Studeerbaarheid Gebouw Faciliteiten Man Voltijd Eerstejaars Nee Ba Hbo -0,198-0,477-0,363-0,474-0,211-0,339-0,357-0,387-0,375-0,370 Man Voltijd Eerstejaars Nee Ba Wo -0,028-0,065-0,088-0,240-0,050-0,073-0,122-0,110-0,172-0,129 Man Voltijd Eerstejaars Nee Ma Hbo -0,140-0,476-0,281-0,321-0,257-0,248-0,306-0,379-0,250-0,316 Man Voltijd Eerstejaars Nee Ma Wo 0,030-0,064-0,007-0,087-0,096 0,018-0,071-0,102-0,047-0,075 Man Voltijd Eerstejaars Ja Ba Hbo -0,173-0,596-0,361-0,504-0,166-0,351-0,413-0,432-0,376-0,441 Man Voltijd Eerstejaars Ja Ba Wo -0,003-0,184-0,087-0,270-0,005-0,086-0,178-0,155-0,173-0,200 Man Voltijd Eerstejaars Ja Ma Hbo -0,115-0,595-0,280-0,351-0,212-0,260-0,362-0,424-0,251-0,388 Man Voltijd Eerstejaars Ja Ma Wo 0,055-0,183-0,005-0,117-0,051 0,005-0,127-0,147-0,048-0,147 Man Voltijd Ouderejaars Nee Ba Hbo -0,240-0,468-0,398-0,477-0,237-0,316-0,310-0,299-0,406-0,371 Man Voltijd Ouderejaars Nee Ba Wo -0,070-0,056-0,124-0,243-0,076-0,050-0,075-0,022-0,203-0,130 Man Voltijd Ouderejaars Nee Ma Hbo -0,182-0,467-0,316-0,324-0,283-0,225-0,259-0,291-0,281-0,317 Man Voltijd Ouderejaars Nee Ma Wo -0,012-0,056-0,042-0,090-0,122 0,041-0,024-0,014-0,078-0,076 Man Voltijd Ouderejaars Ja Ba Hbo -0,215-0,587-0,396-0,507-0,192-0,328-0,366-0,344-0,407-0,442 Man Voltijd Ouderejaars Ja Ba Wo -0,045-0,175-0,122-0,273-0,031-0,062-0,131-0,067-0,204-0,201 Man Voltijd Ouderejaars Ja Ma Hbo -0,157-0,586-0,315-0,354-0,238-0,237-0,315-0,336-0,282-0,389 Man Voltijd Ouderejaars Ja Ma Wo 0,013-0,174-0,041-0,120-0,077 0,029-0,080-0,059-0,079-0,148 Man Deeltijd Eerstejaars Nee Ba Hbo -0,140-0,572-0,277-0,400-0,119-0,302-0,404-0,384-0,313-0,280 Man Deeltijd Eerstejaars Nee Ba Wo 0,030-0,160-0,002-0,166 0,042-0,036-0,169-0,107-0,110-0,039 Man Deeltijd Eerstejaars Nee Ma Hbo -0,082-0,571-0,195-0,247-0,164-0,211-0,353-0,376-0,188-0,226 Man Deeltijd Eerstejaars Nee Ma Wo 0,088-0,159 0,079-0,013-0,003 0,055-0,118-0,099 0,015 0,015 Man Deeltijd Eerstejaars Ja Ba Hbo -0,114-0,691-0,275-0,430-0,074-0,314-0,460-0,429-0,314-0,352 Man Deeltijd Eerstejaars Ja Ba Wo 0,056-0,279-0,001-0,196 0,087-0,049-0,224-0,152-0,111-0,111 Man Deeltijd Eerstejaars Ja Ma Hbo -0,057-0,690-0,194-0,277-0,119-0,223-0,409-0,421-0,189-0,298 Man Deeltijd Eerstejaars Ja Ma Wo 0,113-0,278 0,081-0,043 0,042 0,042-0,174-0,144 0,014-0,057 Man Deeltijd Ouderejaars Nee Ba Hbo -0,182-0,563-0,312-0,403-0,145-0,278-0,357-0,296-0,344-0,281 Man Deeltijd Ouderejaars Nee Ba Wo -0,012-0,151-0,038-0,169 0,016-0,013-0,122-0,018-0,141-0,040 Man Deeltijd Ouderejaars Nee Ma Hbo -0,124-0,562-0,230-0,250-0,190-0,187-0,306-0,288-0,219-0,227 Man Deeltijd Ouderejaars Nee Ma Wo 0,046-0,150 0,044-0,016-0,029 0,078-0,071-0,011-0,016 0,014 Man Deeltijd Ouderejaars Ja Ba Hbo -0,157-0,682-0,311-0,433-0,100-0,291-0,413-0,341-0,345-0,353 Man Deeltijd Ouderejaars Ja Ba Wo 0,013-0,270-0,036-0,199 0,061-0,025-0,177-0,063-0,142-0,112 Man Deeltijd Ouderejaars Ja Ma Hbo -0,099-0,681-0,229-0,280-0,145-0,200-0,362-0,333-0,220-0,299 Man Deeltijd Ouderejaars Ja Ma Wo 0,071-0,269 0,045-0,046 0,016 0,066-0,127-0,055-0,017-0,058

46 Geslacht Vorm Jaar Numerus Fixus BaMa Soort Ho Inhoud Keuze Samenhang Werkvormen Loopbaan Docenten Communicatie Studeerbaarheid Gebouw Faciliteiten Vrouw Voltijd Eerstejaars Nee Ba Hbo -0,163-0,502-0,325-0,439-0,209-0,321-0,316-0,383-0,301-0,331 Vrouw Voltijd Eerstejaars Nee Ba Wo 0,007-0,090-0,050-0,205-0,048-0,056-0,081-0,105-0,098-0,090 Vrouw Voltijd Eerstejaars Nee Ma Hbo -0,105-0,501-0,243-0,286-0,254-0,230-0,265-0,375-0,176-0,277 Vrouw Voltijd Eerstejaars Nee Ma Wo 0,065-0,089 0,031-0,052-0,093 0,035-0,030-0,098 0,027-0,036 Vrouw Voltijd Eerstejaars Ja Ba Hbo -0,138-0,621-0,323-0,469-0,164-0,334-0,372-0,428-0,302-0,403 Vrouw Voltijd Eerstejaars Ja Ba Wo 0,032-0,209-0,049-0,235-0,003-0,068-0,137-0,150-0,099-0,162 Vrouw Voltijd Eerstejaars Ja Ma Hbo -0,080-0,620-0,242-0,316-0,209-0,243-0,321-0,420-0,177-0,349 Vrouw Voltijd Eerstejaars Ja Ma Wo 0,090-0,208 0,033-0,082-0,048 0,023-0,086-0,143 0,026-0,108 Vrouw Voltijd Ouderejaars Nee Ba Hbo -0,205-0,493-0,360-0,442-0,235-0,298-0,269-0,295-0,332-0,332 Vrouw Voltijd Ouderejaars Nee Ba Wo -0,035-0,081-0,086-0,208-0,074-0,032-0,034-0,017-0,129-0,091 Vrouw Voltijd Ouderejaars Nee Ma Hbo -0,147-0,492-0,278-0,289-0,280-0,207-0,218-0,287-0,207-0,278 Vrouw Voltijd Ouderejaars Nee Ma Wo 0,023-0,080-0,004-0,055-0,119 0,059 0,017-0,009-0,004-0,037 Vrouw Voltijd Ouderejaars Ja Ba Hbo -0,180-0,612-0,359-0,472-0,190-0,311-0,325-0,340-0,333-0,404 Vrouw Voltijd Ouderejaars Ja Ba Wo -0,010-0,200-0,084-0,238-0,028-0,045-0,089-0,062-0,130-0,163 Vrouw Voltijd Ouderejaars Ja Ma Hbo -0,122-0,611-0,277-0,319-0,235-0,220-0,274-0,332-0,208-0,350 Vrouw Voltijd Ouderejaars Ja Ma Wo 0,048-0,199-0,003-0,085-0,074 0,046-0,039-0,054-0,005-0,109 Vrouw Deeltijd Eerstejaars Nee Ba Hbo -0,105-0,596-0,239-0,365-0,116-0,284-0,363-0,380-0,239-0,241 Vrouw Deeltijd Eerstejaars Nee Ba Wo 0,065-0,184 0,036-0,131 0,045-0,019-0,128-0,102-0,036 0,000 Vrouw Deeltijd Eerstejaars Nee Ma Hbo -0,047-0,595-0,157-0,212-0,162-0,193-0,312-0,372-0,114-0,188 Vrouw Deeltijd Eerstejaars Nee Ma Wo 0,123-0,183 0,117 0,022-0,001 0,072-0,077-0,094 0,089 0,053 Vrouw Deeltijd Eerstejaars Ja Ba Hbo -0,079-0,715-0,237-0,395-0,071-0,297-0,418-0,425-0,240-0,313 Vrouw Deeltijd Eerstejaars Ja Ba Wo 0,091-0,303 0,037-0,161 0,090-0,031-0,183-0,147-0,037-0,072 Vrouw Deeltijd Eerstejaars Ja Ma Hbo -0,022-0,714-0,156-0,242-0,117-0,206-0,368-0,417-0,115-0,259 Vrouw Deeltijd Eerstejaars Ja Ma Wo 0,148-0,302 0,119-0,008 0,044 0,060-0,132-0,139 0,088-0,018 Vrouw Deeltijd Ouderejaars Nee Ba Hbo -0,147-0,587-0,274-0,368-0,142-0,261-0,316-0,291-0,270-0,242 Vrouw Deeltijd Ouderejaars Nee Ba Wo 0,023-0,175 0,000-0,134 0,019 0,005-0,080-0,014-0,067-0,001 Vrouw Deeltijd Ouderejaars Nee Ma Hbo -0,089-0,586-0,192-0,215-0,188-0,170-0,265-0,284-0,145-0,188 Vrouw Deeltijd Ouderejaars Nee Ma Wo 0,081-0,174 0,082 0,019-0,027 0,096-0,030-0,006 0,058 0,052 Vrouw Deeltijd Ouderejaars Ja Ba Hbo -0,121-0,706-0,273-0,398-0,097-0,273-0,371-0,336-0,271-0,314 Vrouw Deeltijd Ouderejaars Ja Ba Wo 0,049-0,294 0,002-0,164 0,064-0,008-0,136-0,059-0,068-0,073 Vrouw Deeltijd Ouderejaars Ja Ma Hbo -0,064-0,705-0,191-0,244-0,143-0,182-0,321-0,329-0,146-0,260 Vrouw Deeltijd Ouderejaars Ja Ma Wo 0,106-0,293 0,083-0,011 0,018 0,083-0,085-0,051 0,057-0,019

47 5 Resultaten op hoofdlijnen Om na te gaan hoe landelijk de stand van zaken is met betrekking tot de tevredenheid van studenten zijn op het bestand van de Nationale Studentenenquête enkele analyses uitgevoerd. Figuur 3 toont de rapportcijfer per cluster voor het totale hoger onderwijs. De sfeer en de voorzieningen worden het best beoordeel (gemiddeld een 7,5). Ook de inhoud van de opleiding krijgt een ruime zeven. Minder dan een 6,5 geven studenten voor woonruimte, communicatie, begeleiding (alleen in 2009 gevraagd) en inspraak (alleen in 2009 gevraagd). Sfeer (2009) Voorzieningen 7,5 7,5 Inhoud Faciliteiten Docenten Studeerbaarheid Samenhang Aansluiting (2009) Keuzeruimte Werkvormen Voorbereiding loopbaan Gebouwen Inspraak (2009) Begeleiding (2009) Communicatie Woonruimte Totaalscore 7,1 6,9 6,9 6,8 6,7 6,7 6,6 6,6 6,6 6,6 6,6 6,5 6,3 6,0 6, Figuur 3: Resultaten NSE per cluster: totaal hoger onderwijs Er zijn duidelijke verschillen tussen hbo en wo. Over het algemeen geven wo-studenten een positiever oordeel dan hbo-studenten. Figuur 4 toont de resultaten op de clusters, onderscheiden naar hbo en wo. Met uitzondering van de clusters Voorbereiding loopbaan en Studeerbaarheid zijn alle verschillen tussen hbo en wo significant (p < 0,01). Samenvattend kunnen we concluderen dat: wo-studenten veel positiever zijn over: inhoud, faciliteiten, communicatie, totaalscore, docenten en gebouwen; wo-studenten enigszins positiever zijn over: keuzeruimte, werkvormen, voorzieningen, aansluiting (2009), samenhang en inspraak (alleen in 2009 gevraagd); hbo-studenten iets positiever over zijn: sfeer (alleen in 2009 gevraagd) en begeleiding (alleen in 2009 gevraagd). 47 Onderzoeksverantwoording v1

48 Voorzieningen Woonruimte Inspraak (2009) Begeleiding (2009) Aansluiting (2009) Faciliteiten Gebouwen Sfeer (2009) Studeerbaarheid Communicatie Docenten Voorbereiding loopbaan Werkvormen Samenhang Keuzeruimte Inhoud Totaalscore 7,6 7,4 6,1 6,0 6,6 6,5 6,4 6,5 6,9 6,5 7,5 6,7 7,1 6,3 7,4 7,6 6,8 6,8 6,8 6,0 7,4 6,7 6,6 6,6 6,9 6,5 6,9 6,6 7,0 6,4 7,5 6,8 7,0 6, Figuur 4: Resultaten NSE per cluster: hbo en wo Door middel van multilevel-analyse is vervolgens nagegaan in hoeverre studentoordelen zich laten voorspellen aan de hand van instellings-, opleidings- en respondentkarakteristieken. Hiervoor is het totaaloordeel over de opleiding als afhankelijke (te verklaren) tevredenheidsaspect geanalyseerd. In het onderstaande worden de resultaten kort besproken. De resultaten van de multilevel-analyse zijn weergegeven in Tabel 38. In het eerste model (ook wel 0-model genoemd) wordt alleen nagegaan in hoeverre er variantie bestaat op de verschillende onderscheiden niveaus. We zien dat het gemiddeld oordeel van studenten 6,84 is en dat de variantie op het respondentniveau groter dan is op het opleidingsniveau. Dit houdt in dat verschillen tussen opleidingen kleiner zijn dan de verschillen tussen individuele studenten. In model 1 voegen we enkele individuele achtergrondkenmerken toe aan de analyse. Vrouwen en eerstejaars studenten oordelen positiever over hun opleiding. Gehandicapten vellen over het algemeen een negatiever oordeel. Naarmate studenten meer studeren, wordt het oordeel dat studenten hebben van een opleiding positiever (het totale effect tussen een luie en een ijverige student is 0,32). In het tweede model laten we de achtergrondkenmerken achterwege en verleggen we de focus op de instellings- en opleidingsfactoren. We zien dat de opgenomen predictoren (numerus fixus, soort hoger onderwijs, BaMa, vorm (vt-dt), bekostiging (NBI), stedelijkheid en opleidingsomvang) de helft van de variantie in studieoordeel verklaren. 48 Onderzoeksverantwoording v1

49 Het verschil tussen wo en hbo bedraagt 0,54. Masterstudenten en studenten van particulieren opleidingen zijn overwegend positiever. Studenten van grote opleidingen en studenten die de studie in een grote stad volgen, oordelen over het algemeen negatiever. In Model 3 zijn zowel de opleidings- en instellingskarakteristieken als de respondentkenmerken opgenomen in de analyse. Het is opvallend dat, wanneer we rekening houden met de samenstelling van de studentpopulatie binnen een opleiding (we controleren immers voor studentkenmerken), er een verschil in oordeel bestaat tussen voltijd en deeltijd opleidingen. Een mogelijke verklaring ligt bij het aantal uren studie per week. Voltijdstudenten zijn normaliter positiever, maar dat komt voor een deel door het aantal uren dat ze aan hun studie besteden. Om een verklaring te bieden voor het gegeven dat studenten aan grote opleidingen negatiever oordelen over de opleiding is in model 4 een maat voor organisatiegraad opgenomen. De massaliteit (in aantal studenten) van hoorcolleges is daarvoor gebruikt. Hoe massaler de hoorcolleges des te negatiever oordelen studenten over de opleiding. Bij het simultaan opnemen van organisatiegraad en opleidingsomvang blijkt dat de opleidingsomvang er helemaal niet meer toe doet. Op basis hiervan kunnen we concluderen dat een kleinschalige organisatie van het onderwijs (ook als het en grote opleiding betreft) samengaat met positieve studentoordelen. Tabel 38: Totaal tevredenheidscore NSE Model 0 Model 1 Model 2 Model 3 Model 4 B s.e. B s.e. B s.e. B s.e. B s.e. Intercept 6,84** 0,01 6,62** 0,02 6,74** 0,06 6,59** 0,06 6,64** 0,06 Individuele kenmerken Geslacht 0,04** 0,01 0,04** 0,01 0,04** 0,01 Eerstejaars 0,12** 0,01 0,12** 0,01 0,12** 0,01 Handicap -0,17** 0,01-0,16** 0,01-0,16** 0,01 Studietijd (uren per week) 0,01** 0,00 0,01** 0,00 0,01** 0,00 Opleidingskenmerken Numerus Fixus 0,08 0,05 0,05 0,05 0,12* 0,05 Soort Hoger Onderwijs 0,54** 0,02 0,53** 0,02 0,61** 0,02 Type Hoger onderwijs (BaMa) 0,10** 0,03 0,10** 0,03 0,05* 0,03 Vorm (VtDt) -0,09* 0,06-0,16** 0,06-0,17** 0,06 Bekostiging (NBI) 0,24 0,10 0,26** 0,10 0,23* 0,10 Stedelijkheid -0,11** 0,02-0,11** 0,02-0,11** 0,02 Opleidingsomvang -0,00** 0,00-0,00** 0,00 0,00 0,00 Verklaring Omvang hoorcolleges 0,00** 0,00 Model parameters Variantie niveau respondent 0,62 0,61 0,62 0,61 0,61 Variantie niveau opleiding 0,18** 0,17** 0,09** 0,09** 0,08** Deviance (-2*loglikelihood) N Respondent N Opleiding *p <.05; ** p < Onderzoeksverantwoording v1

50 6 Publicatie van de data De resultaten van de Nationale Studentenenquête zijn op verschillende manieren gepubliceerd: via de Studiekeuzedatabase en de website Studiekeuze123, via instellingsspecifieke bestanden en rapportages en door middel van de online applicatie NSE Online. Deze drie publicatievormen worden in dit hoofdstuk kort toegelicht. 6.1 Studiekeuzedatabase en website Studiekeuze123 In september 2009 zijn de nieuwe NSE-gegevens opgenomen in de Studiekeuzedatabase en getoond op de website Studiekeuze123. Hiervoor zijn de volgende tabellen vervaardigd: Bachelor voltijd, bachelor deeltijd en master (ongewogen) De informatie op het niveau instelling*opleiding*locatie is ongewogen opgenomen in de database, geaggregeerd naar NSE_ID (zie hiervoor ook paragraaf 3.7). De beslissing om niet te wegen moest noodgedwongen worden genomen omdat bij het bepalen van de weegfactor locatie niet kon worden meegenomen vanwege het ontbreken van de exacte locatiebeschrijving op recordniveau in de jaren In de Studiekeuzedatabase zijn cellen waarvan de respons op recordniveau lager was dan 5 leeg gelaten. De tabellen bevatten nagenoeg alle gegevens uit het databestand. Allereerst uiteraard de clusterscores en alle onderliggende items (gemiddelde rapportcijfers en aantallen). Verder is een aantal andere gegevens opgenomen (studievoortgang; moeilijkheidsgraad opleiding; praktijkgerichtheid c.q. theoretisch gehalte van de opleiding; studietijd; contacturen; samenwerking; omvang werkcolleges en hoorcolleges; studiekosten; gegevens over bijbaan (aantallen); studiekeuzemotieven: inhoud of baankans; masterkeuze; aandeel en aantal studenten met buitenlandervaring; aandeel en aantal studenten op kamers; kamerhuur; sfeer; specialisatie gekozen; percentage studieswitchers; aandeel mannen en vrouwen in steekproef; leeftijd naar leeftijdscategorie; samenstelling steekproef naar vooropleiding: havo, vwo, mbo, hbopropedeuse, hbo, wo-propedeuse, wo-bachelor, wo-doctoraal, buitenlandse opleiding, toelatingsgesprek; samenstelling steekproef naar studiejaar (eerste tot en met vijfde- en ouderejaars); samenstelling steekproef naar profiel in vo: cm, em, ng, nt). Studentoordelen per studie landelijk/verwante opleidingen (gewogen) De studentoordelen zijn geaggregeerd op de zogenaamde studiecode opgenomen in de tabel Studies. Deze tabel wordt op de website Studiekeuze123 vooral gebruikt voor snelvergelijken. Uiteraard is deze tabel wel gewogen voor steekproefafwijkingen. Studentoordelen van opleidingen met veel studenten aan een instelling tellen op deze wijze zwaarder mee dan dezelfde opleiding met weinig studenten aan een andere instelling. Deze tabel bevat de studentoordelen van de volgende clusters: steekproefomvang, totaalscore, inhoud, keuzeruimte, samenhang, werkvormen, voorbereiding loopbaan en studeerbaarheid. Studentoordelen per vestiging (gewogen) De studentoordelen per vestiging zijn gewogen. Deze tabellen bevatten oordelen over een locatie (bijvoorbeeld op het niveau van alle opleidingen aan vestiging Alkmaar van InHolland). Voor deze tabellen zijn alle records uit het verleden die niet uniek aan en vestiging waren toe te wijzen, verwijderd. Deze tabel bevat informatie over de steekproefomvang en oordelen over kantine, bereikbaarheid, sport en parkeren. 50 Onderzoeksverantwoording v1

51 Oordelen handicapvragen per vestiging (ongewogen) Vervolgens is een tabel opgenomen van oordeel van studenten met een beperking. Deze gegevens zijn ongewogen in de database opgenomen omdat er geen cijfers beschikbaar zijn over aantallen gehandicapte studenten per instelling. In voorgaande jaren werden de gegevens gecorrigeerd voor methode-effecten. Omdat er sprake zal zijn van een interactie van de gehanteerde methode met de aard van de handicap en bovendien door de kleine aantallen per instelling niet kan worden nagegaan of verschillen in oordelen te wijten zijn aan de aard van de handicap of aan de gehanteerde methode en daarmee iedere rationale voor weging of correctie ontbreekt, is besloten de gegevens ongecorrigeerd en ongewogen op te nemen. Het betreft de volgende velden per instelling: steekproefomvang en oordelen over intake, hulpmiddelen, aanpassingen in het onderwijs, voorlichting, begeleiding en de mate waarin docenten begripvol zijn en de totaalscore over voorzieningen voor gehandicapten. Oordelen per stad (gewogen) Een aantal relevante oordelen zijn in de tabel Steden opgenomen. Deze gegevens zijn gewogen voor steekproefafwijkingen. Alle records die niet uniek aan een stad zijn toe te wijzen ( ) zijn verwijderd. Het betreft hier informatie over de steekproefomvang per stad en oordelen over horecavoorzieningen in studiestad, culturele voorzieningen in studiestad, aanbod aan studenten- en/of studieverenigingen in studiestad, aandeel studenten op kamers (alleen particulier studentenhuis of studentenhuisvesting, bevraagd in 2009), kamerhuur (particulier studentenhuis of studentenhuisvesting, bevraagd in 2009). Internationale studenten (ongewogen) De oordelen van internationale studenten zijn in de Studiekeuzedatabase opgenomen voor die instellingen waar tien of meer buitenlandse studenten de enquête hebben ingevuld. De gegevens zijn ongewogen omdat op voorhand niet bekend is hoeveel internationale studenten deze groep representeert. Het betrof specifieke informatie over deze doelgroep: steekproefomvang en een totaaloordeel en oordelen over veiligheid studie- en verblijfsomgeving, kwaliteit accommodatie, kosten accommodatie, kosten levensonderhoud, studiekosten, openbaar vervoer van en naar instelling, internationale karakter instelling, omgangsvormen docenten op instelling, omgangsvormen studenten op instelling, overige gewoonten, contact met Nederlandse medestudenten, contact met andere internationale studenten en de organisatie van sociale activiteiten voor internationale studenten. Uiteindelijk zijn de oordelen van studenten van 14 instellingen opgenomen (samen 631 studenten). 6.2 Instellingsspecifieke bestanden en rapportages Alle instellingen hebben een databestand (spss) ontvangen met de alle microdata van de eigen instelling, aangevuld met alle records binnen hetzelfde soort onderwijs (hbo of wo). De overige instellingen zijn daarbij samengevoegd tot één groep Overige hogescholen of universiteiten. In het bestand is eveneens de weegfactor opgenomen en zijn de faculteiten toegevoegd voor zover deze waren aangeleverd door de instellingen. Het veld Faculteit van de andere instellingen is op blank gezet. Daarnaast zijn syntaxen beschikbaar gesteld om voor de eigen instelling de weegfactor lineair aan te passen zodat het aantal ongewogen en gewogen respondenten binnen de eigen instelling gelijk is. Daarnaast zijn voor alle instellingen instellingsrapporten verzameld waarbij de scores van een instelling vergeleken wordt met de landelijke scores, zowel totaal hbo of wo als op het niveau van de crohosectoren. Voor in totaal 95 ho-instellingen zijn van zowel de totaalscore als van alle clusterscores grafieken vervaardigd. Figuur 5 toont een voorbeeld van een dergelijke instellingsrapportage. Deze instellingsrapporten zijn in oktober beschikbaar gesteld in pdf- en in Excel-formaat. Instellingen konden met een uniek wachtwoord en de instellingsbrin de rapporten, de Excelbestanden en de spssbestanden downloaden. 51 Onderzoeksverantwoording v1

52 Figuur 5: Voorbeeld instellingsrapportage 6.3 NSE Online In dit najaar zijn de resultaten van de NSE gekoppeld tot een trendbestand met microdata en op het internet gepubliceerd met behulp van het programma KIWI in de zogenaamde NSE Online. KIWI, ofwel Kwantitatieve Informatie via Web-Interface, is een door Q Delft ontwikkelde web-based applicatie. Kerntaak van KIWI is het genereren van overzichten in tabellen en grafieken, die ook bruikbaar zijn voor medewerkers zonder statistische achtergrond. Afgelopen zomer heeft de gebruikersinterface van KIWI nog een ingrijpende restyling ondergaan. In de NSE-online kan men overzichten maken op basis van voorgedefinieerde tabellen, of door middel van zelf samengestelde rijen en kolommen. De voorgedefinieerde tabellen staan op de openingspagina van het programma en na het bekijken van zo n tabel kan men eenvoudig terugkeren naar deze startpagina. Onderstaande figuur toont het startscherm van de NSE-online. 52 Onderzoeksverantwoording v1

53 Men kan een selectie maken van gegevens en bepaalt vervolgens zelf de gewenste opmaak door gebruik te maken van de icon-bar in het scherm. De verkregen tabellen en grafieken kan men exporteren naar Microsoft Word en Excel. Representativiteit en privacy van gegevens zijn met KIWI goed gewaarborgd. Een privacyalgoritme blokkeert het opvragen van overzichten als de gegevens beperkt van omvang zijn of herleid kunnen worden tot individuele personen. Voor de NSE-online is gekozen om cellen waar minder dan vijf respondenten aan ten grondslag liggen, niet te tonen. Het programma maakt hiervan dan melding onder in het scherm. Er is een openbaar deel van de website waar de uitkomsten van de NSE-online zijn te raadplegen door iedereen. Daarnaast kunnen gebruikers die over een eigen inlogcode en wachtwoord beschikken toegang krijgen tot het beschermde deel van de website. De wachtwoorden en inlogcodes zijn identiek aan de codes waarmee instellingen hun databestanden kunnen downloaden. Zowel in het openbare deel als in het beschermde deel van NSE-online zijn twintig zogenaamde dossiers te raadplegen, die per thema de uitkomsten van de NSE bevatten. Het verschil tussen de openbare- en de beschermde dossiers is dat het in het openbare deel de uitkomsten toont voor heel Nederland, en dat in het beschermde deel de gebruiker de uitkomsten van zijn eigen instelling kan analyseren. De dossiers die in de NSE-online zijn opgenomen zijn: A - Algemeen B - Inhoud C - Keuzeruimte D - Samenhang E - Werkvormen F - Voorbereiding loopbaan G - Docenten H - Communicatie I - Studeerbaarheid J - Sfeer K - Gebouwen L - Faciliteiten M - Aansluiting (2009) N - Begeleiding (2009) O - Inspraak (2009) P - Woonruimte Q - Voorzieningen R - Keuzemotieven en toekomstperspectief S - Studieproces en financiën Z Instellingsscores Het eerste dossier bevat alle clusterscores inclusief de totaalscore over alle clusters heen. De volgende 18 dossiers bevatten telkens voor een thema de clusterscore en alle itemscores. Het dossier Inhoud bevat bijvoorbeeld de volgende onderwerpen: Inhoud (Totaalscore) Opleiding inhoudelijk interessant Inhoudelijk niveau opleiding Kwaliteit toetsing en beoordeling Aansluiting toetsing en beoordeling bij inhoud (2009) Aansluiting toetsing en beoordeling bij onderwijsactiviteiten (2009) Diepgang opleiding (2009) Breedte opleiding (2009) De laatste vier items zijn voor het eerst in 2009 gevraagd en daarom niet opgenomen in het cluster 5 Alle 19 dossiers hebben dezelfde opbouw: een bezoeker van de website kan aangeven welk onderwerp hij wil bekijken en kan vervolgens aangeven of en hoe hij dat onderwerp wil hebben uitgesplitst. Daarbij kan hij kiezen uit de volgende kenmerken: 5 Zie voor meer informatie over de samenstelling van de clusters paragraaf Onderzoeksverantwoording v1

54 Het laatste dossier met de aanduiding Z Instellingscores wijkt sterk af van de voorgaande 19. In dit dossier zitten alle clusterscores (net als in dossier A Algemeen ), maar in dit dossier zijn slechts enkele uitsplitsingen opgenomen, te weten: opleiding, instelling, vorm (voltijd/deeltijd) en publiek/privaat. In dit dossier kunnen instellingen wel direct met elkaar worden vergeleken, maar alleen op de totaalscores en alleen uitgesplitst naar opleiding, vorm en publiek/privaat, zoals ook opgenomen in de Studiekeuzedatabase en de website Studiekeuze123. Zoals eerder vermeld kan alleen met een geldige combinatie van inlogcode en password toegang worden verkregen tot het beschermde deel van de NSE-online. In dat deel kan men de informatie in de dossiers voor de eigen instelling analyseren en desgewenst vergelijken met het gehele hbo of wo. Het bekijken en exporteren naar Excel van standaardoverzichten is voor bezoekers van de NSE-online niet moeilijk. Om de contactpersonen van de instellingen op weg te helpen bij het zelf samenstellen van overzichten is er een tweetal workshops georganiseerd, één in Breda en één in Utrecht. De bezoekers waren over het algemeen beleidsmedewerkers die ofwel verantwoordelijk waren voor kwaliteitsbeleid, ofwel betrokken waren bij het aanvragen van accreditaties. Beide workshops zijn goed bezocht (met beide een kleine twintig deelnemers) en zijn door de bezoekers zeer positief beoordeeld. Opvallend was dat tijdens de workshops die over het gebruik van NSE-online voor analyses ging veel vragen kwamen over de NSE De voornaamste bevindingen van deze workshops zijn verwerkt in een NSE nieuwsbrief die kort na de workshops is rondgestuurd. Inmiddels hebben twee instellingen belangstelling getoond voor een workshop aan de eigen instelling. 54 Onderzoeksverantwoording v1

55 7 Vernieuwing vragenlijst Aanleiding De Nationale Studentenenquête (NSE) is tien jaar geleden gestart als instrument om studentenoordelen te verzamelen ten behoeve van de Keuzegids Hoger Onderwijs. Omdat de NSE de afgelopen tien jaar nauwelijks is veranderd, maar in de tussentijd wel verschillende veranderingen in het hoger onderwijs zijn opgetreden, is er de behoefte ontstaan om de NSE te vernieuwen. De vernieuwing van de NSE is een opdracht van Stichting Studiekeuze123 en is ten eerste gebaseerd op de intentie om tot een gemeenschappelijk landelijk studententevredenheidsonderzoek te komen en zo de bruikbaarheid van de gegevens voor studiekiezers en ook voor de instellingen zelf te verhogen. Ten tweede om met het oog op nationale en internationale ontwikkelingen ervoor te zorgen dat de NSE hierbij beter aansluit. Wat betreft het ontwikkelen van een gemeenschappelijk landelijk studententevredenheidsonderzoek doelt de NSE in eerste instantie op een integratie van het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO) in de NSE. Daarnaast ligt de nadruk op het ontwikkelen van een vragenlijst die zowel beter aansluit bij de behoefte van de instellingen naar gegevens voor hun kwaliteitszorg als ook bij de behoefte van studiekiezers om een gefundeerde studiekeuze te kunnen maken. De internationale aansluiting heeft vooral betrekking op veranderingen op grond van Europees beleid (bijvoorbeeld de invoering van het BaMa-systeem) en de geschiktheid van de informatie voor internationale studenten. Omdat de huidige NSE met ongeveer 20 minuten invultijd als te lang wordt beschouwd wordt er bij de ontwikkeling tevens naar gestreefd om de nieuwe vragenlijst niet langer dan 15 minuten te laten duren, om zo de onderzoekslast van de studenten te verkleinen en een hogere respons te kunnen realiseren. Tegen deze achtergrond is een stappenplan opgesteld voor het ontwikkelen van een nieuwe vragenlijst. Deze houdt het volgende in: 1 Inventarisatie van: - de inhoud van de NSE in relatie tot andere nationale onderzoeken naar studentenoordelen. Dit heeft vooral betrekking op het STO, maar ook op een aantal tevredenheidsonderzoeken van instellingen zelf (bijvoorbeeld van de Haagse Hogeschool en van de Universiteit Utrecht); - de inhoud van de NSE in relatie tot internationale studentenenquêtes zoals het onderzoek van CHE (Duitsland) en de National Student Survey van HEFCE (Groot-Brittannië en Ierland); 2 Het ontwerpen van een nieuwe vragenlijst aan de hand van: - informatie over nationale en internationale aansluiting; - een delphi-onderzoek onder deskundigen; - een kwalitatieve analyse van de vragen en antwoordcategorieën; - een live-pilot onder Nederlandse en internationale studenten; 3 Valideren en structureren van de nieuwe vragenlijst door: - een grootschalige online pilot onder HetStudentenpanel. Daarnaast is een onderzoek uitgevoerd naar het gebruik van verschillende antwoordschalen bij studententevredenheidsvragenlijsten. In dit onderzoek zijn de antwoorden op een aantal algemene vragen uit de NSE 2009 vergeleken. Hierbij zijn antwoorden op vijf verschillende schalen met elkaar vergeleken: tienpuntschaal (NSE); zespuntschaal (CHE); vijfpuntschaal ; vijfpunt-likertschaal (STO) en open rapportcijfer. Dit onderzoek wordt gebruikt als basis om te komen tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE. 55 Onderzoeksverantwoording v1

56 7.2 Inventarisatie bestaande vragenlijsten Voor de ontwikkeling van de nieuwe vragenlijst is allereerst een inventarisatie uitgevoerd op de onderwerpen die in de huidige NSE en een aantal andere nationale onderzoeken naar studentenoordelen voorkomen. Hierbij hebben we ons vooral gericht op het gezamenlijke studententevredenheidsonderzoek van de hogescholen (STO), maar zijn ook instellingsinterne vragenlijsten van een hogeschool (De Reflector van de Haagse Hogeschool) en van een universiteit (Master-, Bachelor-, en Eerstejaarsvragenlijst van de Universiteit Utrecht) geïnventariseerd. Om daarnaast inzicht te krijgen in studententevredenheidsonderzoeken in het buitenland, hebben we ook de nationale studentenenquête van het HEFCE in de inventarisatie opgenomen. Deze vragenlijst wordt landelijk afgenomen onder studenten uit Groot-Brittannië en Ierland. Met de vragenlijst van het CHE (Duitsland) is al bij eerdere aanpassingen in de NSE rekening gehouden 6. Bij de inventarisatie van de vragenlijsten hebben we gekeken naar: (1) De doelgroep en het gebruik van de vragenlijst Alle geïnventariseerde vragenlijsten hebben als doel de tevredenheid van studenten over hun opleiding en instelling in kaart te brengen. De resultaten worden vooral gebruikt voor de kwaliteitszorg van instellingen. Alleen de NSE heeft daarnaast als doel om de verzamelde oordelen te gebruiken als informatiebron voor studiekiezers. (2) De omvang/lengte van de vragenlijst Uit deze analyse blijkt dat de NSE met 24 verschillende onderwerpen de omvangrijkste en ook de langste vragenlijst is. Ook de Reflector van de Haagse Hogeschool is met 21 onderwerpen omvangrijk en lang. Het STO is met tien onderwerpen de kortste en minst omvangrijke vragenlijst. Daartussen in liggen de vragenlijsten van de Universiteit Utrecht (Zestien onderwerpen over drie vragenlijsten verdeeld) en van het HEF- CE (Zestien onderwerpen). (3) De gebruikte antwoordschalen Uit de analyse blijkt dat het gebruik van antwoordschalen voor wat betreft de studentenoordelen in de verschillende geïnventariseerde enquêtes nogal uiteen loopt. De NSE maakt gebruik van een tienpuntschaal in de vorm van een rapportcijfer. Het STO maakt gebruik van een vijfpunt-likertschaal, waarbij aan studenten stellingen worden voorgelegd waarvan zij moeten aangeven in hoeverre zij het daarmee eens zijn. De Reflector gebruikt voor een deel een vijfpunt-likertschaal op basis van stellingen en voor een deel een tienpuntschaal in de vorm van rapportcijfers. In de vragenlijsten van de Universiteit Utrecht wordt vooral gebruik gemaakt van een neutrale vijfpuntschaal (zeer ontevreden zeer tevreden), maar deels ook van een 3-punt schaal (ontevreden neutraal tevreden). In de survey van het HEFCE wordt uitsluitend gebruik gemaakt van een vijfpunt-likertschaal waarbij studenten moeten aangeven in hoeverre zij het met bepaalde stellingen eens zijn. Het onderzoek van CHE maakt gebruik van een neutrale 6-punt schaal (in Duitsland lopen rapportcijfers van 1-6). (4) Inhoud van de vragenlijst Op basis van de inventarisatie is in overleg met een deskundige vanuit het hbo (Bastiaan van der Wulp) en een deskundige vanuit het wo (Felipe Salve) een groslijst van onderwerpen en deelonderwerpen voor de nieuwe NSE opgezet. Hierbij is tevens rekening gehouden met de behoefte van studiekiezers dat uit eerdere onderzoeken naar voren is gekomen 7 8. Bij de samenstelling van de groslijst is vooral de nadruk gelegd op de integratie van het STO in de NSE. Dit betekent dat alle (hoofd)thema s van het STO in de nieuwe NSE zijn opgenomen. 6 Internationalizing the master s questionnaire. Rapport van ResearchNed in opdracht van Studiekeuze Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar Rapportage in opdracht van SURFfoundation op basis van de Instroommonitor. 8 Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation. 56 Onderzoeksverantwoording v1

57 Daarnaast is gekeken welke onderwerpen in de meeste geïnventariseerde vragenlijsten terugkomen en zijn onderwerpen toegevoegd die, met het oog op recente onderwijskundige ontwikkelingen en behoeften van gebruikers, tot nog toe in de NSE ontbreken. Dit heeft geresulteerd in één referentiebestand waarin alle belangrijke hoofd- en subthema s voor de nieuwe NSE zijn opgenomen. Deze thema s staan voor de onderwerpen en vragen die op grond van de inventarisatie opgenomen zouden moeten worden in een landelijke studententevredenheidsvragenlijst die is afgestemd op actuele ontwikkelingen in het hoger onderwijs en aansluit bij andere landelijke vragenlijsten in Europa. Deze groslijst bestaat uit 23 hoofd- en 117 subthema s. Om te komen tot een definitieve selectie van belangrijke hoofd- en subthema s voor de NSE 2010 is deze groslijst vervolgens aan een groter aantal deskundigen uit het hbo en wo voorgelegd in de vorm van een delphi-onderzoek. Dit onderzoek lichten wij in het volgende hoofdstuk verder toe. Naast de inhoudelijke vragen is het belangrijk ook een aantal achtergrondkenmerken van de deelnemende studenten te verzamelen. Indien deze kenmerken niet te koppelen zijn uit administratieve data adviseren wij de volgende gegevens te verzamelen: geslacht (man/vrouw); opleiding; opleidingsvariant (voltijd/deeltijd/duaal); opleidingslocatie; start huidige opleiding; vooropleiding (havo/vwo/mbo/hbo-propedeuse/hbo-einddiploma of hbo-bachelor/universiteit - propedeuse/universiteit - bachelor/universiteit - doctoraal examen/universiteit - master/buitenlandse vooropleiding voortgezet onderwijs/buitenlandse vooropleiding hoger onderwijs/colloquium doctum of toelatingsgesprek/op basis van Erkenning van Verworven Competenties/werkervaring). 7.3 Delphi-onderzoek Als vervolgstap op het opstellen van de groslijst aan de hand van de inventarisatie is een delphi-onderzoek afgenomen. Deze methodiek houdt in dat een groep deskundigen wordt geraadpleegd om via een online vragenlijst hun oordeel te geven over het belang van opname van verschillende hoofd- en subthema s in de NSE De conceptlijst (groslijst) is aan een representatief aantal deskundigen en gebruikers van een aantal universiteiten en hogescholen in Nederland voorgelegd. Het delphi-onderzoek is opgezet als een online vragenlijst waarbij aan de participanten voor elk hoofdthema uit de groslijst gevraagd werd aan te geven hoe belangrijk zij dit hoofdthema vonden voor de nieuwe NSE Tevens is aan de respondenten gevraagd of zij dit hoofdthema een kernonderwerp vonden of een onderwerp dat aanvullend op de basisvragenlijst door de instellingen facultatief kan worden toegevoegd. Verder werd voor elk van de hoofdthema s een aantal subthema s voorgelegd die de basis vormen voor de vragen die horen bij elk van de hoofdthema s. Ook hiervoor is aan de deskundigen gevraagd in hoeverre zij dit een belangrijke invulling van het hoofdthema vonden en of er subthema s ontbraken. Aan het einde van de vragenlijst konden de deskundigen aangeven of de groslijst volledig was of dat er naar hun mening nog belangrijke hoofdthema s ontbraken. De uitnodiging voor dit delphi-onderzoek is in de derde week van juni 2009 per aan 178 deskundigen verstuurd. Hiervoor zijn alle centrale contactpersonen benaderd, aangevuld met studentvertegenwoordigers, leden van het deskundigenpanel en andere overlegorganen, en een aantal externe deskundigen. Van de 178 benaderde deskundigen hebben 70 (39%) de vragenlijst volledig ingevuld. Hiervan waren 34 verbonden aan het hbo, tien aan het wo, zestien waren verbonden aan een niet bekostigde instelling (nbi). Verder participeerden vijf studenten en vijf overige deskundigen. 57 Onderzoeksverantwoording v1

58 De resultaten van dit onderzoek zijn gebruikt om de vragenlijst verder te optimaliseren. Centraal daarbij staat de vraag of de vragenlijst: inhoudelijk volledig is (zijn de thema s volledig, missen er (sub)-thema s op cruciale punten, passen de thema s bij de doelstelling van het onderzoek?); duidelijk is; in balans (niet te veel thema s binnen één onderwerp) en niet te omvangrijk is. Hiermee ontstaat een conceptlijst van hoofd- en subthema s die inhoudelijk volledig is en gedragen wordt door gebruikers. 7.4 Resultaten Hoofdthema s Allereerst is voor alle deskundigen berekend hoe belangrijk zij de hoofdthema s beoordeelden (op een schaal van 1=zeer onbelangrijk, tot 5=zeer belangrijk). Hieruit bleek dat de deskundigen de meeste thema s belangrijk vinden, maar zien we ook dat er een aantal thema s als neutraal of onbelangrijk worden beschouwd (zie Tabel 39). De in Tabel 39 grijsgearceerde onderwerpen worden door de deelnemers als minder belangrijk gezien. Tabel 39: Gemiddeld belang bij opname van hoofdthema s in de NSE Thema s Gemiddelde Standaardafwijking Kwaliteit van docenten 4,64 0,57 Inhoud van de opleiding 4,63 0,59 Studiebegeleiding 4,44 0,63 Toetsing en beoordeling 4,33 0,79 Voorbereiding beroepsloopbaan 4,33 0,88 Algemene oordelen 4,31 0,81 Studielast 4,13 0,88 Onderwijsvoorzieningen 4,01 0,83 Informatie vanuit instelling 3,99 0,83 Stage binnen de studie 3,93 1,01 Betrokkenheid van de instelling 3,90 0,89 Opgedane competenties 3,86 0,91 Start van de studie 3,76 0,89 Sfeer/sociale omgeving 3,66 1,01 Tijdsbesteding 3,61 1,03 Internationale studenten 3,51 1,34 Handicap en studie 3,47 1,07 Keuzeruimte van de opleiding 3,46 0,90 Groepsgrootte 3,27 1,14 Overige voorzieningen 3,19 0,92 Studiestad en studieomgeving 3,10 1,21 Studiekosten 2,91 1,24 Woonsituatie 2,87 1,32 Gemeten op een schaal van 1 (helemaal niet belangrijk) 5 (zeer belangrijk) Daarnaast is gekeken of deskundigen van verschillende soorten onderwijsinstellingen variëren in hun mening over welke thema s zij wel of niet belangrijk vinden. Hiervoor is berekend hoe hoog het percentage deskundigen is dat per soort onderwijs/instelling (hbo, wo, nbi) een bepaald thema belangrijk of zeer belangrijk vindt (zie Tabel 40). 58 Onderzoeksverantwoording v1

59 De in Tabel 40 grijsgearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75% of meer) dit thema als belangrijk beschouwt voor de nieuwe NSE. De studenten en de overige deskundigen zijn in onderstaande tabellen niet opgenomen omdat zij in dit onderzoek een zeer kleine en minder specifieke groep vormden. Uit nadere analyse bleek dat dit geen wezenlijk effect had op de totale percentages. Tabel 40: Belang bij opname van hoofdthema s in de NSE, naar soort onderwijs (in %) Hoofdthema's Hbo Wo Nbi Totaal Algemene oordelen 88,2 70,0 81,3 79,8 Inhoud van de opleiding 97,1 90,0 100,0 95,7 Keuzeruimte van de opleiding 55,9 70,0 31,3 52,4 Opgedane competenties 61,8 80,0 68,8 70,2 Voorbereiding beroepsloopbaan 97,1 50,0 81,3 76,1 Stage binnen de studie 82,4 40,0 68,8 63,7 Kwaliteit van docenten 97,1 100,0 87,5 94,9 Informatie vanuit instelling 79,4 80,0 68,8 76,1 Betrokkenheid van de instelling 73,5 50,0 62,5 62,0 Toetsing en beoordeling 97,1 80,0 62,5 79,9 Onderwijsvoorzieningen 79,4 90,0 75,0 81,5 Overige voorzieningen 41,2 20,0 43,8 35,0 Start van de studie 55,9 80,0 56,3 64,0 Sfeer/sociale omgeving 61,8 40,0 81,3 61,0 Groepsgrootte 29,4 50,0 56,3 45,2 Studielast 85,3 70,0 68,8 74,7 Studiekosten 14,7 40,0 62,5 39,1 Studiebegeleiding 100,0 90,0 87,5 92,5 Tijdsbesteding 44,1 70,0 68,8 61,0 Handicap en studie 52,9 50,0 37,5 46,8 Woonsituatie 29,4 60,0 25,0 38,1 Studiestad en studieomgeving 29,4 50,0 56,3 45,2 Internationale studenten 52,9 60,0 50,0 54,3 Uit de percentages in Tabel 40 blijkt dat, naast de thema s die volgens de eerdere analyse als niet belangrijk werden gevonden, ook nog een aantal andere thema s als minder belangrijk wordt gezien. We zien variaties in het belang dat gehecht wordt aan bepaalde thema s tussen de deskundigen van de verschillende soorten hoger onderwijs. De thema s opgedane competenties en start van de studie worden vooral door deskundigen uit het wo als belangrijk gezien. De thema s voorbereiding op beroepsloopbaan, stage binnen de studie en studielast vooral door deskundigen uit het hbo, en sfeer/sociale omgeving vooral door de nbi s. Uit deze analyse blijkt dat er zes thema s zijn die telkens alleen door een specifieke groep als belangrijk worden gezien. Omdat het doel van de NSE is om te komen tot één gezamenlijke landelijke enquête stellen wij voor om alle onderwerpen op te nemen die voor een bepaalde groep gebruikers als belangrijk wordt ervaren. Een alternatief zou zijn om te kiezen voor een kernvragenlijst met alle thema s die door meer dan één groep gebruikers als belangrijk worden gezien en de thema s waarvoor alleen een bepaalde groep belangstelling heeft als aanvullende module voor deze groep aan te bieden. Uitgaande van één gezamenlijke vragenlijst komen we op dertien hoofdthema s die op grond van de 75 procent drempel opgenomen zouden moeten worden in de eerste conceptversie van de nieuwe NSE. 59 Onderzoeksverantwoording v1

60 Subthema s Naast het belang van de hoofdthema s is in het delphi-onderzoek gevraagd welke subthema s belangrijk worden gevonden voor de nieuwe vragenlijst. Ook hier is gekeken hoe hoog het percentage deskundigen is dat per soort hoger onderwijs (hbo, wo, nbi) een bepaald subthema belangrijk of zeer belangrijk vindt. De grijsgearceerde cellen geven aan dat een duidelijke meerderheid van de deskundigen (75%) dit subthema als belangrijk beschouwt voor de nieuwe NSE. De deskundigen kregen bij elk (sub)thema tevens de mogelijkheid hun keuzes toe te lichten en aanvullend commentaar te geven. Hierin stelde een aantal deskundigen een alternatieve toewijzing van sommige subthema s bij hoofdthema s voor. Hiermee is bij de evaluatie van de thema s rekening gehouden. De subthema s zijn voor alle belangrijke hoofdthema s bekeken en dit resulteerde in de volgende keuzes per subthema. Het merendeel van de deskundigen vindt alle algemene oordelen belangrijk (zie Tabel 41). De thema s werkvormen en overige voorzieningen worden alleen door het hbo belangrijk gevonden. Omdat wel een duidelijke meerderheid (boven de 85%) dit belangrijk vindt, adviseren wij deze alsnog op te nemen in de conceptvragenlijst. In aanvullend commentaar door deskundigen kwam de wens naar voren om alle aan bod komende thema s bij de algemene vragen op te nemen. Omdat dit overeen komt met de keuze van algemene vragen bij de STO en de oude NSE adviseren wij dit ook hier toe te passen. Omdat de subthema s aansluiting vooropleiding, samenhang binnen opleiding en werkvormen geen hoofdthema vormen, stellen wij voor deze daarom op te nemen als item bij het thema inhoud van de opleiding. Tabel 41: Algemene oordelen Subthema's Hbo Wo Nbi Totaal Algemene oordelen: algemeen oordeel studie 94,1 90,0 93,8 92,6 Algemene oordelen: inhoud opleiding 97,1 100,0 87,5 94,9 Algemene oordelen: aansluiting vooropleiding 79,4 90,0 87,5 85,6 Algemene oordelen: samenhang binnen opleiding 91,2 70,0 93,8 85,0 Algemene oordelen: werkvormen 85,3 50,0 62,5 65,9 Algemene oordelen: voorbereiding loopbaan 94,1 50,0 93,8 79,3 Algemene oordelen: kwaliteit docenten 97,1 90,0 87,5 91,5 Algemene oordelen: informatie vanuit opleiding 91,2 90,0 81,3 87,5 Algemene oordelen: overige voorzieningen 94,1 60,0 68,8 74,3 Algemene oordelen: toetsing en beoordeling 97,1 100,0 81,3 92,8 Zoals blijkt uit Tabel 42 worden de diepgang, de breedte, en de afwisseling van de inhoud niet door het merendeel als belangrijk ervaren. Op grond van inhoudelijke overwegingen is ervoor gekozen om het item aansluiting bij toetsing te verschuiven naar het thema toetsing en beoordeling. Tabel 42: Inhoud van de opleiding Subthema's Hbo Wo Nbi Totaal Inhoud van de opleiding: diepgang 70,6 70,0 81,3 73,9 Inhoud van de opleiding: breedte 50,0 60,0 87,5 65,8 Inhoud van de opleiding: niveau 91,2 100,0 100,0 97,1 Inhoud van de opleiding: aansluiting inhoud bij doelstellingen 73,5 90,0 81,3 81,6 Inhoud van de opleiding: aansluiting inhoud bij toetsing 100,0 80,0 75,0 85,0 Inhoud van de opleiding: stimulerend 85,3 90,0 81,3 85,5 Inhoud van de opleiding: aansluiting bij actuele ontwikkelingen 97,1 80,0 81,3 86,1 Inhoud van de opleiding: afwisseling 58,8 40,0 62,5 53,8 Inhoud van de opleiding: samenhang programma 94,1 90,0 81,3 88,5 60 Onderzoeksverantwoording v1

61 De thema s ethische aspecten en communicatievermogen worden niet door het merendeel van de deskundigen belangrijk gevonden (Tabel 43) en daarom ook niet opgenomen in de conceptvragenlijst. Tabel 43: Opgedane competenties Subthema's Hbo Wo Nbi Totaal Opgedane competenties: actief leren 73,5 90,0 68,8 77,4 Opgedane competenties: kritische houding 67,6 90,0 75,0 77,5 Opgedane competenties: aanpakken complexe problemen 70,6 90,0 68,8 76,4 Opgedane competenties: professionele context 76,5 90,0 81,3 82,6 Opgedane competenties: probleemoplossende vermogens 73,5 100,0 75,0 82,8 Opgedane competenties: kunnen aansluiten bij actuele ontwikkelingen 73,5 80,0 81,3 78,3 Opgedane competenties: ethische aspecten 61,8 70,0 62,5 64,8 Opgedane competenties: conclusies onderbouwen 73,5 100,0 81,3 84,9 Opgedane competenties: communicatievermogen 76,5 70,0 75,0 73,8 De hoofdthema s voorbereiding beroepsloopbaan en stage binnen studie worden vooral door het hbo belangrijk gevonden. Uit de analyse van de subthema s blijkt dat er maar twee thema s van de totale meerderheid boven de 75 procent grens komen te liggen (zie Tabel 44). Een duidelijke meerderheid (85,3%) van de Hbo ers geeft wel aan de kwaliteit stagebegeleiding in deze context belangrijk te vinden. Omdat juist deze groep aangaf dit hoofdthema bijzonder belangrijk te vinden is gekozen dit subthema alsnog op te nemen. Stage is vaak een onderdeel van de voorbereiding op de beroepsloopbaan. Omdat het hoofdthema stage binnen de studie nu nog maar één subthema omvat wordt voorgesteld deze vraag bij de module voorbereiding op de beroepsloopbaan op te nemen. Tabel 44: Voorbereiding beroepsloopbaan en stage binnen de studie Subthema's Hbo Wo Nbi Totaal Voorbereiding beroepsloopbaan: opdoen vaardigheden beroepsloopbaan 97,1 40,0 93,8 76,9 Voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt 94,1 50,0 87,5 77,2 Voorbereiding beroepsloopbaan: beschikbaarheid en kwaliteit advies 61,8 20,0 68,8 50,2 Stage binnen de studie: ondersteuning en advies 61,8 50,0 75,0 62,3 Stage binnen de studie: kwaliteit stagebegeleiding 85,3 50,0 68,8 68,0 Stage binnen de studie: aansluiting bij overig onderwijs 70,6 50,0 62,5 61,0 Bijna alle subthema s binnen het hoofdthema kwaliteit van de docenten ligt boven de 75 procent grens (Tabel 45). Alleen de subthema s inlevingsvermogen en taalvaardigheid vallen onder deze grens en zullen daarom niet opgenomen worden in de conceptvragenlijst. 61 Onderzoeksverantwoording v1

62 Tabel 45: Kwaliteit van de docenten Subthema's Hbo Wo Nbi Totaal Kwaliteit van docenten: deskundigheid 97,1 100,0 93,8 96,9 Kwaliteit van docenten: didactiek 97,1 100,0 87,5 94,9 Kwaliteit van docenten: bereikbaarheid 88,2 80,0 87,5 85,2 Kwaliteit van docenten: inlevingsvermogen 50,0 70,0 68,8 62,9 Kwaliteit van docenten: betrokkenheid 64,7 80,0 87,5 77,4 Kwaliteit van docenten: kwaliteit feedback 88,2 100,0 87,5 91,9 Kwaliteit van docenten: contact 76,5 90,0 93,8 86,7 Kwaliteit van docenten: taalvaardigheid 52,9 80,0 75,0 69,3 Kwaliteit van docenten: kennis praktijk 82,4 100,0 87,5 90,0 Kwaliteit van docenten: motiverend 79,4 100,0 81,3 86,9 Kwaliteit van docenten: begeleiding 79,4 80,0 81,3 80,2 Wat betreft de informatie vanuit de opleiding worden twee subthema s als belangrijk bevonden: resultaten en beoordeling en studievoortgang (zie Tabel 46). Op grond van inhoudelijke overwegingen wordt voorgesteld om resultaten en beoordeling te verschuiven naar toetsing en beoordeling, en het subthema voorlichting hierbij op te nemen (zie Tabel 49). De thema s regels en procedures, praktische zaken en digitale leeromgeving komen te vervallen. Tabel 46: Informatie vanuit opleiding Subthema's Hbo Wo Nbi Totaal Informatie vanuit opleiding: resultaten en beoordeling 91,2 80,0 81,3 84,1 Informatie vanuit opleiding: regels en procedures 79,4 60,0 62,5 67,3 Informatie vanuit opleiding: praktische zaken 79,4 80,0 56,3 71,9 Informatie vanuit opleiding: digitale leeromgeving 61,8 50,0 62,5 58,1 Informatie vanuit opleiding: studievoortgang 94,1 90,0 81,3 88,5 De belangrijkste thema s die bij het thema toetsing en beoordeling genoemd worden zijn tijdig bekendmaken en duidelijkheid criteria (zie Tabel 47). Deze zullen allebei opgenomen worden onder het kopje toetsing en beoordeling. Tabel 47: Toetsing en beoordeling Subthema's Hbo Wo Nbi Totaal Toetsing en beoordeling: tijdig bekendmaken 88,2 90,0 68,8 82,3 Toetsing en beoordeling: duidelijkheid criteria 94,1 100,0 75,0 89,7 Toetsing en beoordeling: fairness 73,5 80,0 56,3 69,9 Toetsing en beoordeling: feedback 82,4 70,0 68,8 73,7 Alle thema s behalve studenteninformatiebalies worden voor het thema onderwijsvoorzieningen als belangrijk ervaren en zullen opgenomen worden in de conceptvragenlijst (zie Tabel 48). 62 Onderzoeksverantwoording v1

63 Tabel 48: Onderwijsvoorzieningen Subthema's Hbo Wo Nbi Totaal Onderwijsvoorzieningen: geschiktheid onderwijsruimtes 85,3 80,0 75,0 80,1 Onderwijsvoorzieningen: beschikbaarheid werkplekken 82,4 80,0 75,0 79,1 Onderwijsvoorzieningen: bibliotheek/mediatheek 85,3 100,0 62,5 82,6 Onderwijsvoorzieningen: computer en netwerkfaciliteiten 91,2 90,0 68,8 83,3 Onderwijsvoorzieningen: digitale leeromgeving 82,4 90,0 68,8 80,4 Onderwijsvoorzieningen: opleidingsmateriaal 94,1 100,0 75,0 89,7 Onderwijsvoorzieningen: studenteninformatiebalies 76,5 80,0 56,3 70,9 Het thema start van de studie word vooral door deskundigen uit het wo als belangrijk ervaren. Binnen dit thema bleken de thema s voorlichting en aansluiting vooropleiding belangrijk (zie Tabel 49). Zoals eerder genoemd is overwogen dat de aansluiting bij vooropleiding inhoudelijk beter past bij het thema inhoud opleiding en voorlichting bij informatie vanuit de opleiding. Het hoofdthema start van studie komt hierdoor te vervallen. Tabel 49: Start van de studie Subthema's Hbo Wo Nbi Totaal Start van de studie: selectieprocedure 58,8 80,0 68,8 69,2 Start van de studie: voorlichting 85,3 90,0 81,3 85,5 Start van de studie: aansluiting vooropleiding 82,4 100,0 50,0 77,5 Start van de studie: introductieprogramma 41,2 70,0 31,3 47,5 Start van de studie: eerste indruk voorzieningen 38,2 40,0 50,0 42,7 Start van de studie: visum 26,5 50,0 56,3 44,2 Wat betreft het thema sfeer/sociale omgeving bleek dat dit thema door nbi s als belangrijk werd ervaren, maar zoals blijkt uit Tabel 50 werd geen van de opgenomen subthema s in deze context door de meerderheid als belangrijk gezien. Om alsnog aan de wens van de groep nbi te voldoen is daarom ervoor gekozen een algemene vraag over de sfeer op de opleiding en de instelling toe te voegen. Tabel 50: Sfeer/sociale omgeving Subthema's Hbo Wo Nbi Totaal Sfeer/sociale omgeving: medestudenten 64,7 50,0 75,0 63,2 Sfeer/sociale omgeving: sociaal en cultureel aanbod 52,9 50,0 37,5 46,8 Sfeer/sociale omgeving: veiligheid 58,8 60,0 62,5 60,4 Sfeer/sociale omgeving: motiverende leeromgeving 79,4 70,0 75,0 74,8 Binnen het thema studielast kwamen alle genoemde subthema s boven de 75 procent grens (zie Tabel 51) terecht en zullen daarom alle drie opgenomen worden in de conceptvragenlijst. 63 Onderzoeksverantwoording v1

64 Tabel 51: Studielast Subthema's Hbo Wo Nbi Totaal Studielast: oordeel belasting 82,4 70,0 75,0 75,8 Studielast: aantal uur besteed per week 76,5 70,0 87,5 78,0 Studielast: opdrachten zijn op tijd af te ronden 85,3 60,0 87,5 77,6 Ook wat betreft de thema s die vallen onder de module studiebegeleiding blijkt dat deze volgens de deskundigen allemaal opgenomen zouden moeten worden (zie Tabel 52). Tabel 52: Studiebegeleiding Subthema's Hbo Wo Nbi Totaal Studiebegeleiding: kwaliteit begeleiding 100,0 90,0 93,8 94,6 Studiebegeleiding: contact met studieadviseur 82,4 80,0 93,8 85,4 Studiebegeleiding: advies studieadviseur 76,5 80,0 87,5 81,3 Het hoofdthema internationale studenten werd door alle deskundigen als minder belangrijk ervaren. Aangezien het een doel van de NSE is om ook informatie beschikbaar te stellen voor internationale studenten adviseren wij dit thema alsnog op te nemen. Daarom is ook voor dit thema gekeken naar de oordelen van de deskundigen over de voorgestelde subthema s. Zoals blijkt uit Tabel 53 worden de thema s hulp door instellingen en aanbod vakken in het Engels in deze context als belangrijk ervaren. Daarom is ervoor gekozen om deze twee thema s op te nemen in de module voor internationale studenten. Tabel 53: Internationale studenten Subthema's Hbo Wo Nbi Totaal Internationale studenten: informatie door instelling 58,8 70,0 56,3 61,7 Internationale studenten: hulp door instelling 44,1 80,0 56,3 60,1 Internationale studenten: woonsituatie 35,3 70,0 43,8 49,7 Internationale studenten: kosten studie en leven 35,3 60,0 56,3 50,5 Internationale studenten: aanbod vakken in het Engels 58,8 80,0 68,8 69,2 Internationale studenten: goedkeuring ects 61,8 70,0 68,8 66,8 Internationale studenten: omgangsvormen 29,4 40,0 37,5 35,6 Internationale studenten: sociale activiteiten 41,2 40,0 43,8 41,6 Internationale studenten: contact medestudenten 44,1 50,0 62,5 52,2 Een ander thema dat door het merendeel van de deskundigen als niet belangrijk werd beoordeeld (zowel het hoofdthema als alle subthema s) is handicap en studie. Net als bij de internationale studenten betreft dit thema een bepaalde groep studenten. Omdat het juist voor deze groep belangrijk is te weten waar zij met hun beperking het beste kunnen gaan studeren, adviseren wij om dit thema als extra module voor gehandicapte studenten op te nemen. In de NSE 2009 werden veertien vragen gesteld over studeren met een handicap. Voor de vernieuwde vragenlijst adviseren wij om twaalf hiervan op te nemen in een optionele module voor de NSE De drie niet opgenomen vragen gaan niet over een oordeel en lijken ons minder belangrijk voor het bepalen van de nodige achtergrondinformatie. 64 Onderzoeksverantwoording v1

65 Ten slotte bleken deskundigen het thema betrokkenheid van de instelling in meerderheid niet belangrijk te vinden. Van de hbo-participanten hechtte echter een meerderheid van de deskundigen (73,5%) wel belang aan dit hoofdthema. Dit ligt net onder de bepaalde grens van 75 procent, maar aangezien dit in het STO een belangrijk thema is, adviseren wij dit onderwerp alsnog voor hbo-instellingen toe te voegen aan de basisvragenlijst. Op deze wijze komen alle hoofdthema s uit het STO in de nieuwe NSE aan bod. 7.5 Open vragen Aan de deskundigen is door middel van open vragen tevens de mogelijkheid geboden om belangrijke (sub)thema s toe te voegen als deze volgens hen nog ontbraken. Er is gekozen om een extra (sub)thema op te nemen als dit door meer dan één deelnemer is genoemd. Voor een aantal van de voorgestelde thema s gold dat deze op een later moment in het onderzoek wel aan bod kwamen en daarom al meegewogen zijn. Daarnaast is geëvalueerd of de voorgestelde thema s passen bij het doel van de NSE. Voorgestelde thema s zoals vragen naar het beeld van de beroepspraktijk zijn buiten beschouwing gelaten omdat deze zich niet richten op de tevredenheid van studenten over hun opleiding. Gebaseerd op de analyse van de open vragen is het hoofdthema studieroosters (met twee relevante items, zie Tabel 54) en het subthema opgedane competenties: samenwerken opgenomen in de conceptvragenlijst. Het subthema studielast: oordeel studielast is naar aanleiding van het commentaar toegespitst op studielast: oordeel spreiding studielast over het jaar. Uit de algemene opmerkingen van de deskundigen kwam bovendien de wens naar voren om alle aan bod komende thema s bij de algemene vragen op te nemen, en stelden een aantal deskundigen een alternatieve toewijzing van sommige subthema s bij hoofdthema s voor. Zoals boven is aangegeven is hier bij het opzetten van de conceptvragenlijst rekening mee gehouden. Tabel 54: Studieroosters Subthema's Studieroosters: Tijdig bekend maken van roosters Studieroosters: Tijdig bekend maken van wijzigingen in roosters 7.6 Conclusies Op deze wijze zijn alle resultaten van het delphi-onderzoek verwerkt. Op grond van deze analyse zullen dertien hoofdthema s en 62 subthema s opgenomen worden in de conceptvragenlijst. Omdat ervoor gekozen is om bij het hoofdthema sfeer een algemene vraag over de opleiding en de instelling te stellen, wordt voorgesteld dit thema niet nog een keer bij de module algemene vragen op te nemen. Aanvullende onderwerpen Het doel van de nieuwe NSE is om nauw aan te sluiten bij de wensen van de gebruikers. Dit zijn aan de ene kant de instellingen die hun wensen en behoeftes door middel van het delphi-onderzoek kenbaar konden maken. Aan de andere kant is de NSE bedoeld als informatiebron voor studiekiezers. Dit betekent dat de NSE ook moet ingaan op de wensen van deze groep gebruikers. Net zoals bij de samenstelling van de groslijst zal ook bij het opzetten van de conceptvragenlijst rekening worden gehouden met de wensen van de studenten. De studenten die aan het delphi-onderzoek hebben deelgenomen, vormde een selecte groep van studenten die verbonden zijn aan een vakbond of organisatie en daardoor wellicht niet representatief voor de wensen van de gemiddelde studiekiezer. 65 Onderzoeksverantwoording v1

66 We richten ons daarom vooral op eerder onderzoek waaruit bleek dat studenten naast de oordelen over de opleiding, ook de overige faciliteiten van de opleiding, de bereikbaarheid van de instelling, de woonsituatie en de studiestad als belangrijke informatie opvatten om een goede studiekeuze te kunnen maken 9. Daarom is ervoor gekozen om een aantal vragen over deze onderwerpen in de conceptvragenlijst op te nemen onder het thema overige faciliteiten en studieomgeving (zie Tabel 55). De conceptvragenlijst is vervolgens in het kader van een live pilot aan een aantal studenten voorgelegd, waarin zij de gelegenheid kregen deze keuze te evalueren. Tabel 55: Overige faciliteiten en studieomgeving Subthema's Overige faciliteiten en studieomgeving: bereikbaarheid instelling Overige faciliteiten en studieomgeving: restauratieve voorzieningen van je instelling Overige faciliteiten en studieomgeving: sportvoorzieningen Overige faciliteiten en studieomgeving: horecavoorzieningen studiestad Overige faciliteiten en studieomgeving: cultureel aanbod studiestad Overige faciliteiten en studieomgeving: beschikbaarheid woonruimte Overige faciliteiten en studieomgeving: betaalbaarheid woonruimte Daarnaast is het de bedoeling om de NSE aan te laten sluiten bij de actuele ontwikkelingen in het hoger onderwijs zoals de sterkere nadruk op wetenschappelijk onderwijs. Er is in de laatste jaren een toenemende aandacht ontstaan voor het ontwikkelen van wetenschappelijke competenties. In de vragenlijsten die geïnventariseerd zijn om te komen tot de groslijst voor het delphi-onderzoek is geen aandacht geweest voor deze competenties. Omdat dit wel een belangrijke ontwikkeling in het onderwijs is, stellen we voor om een module op te nemen waarin studenten een oordeel kunnen geven over het opdoen van deze specifieke competenties binnen hun opleiding (zie Tabel 56). Tabel 56: Academische competenties Subthema's Academische competenties: ontwikkelen van wetenschappelijke theorieën Academische competenties: leren van methoden en technieken Academische competenties: leren schrijven van wetenschappelijke artikelen Academische competenties: kritisch beoordelen wetenschappelijk werk Academische competenties: ondersteuning bij schrijven onderzoeksvoorstel Academische competenties: gelegenheid voor internationale contacten en uitwisseling 9 Warps, J. (2007). Kiezen voor hogeschool en universiteit: Voorlichtinggebruik en keuzeproces van instromende hboen wo-studenten in Nederland, studiejaar Rapportage in opdracht van SURFfoundation op basis van de Instroommonitor; Van den Broek, A. & Wermink, I. (2007). Studiekeuze123.nl: Een onderzoek naar de informatiebehoefte van studenten. Rapportage in opdracht van SURFfoundation 66 Onderzoeksverantwoording v1

67 8 Gebruik van antwoordschalen Naast het bepalen van de inhoud van de nieuwe NSE 2010 is het belangrijk dat er een gefundeerde beslissing wordt genomen over de te gebruiken antwoordschalen. Uit de inventarisatie van de verschillende studentenenquêtes blijkt dat er veel verschil is in antwoordschalen voor studententevredenheidsonderzoek in nationaal en internationaal onderzoek. Dit maakt een keuze op grond van alleen deze inventarisatie lastig. De keuze voor een antwoordschaal is ten eerste afhankelijk van de vraagstelling en van de nuancering die in het antwoord is gewenst. Een vraag naar oordelen vergt een andere antwoordschaal dan bijvoorbeeld een vraag naar frequentie of kenmerken. In de afgelopen jaren zijn in de NSE niet alleen vragen over de tevredenheid van studenten over hun opleiding gesteld, maar is er ook andere informatie in kaart gebracht zoals de tijdbesteding van studenten, studiekosten, en achtergrondinformatie (bijv. vooropleiding). Voor dit soort vragen wordt vaak gebruik gemaakt van antwoordcategorieën op ordinaal (bijv. werkdruk wordt ervaren als: te laag precies goed te hoog) of nominaal niveau (bijv. soort opleiding: bachelor master). Als het gaat om de mening van studenten over de kwaliteit van de opleiding is er echter behoefte aan een meer genuanceerde schaal die een waardering van zeer ontevreden tot zeer tevreden mogelijk maakt. Omdat de gebruikte antwoordschalen in onderzoek naar studententevredenheid in zowel Nederland als in andere Europese landen sterk uiteenlopen, hebben we ervoor gekozen een onderzoek uit te voeren waarin de verschillen tussen mogelijke antwoordschalen in kaart zijn gebracht. Dit onderzoek wordt gebruikt als basis om tot een gefundeerde keuze voor een passende antwoordschaal voor de nieuwe NSE te komen. In dit onderzoek is het verschil in antwoorden op vijf verschillende schalen met elkaar vergeleken: tienpuntschaal ; zespuntschaal ; vijfpuntschaal ; vijfpunt-likertschaal (STO); open rapportcijfer. 8.1 Overzicht Om het effect van verschillende antwoordschalen op de antwoorden van vragen over tevredenheid in kaart te brengen, is aan studenten gevraagd de tevredenheid over hun opleiding te beoordelen op grond van de volgende vragen (clusters uit de NSE 2009): 1 Wat is je algemene oordeel over je opleiding? 2 Wat is je algemene oordeel over de volgende aspecten van jouw opleiding: a. de inhoud van de opleiding; b. de aansluiting bij je vooropleiding; c. de keuzeruimte binnen de opleiding; d. de samenhang binnen de opleiding; e. de werkvormen van de opleiding; f. de mogelijkheid binnen de opleiding om je voor te bereiden op je studie- of beroepsloopbaan; g. de docenten van de opleiding; h. de communicatie door de opleiding; i. de praktische organisatie van de opleiding; j. de geschiktheid van de huisvesting van de opleiding; k. de faciliteiten van de opleiding; l. de sfeer op de opleiding. 67 Onderzoeksverantwoording v1

68 In dit onderzoek kregen studenten deze vragen steeds met een andere antwoordschaal aangeboden (tienpuntschaal; zespuntschaal; vijfpuntschaal; vijfpunt-likertschaal; rapportcijfer). Voor de Likertschaal werd een iets andere formulering gehanteerd die overeenkomt met de formulering uit het STO (bijv, Over het geheel genomen ben ik tevreden over mijn opleiding ; 1=zeer mee oneens; 5=zeer mee eens). Het onderzoek kende een experimentele opzet waarbij de studenten per toeval aan verschillende condities zijn toegewezen. De conditie bepaalde op welke antwoordschaal de studenten de vragen als eerste moesten beantwoorden. Zo kon voor mogelijke anker- en volgorde-effecten van de verschillende schalen gecontroleerd worden. Voor dit experiment is gebruik gemaakt van HetStudentenpanel.nl. Dit panel is een initiatief van ResearchNed. Het geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. In totaal hebben studenten aan dit onderzoek deelgenomen. 8.2 Resultaten Als eerste stap hebben we verkennende factoranalyses (principale componenten methode) over de dertien tevredenheidsvragen uitgevoerd om tot een gezamenlijke meting te komen waarop we de antwoorden konden vergelijken. Uit de factoranalyses bleek dat er op de tienpuntschaal, de vijfpuntschaal, de Likertschaal en op het rapportcijfer alle vragen op één factor laden, met uitzondering van de vragen over huisvesting en faciliteiten. Dit is inhoudelijk verklaarbaar omdat deze twee vragen niet direct betrekking hebben op de tevredenheid over de opleiding, maar over randvoorwaarden van de opleiding. Het vermoeden dat de resterende elf vragen gezamenlijk een schaal vormen voor de tevredenheid over de opleiding wordt door een betrouwbaarheidsanalyse over deze vragen bevestigd (Cronbach s Alpha s: tienpuntschaal : alpha=0,891; vijfpuntschaal : alpha=0,845; Likertschaal: alpha=0,864; zespuntschaal : alpha=0,845; rapportcijfer: alpha=0.891). Van deze elf vragen (algemeen oordeel, inhoud, aansluiting, keuzeruimte, samenhang, werkvormen, loopbaan, docenten, communicatie, praktische organisatie en sfeer) is vervolgens een algemene tevredenheidscore voor elke antwoordschaal berekend. Daarna hebben we de verdeling van de antwoorden over de verschillende schalen bekeken. Hieruit blijkt dat alle antwoordschalen een iets scheve verdeling laten zien. Bij de tienpuntschaal en de rapportcijferschaal is deze scheefheid het grootst. De vijfpuntschaal en de Likertschaal zijn het minst scheef verdeeld. Er tussen in ligt de zespuntschaal (zie Tabel 57 en Figuur 6). 80% 70% 60% 50% 40% 30% 20% 10% 0% punt Rapportcijfers 5-punt Likertschaal 6-punt Figuur 6: Verdeling van de antwoordschalen (%) 68 Onderzoeksverantwoording v1

69 Tabel 57: Statistieken van de antwoordschalen tienpuntschaal vijfpuntschaal Likertschaal zespuntschaal Rapportcijfer N Scheefheid -,883 -,196 -,271 -,404-1,015 Kurtosis 1,586 1,048,348,551 2,206 Gemiddelde 6,6349 3,0692 3,1154 3,8086 6, Conclusies De antwoorden op de vijfpuntschaal en de Likertschaal zijn het minst scheef verdeeld. Daardoor zijn deze antwoordschalen voor de nieuwe NSE het meest geschikt. De sterk scheve verdelingen in de tienpuntschaal en het rapportcijfer zijn te verklaren door het feit dat dit geen neutrale schalen zijn, maar door studenten geïnterpreteerd worden als het rapportcijfersysteem dat in Nederland wordt toegepast waarin het midden van de schaal niet bij 5 (onvoldoende) ligt. Ook als een neutrale tienpuntschaal wordt aangeboden, lijkt deze automatisch door de studenten te worden geïnterpreteerd als een rapportcijfer, zoals blijkt uit de sterke correlatie tussen deze twee antwoordschalen. De interpretatie van de tienpuntschaal als rapportcijfer heeft als nadeel dat de verhoudingen tussen de scores op deze schaal niet als gelijke verschillen kunnen worden begrepen. Het verschil tussen een 5 (onvoldoende) en een 6 (voldoende) is groter dan het verschil tussen een 1 en een 2. Dit maakt de interpretatie van deze scores lastig. Daarnaast kent de tienpuntschaal het probleem dat deze alleen door de Nederlandse studenten als een rapportcijferschaal wordt geïnterpreteerd. Internationale studenten kunnen deze schaal wel als een continue schaal interpreteren, wat tot andere resultaten kan leiden (dit blijkt uit eerdere resultaten van de NSE). Omdat een doel van de NSE is om de vragenlijst internationaal te laten aansluiten adviseren we daarom voor de vernieuwing van de NSE 2010 de tot nu toe gebruikte tienpuntschaal te vervangen door een vijfpuntschaal of zespuntschaal. De twee vijfpuntschalen doen het bijna even goed op de gekozen vragen. Bij de keuze voor een van deze schalen (neutrale schaal of Likertschaal) spelen twee overwegingen een rol. Ten eerste zou hiervoor gekozen kunnen worden om aan te sluiten bij de Likertschaal die in het STO wordt gebruikt. Dit maakt integratie van het STO in de NSE makkelijk. Ten tweede heeft de Likertschaal als voordeel dat deze niet scheef verdeeld is. Deze keuze heeft echter het nadeel dat de Likertschaal gebaseerd is op het gebruik van stellingen met een normatief karakter. De vragen zijn daardoor niet neutraal geformuleerd. Een ander alternatief zou zijn om te kiezen voor een zespuntschaal. De zespuntschaal heeft meer variantie dan de vijfpuntschaal en geeft zo wat meer nuancering aan de resultaten. Aangezien de CHE vragenlijst ook gebruik maakt van een zespuntschaal en het CHE ernaar streeft deze tot internationale standaard te maken zou, met het licht op de internationale aansluiting van de NSE bij het CHE, overwogen kunnen worden om ook gebruik te maken van een zespuntschaal. Tot nu toe vormt het onderzoek van het CHE echter geen internationale standaard en blijkt dat andere grotere tevredenheidonderzoeken in Europa (bijv.: HEFCE in Groot-Brittannië en Ierland en HIS in Duitsland) ook gebruik maken van vijfpuntschalen. Wij adviseren daarom om voor de nieuwe NSE te kiezen voor een neutrale vijfpuntschaal. Dit maakt niet alleen de integratie van het STO in de NSE makkelijk, maar sluit ook aan bij internationaal onderzoek naar studententevredenheid (zie ook Hoofdstuk 10.2). 69 Onderzoeksverantwoording v1

70 8.4 Transformaties tussen antwoordschalen Omdat door een wisseling van een tienpuntschaal naar een neutrale vijfpuntschaal, en van een Likertschaal naar een neutrale vijfpuntschaal trendanalyses niet direct te maken zijn, moeten de scores omgerekend worden. In ons onderzoek naar het gebruik van antwoordschalen binnen de NSE hebben we gekeken welke formules gehanteerd kunnen worden om de verschillende schalen met elkaar te kunnen vergelijken. Om deze transformatieformules te berekenen hebben we een enkelvoudige lineaire regressie (OLS regressie) uitgevoerd op de verschillende schaaltransformaties (tienpunt naar vijfpunt; vijfpunt naar tienpunt; vijfpunt naar Likertschaal; Likertschaal naar vijfpunt). Voor elke van de dertien vragen is een aparte formule berekend (zie Tabel 58). Het gebruik van de regressie maakt het mogelijk een schatting te maken voor het vertalen van de scores van de ene schaal naar de andere. Dit betekent dat een algemeen oordeel, dat gegeven is op een tienpuntschaal in de NSE 2009, door onderstaande formule omgerekend kan worden op een algemeen oordeel dat gegeven is op een vijfpuntschaal in de NSE Om deze transformatieformule te genereren is de score op deze vraag op een tienpuntschaal in dit model ingevoerd als onafhankelijke variabele, en de score op de vijfpuntschaal als afhankelijke variabele. De andere transformatieformules zijn op een soortgelijke manier berekend. De berekende transformatieformules zijn opgenomen in Tabel 58. Ook voor de transformatie naar de zespuntschaal en de rapportcijferschaal zijn formules berekend. Om het overzichtelijk te houden zijn hier alleen de formules opgenomen voor de vergelijking NSE2009- NSE2010 en STO2009-NSE2010. De transformatieformules kunnen gebruikt worden om in de toekomst de resultaten van NSE en STO in de tijd te vergelijken ondanks een trendbreuk in het gebruik van antwoordschalen. De formules zijn alleen geldig voor de in dit onderzoek geteste vragen. Als meer gedetailleerde kennis over de veranderingen gewenst is, dient een vergelijkbaar onderzoek te worden uitgevoerd waarin alle vragen zijn opgenomen. Tabel 58: Transformatie schema voor de verschillende antwoordschalen Cluster Algemeen oordeel Inhoud Aansluiting Keuzeruimte Samenhang Werkvormen Studie- of beroepsloopbaan Docenten 10-punt 5-punt 5-punt= 0,865+0,404*10- punt 5-punt= 0,951+0,384*10- punt 5-punt= 0,568+0,416*10- punt 5-punt= 0,489+0,431*10- punt 5-punt= 0,762+0,398*10- punt 5-punt= 0,537+0,425*10- punt 5-punt= 0,352+0,441*10- punt 5-punt= 0,287+0,467*10- punt 5-punt 10-punt 10-punt= 1,112+1,640*5-punt 10-punt= 1,483+1,536*5-punt 10-punt= 0,679+1,686*5-punt 10-punt= 0,945+1,616*5-punt 10-punt= 1,535+1,475*5-punt 10-punt= 1,215+1,569*5-punt 10-punt= 0,775+1,688*5-punt 10-punt= 0,673+1,761*5-punt 5-punt Likertschaal Likertschaal= 0,285+0,969*5-punt Likertschaal= 0,648+0,834*5-punt Likertschaal= 0,440+0,872*5-punt Likertschaal= 0,594+0,819*5-punt Likertschaal= 0,921+0,744*5-punt Likertschaal= 1,203+0,658*5-punt Likertschaal= 0,687+0,791*5-punt Likertschaal= 0,460+0,882*5-punt Likertschaal 5-punt 5-punt= 1,575+0,565* Likertschaal 5-punt= 1,360+0,641* Likertschaal 5-punt= 0,911+0,731* Likertschaal 5-punt= 0,845+0,756* Likertschaal 5-punt= 1,058+0,701* Likertschaal 5-punt= 1,521+0,574* Likertschaal 5-punt= 1,263+0,634* Likertschaal 5-punt= 1,002+0,725* Likertschaal 70 Onderzoeksverantwoording v1

71 Cluster Communicatie 10-punt 5-punt 5-punt= 0,343+0,434*10- punt 5-punt 10-punt 10-punt= 0,374+1,808*5-punt 5-punt Likertschaal Likertschaal= 0,729+0,797*5-punt Likertschaal 5-punt 5-punt= 0,685+0,761* Likertschaal Praktische organisatie 5-punt= 0,512+0,417*10- punt 10-punt= 0,662+1,736*5-punt Likertschaal= 0,618+0,819*5-punt 5-punt= 0,682+0,786* Likertschaal Huisvesting 5-punt= 0,437+0,442*10- punt 10-punt= 1,006+1,661*5-punt Likertschaal= 0,753+0,804*5-punt 5-punt= 0,670+0,808* Likertschaal Faciliteiten 5-punt= 0,202+0,467*10- punt 10-punt= 0,695+1,739*5-punt Likertschaal= 0,545+0,851*5-punt 5-punt= 0,855+0,762* Likertschaal Sfeer 5-punt= 0,418+0,456*10- punt 10-punt= 1,008+1,705*5-punt Likertschaal= 0,640+0,855*5-punt 5-punt= 0,798+0,791* Likertschaal 8.5 Kwalitatieve analyse De aan de hand van de resultaten uit het delphi-onderzoek opgezette conceptlijst is uitgewerkt naar een conceptvragenlijst. Hiervoor zijn allereerst, gebaseerd op relevante kennis uit de literatuur 10, de volgende criteria opgesteld die de basis vormen voor de ontwikkeling van de vragensets: 1 Contextgebondenheid: - vragen gaan over de belevingswereld van studenten in het hoger onderwijs in Nederland; - vragen sluiten aan bij actuele ontwikkelingen in het hoger onderwijs (bijvoorbeeld BaMa-structuur, onderwijskundige ontwikkelingen); - vragen sluiten aan bij internationale standaarden. 2 Taalgebruik: - er wordt maar één onderwerp tegelijk behandeld; - vragen en antwoorden zijn maar voor één uitleg vatbaar; - taalgebruik is eenduidig en niet ingewikkeld; - vragen zijn zo neutraal mogelijk geformuleerd; - er worden niet zomaar kennis en feiten als bekend verondersteld; - de vragen zijn niet normatief van aard. 3 Meetniveau en antwoordcategorieën: - het meetniveau past bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de inhoud van de vraag; - de antwoordcategorieën sluiten aan bij de internationale standaard; - het aantal antwoordcategorieën blijft over de vragen heen zo stabiel mogelijk. 8.6 Contextgebondenheid en taalgebruik Alle items uit de conceptlijst zijn op basis van de bovengenoemde criteria bekeken en vervolgens uitgewerkt naar een vragenlijst. Aan de hand van deze evaluatie bleek een aantal items gesplitst of anders geformuleerd te moeten worden. Van een aantal items bleek ook dat zij een te grote inhoudelijke overlap hadden met andere items. Gezien de tijdrestricties die zijn aangenomen voor de duur van de nieuwe vragenlijst adviseren wij deze items niet op te nemen. Hierdoor zijn de volgende items aangepast of verwijderd: 10 Baarda, D.B., & De Goede, M.P.M. (1997). Basisboek Methoden en Technieken. Stenfert Kroese. Dijkstra, W. & Smit, J. (1999). Onderzoek met vragenlijsten. Amsterdam: Vu uitgeverij. t Hart, H., Boeije, H. & Hox, J. (2005). Onderzoeksmethoden. Amsterdam: Boom Onderwijs. 71 Onderzoeksverantwoording v1

72 Voor het item voorbereiding beroepsloopbaan: contact met praktijk en arbeidsmarkt is geconstateerd dat twee onderwerpen tegelijk gevraagd werden. Er is daarom gekozen dit item te splitsen in de mate waarin je opleiding praktijkgericht is en de mate waarin er binnen je opleiding contact is met de arbeidsmarkt. Het item kwaliteit van docenten: betrokkenheid bleek bij nadere analyse ingewikkeld in de interpretatie en niet eenduidig. Heeft de betrokkenheid van de docent betrekking op het vak, de student of de instelling? En is de student überhaupt in staat om een oordeel te geven over de betrokkenheid van de docent bij zijn vak? Gezien dit item voor meerdere interpretaties vatbaar is en het niet duidelijk is of de student de juiste persoon is om hier een goed oordeel over te kunnen geven is besloten dit item niet op te nemen in de vragenlijst. Het item kwaliteit van docenten: contact bleek bij nadere analyse grote inhoudelijke overlap te vertonen met het item kwaliteit van docenten: bereikbaarheid. Er is daarom besloten dit item niet op te nemen in de vragenlijst. Het item kwaliteit van docenten: kennis praktijk bleek bij nadere analyse grote inhoudelijk overlap te vertonen met het item kwaliteit van docenten: deskundigheid. Daarom is ervoor gekozen dit item niet op te nemen in de vragenlijst. Bij nadere inhoudelijke analyse bleek het item studielast: aantal uur besteed per week niet aan te sluiten bij de context van de vragenlijst. Dit item vraagt naar de tijd die studenten aan hun studie besteden en niet naar een oordeel over de ervaren studielast. Omdat er twee vragen zijn die expliciet vragen naar een oordeel over de studielast (spreiding studielast en haalbaarheid studie) is besloten om dit item niet op te nemen in de vragenlijst. Het item studiebegeleiding: advies studieadviseur vertoont een grote inhoudelijke overlap met het item studiebegeleiding: kwaliteit begeleiding en is daarom niet opgenomen in de vragenlijst. 8.7 Meetniveau en antwoordcategorieën De formulering van de vragen hangt mede af van de gebruikte antwoordschaal. Voor de nieuwe NSE adviseren wij om gebruik te maken van een neutrale vijfpuntschaal. De keuze voor deze antwoordschaal is toegelicht in hoofdstuk 8 en in hoofdstuk 8.8. Voor de formulering van de antwoordcategorieën is het belangrijk dat deze aansluit bij het doel van de vragenlijst. De NSE heeft als doel om de tevredenheid van studenten over een aantal aspecten van hun studie te meten. De meest directe en duidelijke manier om dit te meten is door de studenten te vragen hoe tevreden zij zijn over deze aspecten. Op een vijfpuntschaal adviseren we daarom de volgende schaalankers: Zeer Zeer ontevreden tevreden N.v.t. a.... We adviseren tevens om gebruik te maken van de categorie niet van toepassing (N.v.t.). De reden hiervoor is dat niet bekend is of alle aspecten voor alle opleidingen gelden of dat iedere student hiervan op de hoogte is. Het kan bijvoorbeeld zijn dat niet iedere student contact zoekt met de studieadviseur of dat de student op het tijdstip van de bevraging nog geen stage heeft gelopen. Tenzij het niet helemaal zeker is dat elk van de items op iedereen van toepassing is, wordt aangeraden deze optie als extra antwoordcategorie op te nemen. Dit voorkomt dat studenten die geen specifieke mening over een bepaald aspect hebben of niet zeker weten of dit aspect op hun opleiding van toepassing is, kiezen voor de middencategorie of afhaken en zo de betrouwbaarheid van de resultaten beïnvloeden. De vragen voor de nieuwe NSE zijn zo geformuleerd dat zij aansluiten bij deze schaalankers. Een voorbeeld voor de formulering van de vragen is: 72 Onderzoeksverantwoording v1

73 De volgende vragen gaan over jouw algemeen oordeel ten aanzien van een aantal deelaspecten van je studie. Geef aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie: Zeer ontevreden Zeer tevreden N.v.t. a. De inhoud van de opleiding b. De studiebegeleiding Op deze wijze is ervoor gezorgd dat zowel het meetniveau als ook het aantal en de formulering van de antwoordcategorieën aansluiten bij de inhoud van de vragen en bij (inter)nationale standaarden. Tevens zijn de antwoordcategorieën over alle vragen heen identiek. 8.8 Live pilot onder studenten De eerste conceptvragenlijst is vervolgens getest onder de doelgroep (studenten). Het primaire doel hiervan was om na te gaan of de gekozen hoofd- en subthema s ook aansluiten bij de behoefte van de student, of de vragen duidelijk en niet multi-interpretabel zijn, of de vragen qua formulering aansluiten bij de belevingswereld en terminologie van studenten en of de doelgroep (studenten) de vragenlijst interpreteert zoals bedoeld. Daarnaast gaf de test ook een eerste indicatie van de gemiddelde invultijd. Voor het testen van de vragenlijst zijn 500 studenten van verschillende universiteiten en hogescholen in Nederland benaderd met de vraag of zij wilden deelnemen aan een groepsgesprek waarin de nieuwe vragenlijst besproken zou worden. Omdat de NSE ook moet aansluiten bij de behoeftes van internationale studenten was hiervoor ook een aantal internationale studenten uitgenodigd. In totaal waren zes studenten bereid om aan de live pilot mee te doen. De studenten kwamen van verschillende instellingen en opleidingen (sociologie RU Nijmegen, pedagogiek Fontys Eindhoven, biologie RU Nijmegen, sociologie UU Utrecht, hoger toeristisch en recreatief onderwijs Saxion Deventer, European studies UT Twente). Twee studenten waren internationale studenten uit Duitsland, de andere vier waren Nederlandse studenten. Enkele dagen voor de bijeenkomst hebben de studenten de conceptvragenlijst ontvangen met de vraag deze in te vullen, de invultijd bij te houden en eventuele opmerkingen op te schrijven en mee te nemen naar de bijeenkomst. Tijdens de bijeenkomst is de studenten allereerst gevraagd naar hun algemene indruk van de vragenlijst en de tijd die het hen kostte deze in te vullen. Vijf studenten gaven aan dat ze ongeveer tien minuten nodig hadden om de vragenlijst in te vullen. Een student was ongeveer 20 minuten bezig met het invullen, maar gaf aan dat dit vooral te maken had met het feit dat hij zijn commentaar tijdens het invullen had uitgewerkt en anders waarschijnlijk ook niet langer dan tien minuten hiervoor nodig had gehad. Over het algemeen was de indruk van de studenten over de vragenlijst zeer positief. De vragenlijst was volgens de studenten helder en volledig. Wel hadden zij het gevoel dat sommige onderwerpen dubbel werden gevraagd en dat sommige vragen beter en/of anders geformuleerd konden worden. Hierna zijn alle vragen één voor één behandeld en is aan de studenten gevraagd hierop hun mening te geven en eventueel aanvullingen aan te dragen. Algemene oordelen Bij het kopje Algemene oordelen gaven de studenten aan dat de verwoording Kwaliteit van de docenten aan je opleiding voor hen niet helemaal duidelijk was en beter wat algemener verwoord zou kunnen worden als: De docenten aan je opleiding. Het item de wijze van toetsing en beoordeling werd door de studenten als te smal ervaren en impliceert dat het alleen gaat om de toetsingsvormen en niet over de gehanteerde criteria, terwijl dit in het thema later wel aan bod komt. Er is daarom samen met de studenten ervoor gekozen het item als volgt te verwoorden: Toetsing en beoordeling (bijv. criteria van beoordeling en vormen van toetsing). 73 Onderzoeksverantwoording v1

74 De inhoud van de opleiding Het item de aansluiting van de inhoud bij de doelstellingen van de opleiding was voor de studenten onduidelijk. Maar één van de zes studenten gaf aan op de hoogte te zijn van de officiële doelstellingen van de opleiding. Wel gaven de studenten aan een eigen idee over de doelstellingen van de opleiding te hebben. Het werd daarom door de studenten voorgesteld dit item als volgt te verwoorden: De mate waarin de inhoud aansluit bij het beeld dat je van je opleiding hebt. De studenten gaven aan dat zij binnen dit thema een vraag misten over de mogelijkheid om zelf invulling te geven aan de inhoud van de opleiding (bijv. door het kiezen van bepaalde vakken) en stelden voor het volgende item op te nemen: De mate waarin de opleiding je de mogelijkheid biedt om zelf de inhoud te bepalen. Opgedane competenties De studenten vonden het begrip competenties geen goede keuze omdat dit vaak voor zeer specifieke vaardigheden binnen hun opleiding wordt gebruikt en daardoor andere verwachtingen in de lezer oproept dan de in de NSE gevraagde competenties. Ze stelden daarom voor de benaming van dit thema te veranderen in verworven vaardigheden. Volgens de studenten vertoonden de items de mate waarin je het aanpakken en analyseren van complexe problemen leert en de mate waarin je probleemoplossende vermogens opdoet een grote overlap. We stellen daarom voor om alleen één van deze items op te nemen. Voorbereiding op de beroepsloopbaan Het item de mate waarin je opleiding gericht is op de onderzoek/beroepspraktijk bleek niet duidelijk geformuleerd. De studenten stelden de mate waarin je opleiding praktijkgericht is voor als een duidelijker alternatief. Voor sommige studenten was de betekenis van het item de mate waarin er binnen je opleiding contact is met de arbeidsmarkt niet helemaal duidelijk. Volgens hen zou het toevoegen van een aantal voorbeelden van een dergelijk contact (bijv. stages, gastsprekers) dit probleem oplossen. De kwaliteit van de docenten van de opleiding Voor het kopje van dit thema werd voorgesteld de titel wat algemener te houden: De docenten aan je opleiding. Verder vonden de studenten (alle vragen van) dit thema duidelijk en volledig. Informatie vanuit de instelling Het item het tijdig bekend maken van resultaten en beoordelingen zou volgens de studenten beter verschoven kunnen worden naar het thema: toetsing en beoordeling. Onderwijsvoorzieningen De studenten waren van mening dat een vraag enkel naar de beschikbaarheid van werkplekken niet zo belangrijk is, omdat die er vaak wel zijn. De beschikbaarheid van geschikte werkplekken is echter volgens hen een belangrijke vraag. Zij stellen daarom voor dit item aan te passen. Bovendien zouden zij een verduidelijking door het toevoegen van een aantal voorbeelden zeer op prijs stellen. Wij stellen daarom voor het item als volgt te verwoorden: de beschikbaarheid van geschikte werkplekken (bijv. computers, studieruimten). ICT-faciliteiten is volgens de studenten een gebruikelijkere verwoording dan computer- en netwerkfaciliteiten. Wijze van toetsing en beoordeling De verwoording is volgens de studenten misleidend en wordt veranderd in toetsing en beoordeling (zie kopje algemene oordelen ). 74 Onderzoeksverantwoording v1

75 Zoals besproken bij het kopje informatie vanuit de instelling wordt het item het tijdig bekend maken van resultaten en beoordelingen naar dit thema verschoven. Studieroosters De studenten vonden dat het in deze context ook belangrijk is te vragen hoe de studielast wordt verdeeld en stelden voor het volgende item aan de vragenlijst toe te voegen de spreiding van contacturen over de studieweek. Studielast De studenten merkten op dat het bij hun opleiding soms onduidelijk is wat de verhouding tussen de studielast en ECTS is. Soms is de studielast heel hoog, maar levert het weinig punten op, terwijl je op andere momenten juist heel weinig hoeft te doen om je punten te halen. De studenten stelden daarom voor om een extra item op te nemen dat door hen in deze context als belangrijk werd ervaren, namelijk de match tussen ECTS en de daadwerkelijke studielast. Studiebegeleiding Omdat niet elke student gebruik maakt van studiebegeleiding, vonden de studenten de verwoording de mogelijkheid tot begeleiding beter geschikt dan de mate van begeleiding. Internationale studenten Zowel de Nederlandse als de internationale studenten waren het niet met de deskundigen vanuit de instellingen eens en vonden het belangrijk om dit thema op te nemen in de NSE. De studenten gaven wel aan dat de gegeven voorbeelden bij het item geboden hulp door de opleiding beter weggelaten konden worden omdat dit de draagwijdte van de vraag beperkt en het item ook zonder de voorbeelden duidelijk is. De studenten waren het er wel mee eens dat de twee voorgestelde items de meest belangrijke zijn in deze context. Opgedane academische competenties Zowel de hbo- als ook de wo-studenten vonden dit thema een belangrijke aanvulling voor de NSE. Verder vonden ze verworven wetenschappelijke vaardigheden een betere verwoording voor dit thema. De studenten merkten op dat bij het item de mate waarin je leert om wetenschappelijke theorieën te evalueren en te ontwikkelen in feite naar twee vaardigheden gevraagd wordt, waarbij het evalueren van wetenschappelijk werk ook in het latere item de mate waarin je leert om wetenschappelijk werk kritisch te beoordelen terugkomt. We stellen daarom voor dit item te veranderen in: de mate waarin je leert om wetenschappelijke theorieën te ontwikkelen. Overige voorzieningen en studieomgeving Studenten gaven aan de overige voorzieningen en de studieomgeving een belangrijk thema te vinden voor het kiezen van een studie. De studenten vonden met name de bereikbaarheid van de instelling belangrijk en stelden voor dit item vooraan in de lijst te plaatsen. Verder vonden ze de hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden) een belangrijke vraag om extra op te nemen in de nieuwe NSE. Sfeer Bij het thema sfeer wordt het onderscheid tussen de sfeer op de opleiding en de sfeer binnen de instelling door de studenten als lastig ervaren. Volgens de studenten zou beter alleen naar de sfeer op de opleiding gevraagd kunnen worden omdat dit voor hen het meest bepalend is voor de sfeer die zij ervaren tijdens hun studie. 75 Onderzoeksverantwoording v1

76 De conceptvragenlijst is naar aanleiding van deze live-pilot uitgewerkt tot een definitieve conceptvragenlijst. Het voorstel voor de nieuwe vragenlijst bevat nu vijftien thema s en 74 vragen. Het eerste thema bevat algemene oordelen over thema s die later in de lijst aan bod komen. Op basis van reacties uit het deskundigenpanel en de begeleidingsgroep NSE is de vragenlijst vervolgens nog iets aangepast (zie Bijlage B). 76 Onderzoeksverantwoording v1

77 9 Validatie Validiteit heeft betrekking op de juistheid van de gegevens. Valide waarnemingen geven juiste uitkomsten. Uitkomsten zijn onjuist als zij bijvoorbeeld systematisch een te hoge of te lage waarde hebben, of als zij een andere eigenschap meten dan de bedoelde. Validiteit verwijst naar zaken als integriteit, correctheid en consistentie. Om zicht te krijgen op de validiteit van de gegevens is bij de vernieuwing van de NSE een aantal stappen ondernomen: 1 Allereerst is de relevantie van de hoofd- en subthema s getoetst door de vragenlijst voor te leggen aan deskundigen en gebruikers met als doel te komen tot inhoudelijke overeenstemming over de op te nemen thema s (delphi-onderzoek onder deskundigen en gebruikers); 2 Daarna is de lijst door de doelgroep (studenten) kwalitatief beoordeeld (live pilot onder studenten); 3 Tenslotte is een kwantitatieve validatie uitgevoerd door middel van een grootschalig onderzoek onder studenten. Aan de hand van de resultaten van deze pilot is onderzocht of de vragen over de verschillende thema s inderdaad verschillende aspecten meten en is gekeken naar de wijze waarop deze met elkaar samenhangen. Om zicht hier op te krijgen is geanalyseerd of de structuur van de vragenlijst is zoals deze is bedoeld en of een betrouwbare clustering mogelijk is. Voor de kwantitatieve evaluatie van de vragenlijst is gebruik gemaakt van HetStudentenpanel. Dit panel is een initiatief van ResearchNed en geeft een goede afspiegeling van de Nederlandse studentenpopulatie in hbo en wo. Alle studenten uit dit panel zijn per uitgenodigd om de nieuwe NSE in te vullen. In totaal volden studenten de vragenlijst volledig in. Voor dit onderzoek is de conceptvragenlijst geprogrammeerd en uitgezet als een internetenquête. De modules handicap+studie en internationale studenten zijn hierin niet meegenomen. De module handicap+ studie is uit de oude vragenlijst overgenomen en dus al uitgebreid getest. De module internationale studenten is in een apart onderzoek 11 nader onderzocht. 9.1 Hoofdcomponentenanalyse Om zicht te krijgen op de structuur van de vragenlijst is als eerste stap een verkennende principale componentenanalyse met varimax-rotatie (hoofdcomponentenanalyse) op alle items van de dertien geteste basismodules uitgevoerd. De module Algemene oordelen is hierbij even buiten beschouwing gelaten omdat deze qua niveau en onderlinge samenhang verschilt van de andere modules. Principale componentenanalyse is een veelgebruikte multivariate statistische techniek die voor een groot aantal geobserveerde variabelen een kleiner aantal achterliggende variabelen identificeert. Deze niet geobserveerde, achterliggende variabelen worden factoren of in het geval van de hoofdcomponentenanalyse componenten genoemd. Factoranalyse wordt gebruikt om inzicht te krijgen in de structuur van de data. De huidige analyse is gebaseerd op het criterium dat de eigenwaarde boven de 1 ligt. De eigenwaarde geeft aan hoeveel additionele variantie door de extra factor wordt verklaard. Omdat het hier gestandaardiseerde variabelen betreft, voegt elke extra factor een variantie van 1 toe. Factoren met een eigenwaarde van minder dan 1 verklaren minder variantie dan ze zelf toevoegen. 11 Internationale studenten in de NSE. Onderzoek door ResearchNed in opdracht van Studiekeuze Onderzoeksverantwoording v1

78 Tabel 59: Factoroplossing voor de 13 basismodules Item Component Begeleiding docenten 0,73 0,15 0,21 0,14 0,15 0,17 0,18 0,17 0,02 0,14 0,10 0,03 0,13 Betrokkenheid docenten 0,72 0,11 0,27 0,08 0,10 0,18 0,18 0,18-0,01 0,08 0,05 0,00 0,08 Feedback docenten 0,69 0,13 0,23 0,16 0,21 0,16 0,11 0,09 0,03 0,14 0,12 0,01 0,09 Docenten inspirerend 0,69 0,16 0,18 0,16 0,30 0,14 0,20 0,06 0,05 0,12 0,06-0,01-0,04 Didactiek docenten 0,66 0,17 0,14 0,21 0,25 0,16 0,13 0,02 0,12 0,11 0,10 0,03-0,07 Deskundigheid docenten 0,65 0,12 0,19 0,19 0,31 0,13 0,01-0,02 0,16 0,08 0,13-0,01-0,09 Bereikbaarheid docenten 0,65 0,15 0,17 0,15 0,06 0,15 0,17 0,18 0,00 0,16 0,14 0,05 0,08 Kennis beroepspraktijk docenten 0,65 0,17 0,23 0,12 0,27 0,14 0,04-0,02 0,17 0,06 0,05-0,01-0,08 Kwaliteit begeleiding 0,55 0,24 0,27 0,20 0,03 0,14 0,19 0,29 0,03 0,10 0,05 0,03 0,29 Mogelijkheid tot begeleiding 0,52 0,22 0,26 0,17 0,01 0,19 0,17 0,27 0,04 0,14 0,07 0,03 0,31 Informatie resultaten en beoordelingen 0,35 0,24 0,10 0,18 0,15 0,14 0,30 0,28-0,06 0,30 0,25 0,05 0,02 Geschiktheid werkplekken 0,16 0,82 0,10 0,12 0,12 0,12 0,11 0,19 0,10-0,01 0,04 0,05-0,08 Beschikbaarheid werkplekken 0,16 0,78-0,05 0,13 0,10 0,10 0,15 0,14-0,02-0,03 0,13 0,08-0,06 Geschiktheid onderwijsruimten 0,14 0,75 0,13 0,08 0,18 0,12 0,13 0,18 0,11-0,01 0,05 0,01-0,11 ICT faciliteiten 0,14 0,74 0,09 0,12 0,02 0,08 0,13-0,03 0,05 0,20 0,11 0,08 0,13 Bibliotheek/mediatheek 0,11 0,63 0,11 0,07 0,18 0,10-0,04 0,00 0,13 0,22 0,10 0,07 0,30 Digitale leeromgeving 0,14 0,60 0,16 0,13 0,10 0,04 0,11 0,04 0,07 0,32 0,16 0,11 0,22 Opleidingsmateriaal 0,33 0,55 0,16 0,15 0,26 0,14 0,11 0,13 0,13 0,14 0,08 0,04 0,04 Informatiebalie 0,18 0,48 0,22 0,03 0,02 0,13 0,13 0,03 0,13 0,41 0,14 0,13 0,24 Studentenadministratie 0,21 0,40 0,14 0,08 0,03 0,05 0,08 0,03 0,15 0,39 0,28 0,14 0,24 Communicatieve vaardigheden 0,22 0,09 0,73 0,06 0,14 0,18 0,08 0,08 0,12 0,07 0,04 0,00 0,11 Probleemoplossende vermogens 0,23 0,09 0,68 0,24 0,14 0,15 0,09 0,09 0,11 0,12 0,03-0,02-0,02 Onderbouwen conclusies 0,25 0,09 0,67 0,34 0,16 0,09 0,13 0,00 0,11 0,13 0,09-0,04-0,01 Samenwerken met anderen 0,19 0,07 0,67 0,05 0,18 0,17 0,04 0,14 0,08 0,04 0,08 0,07 0,17 Kritische houding 0,27 0,12 0,61 0,20 0,17 0,08 0,13 0,03 0,10 0,13 0,06 0,05-0,08 Functioneren professionele context 0,25 0,11 0,59 0,19 0,20 0,28 0,10 0,08 0,09 0,17 0,08 0,02-0,05 Argumenteren/redeneren 0,25 0,07 0,57 0,42 0,20 0,06 0,14-0,04 0,13 0,02 0,09 0,03 0,00 Contact met medestudenten 0,31 0,16 0,34-0,08 0,20 0,06 0,12 0,12 0,26-0,15-0,01 0,05 0,27

79 Item Component Ontwikkelen wetenschappelijke theorieën 0,15 0,10 0,09 0,80 0,16 0,04 0,14 0,02 0,04 0,09 0,10 0,00 0,08 Schrijven wetenschappelijke artikelen 0,15 0,14-0,01 0,79 0,10 0,08 0,14 0,11 0,02 0,10 0,09 0,08 0,08 Beoordelen wetenschappelijk werk 0,20 0,09 0,20 0,75 0,18 0,04 0,10-0,02 0,12 0,10 0,11 0,02 0,01 Methoden en technieken 0,16 0,11 0,20 0,72 0,08 0,10 0,05 0,17 0,11 0,04-0,01 0,08 0,00 Analytisch denken 0,21 0,06 0,35 0,58 0,28-0,02 0,14-0,01 0,06 0,10 0,13-0,01-0,07 Zelfstandig onderzoek 0,10 0,18 0,32 0,57 0,11 0,15 0,06 0,12 0,07 0,06 0,08 0,05 0,06 Niveau opleiding 0,20 0,13 0,29 0,25 0,65 0,11 0,12 0,08 0,04 0,06 0,16 0,01 0,08 Aansluiting inhoud bij verwachting 0,23 0,14 0,26 0,15 0,62 0,19 0,15 0,15 0,08 0,15 0,09 0,02 0,00 Opleiding stimulerend 0,34 0,15 0,23 0,22 0,61 0,16 0,16 0,13 0,04 0,18 0,07 0,01 0,03 Kwaliteit studiemateriaal 0,35 0,22 0,17 0,23 0,53 0,15 0,08 0,13 0,09 0,16 0,15-0,04 0,15 Samenhang tussen onderdelen 0,30 0,18 0,19 0,18 0,53 0,24 0,14 0,14 0,05 0,10 0,05-0,04 0,12 Aansluiting inhoud actuele ontwikkelingen 0,34 0,14 0,25 0,19 0,49 0,24 0,05 0,08 0,08 0,04 0,03 0,00 0,06 Gehanteerde werkvormen 0,27 0,16 0,24 0,17 0,47 0,23 0,16 0,22 0,05 0,09 0,04-0,06 0,17 Aansluiting bij vooropleiding 0,17 0,12 0,12 0,16 0,36-0,02 0,00 0,21 0,10 0,14 0,10 0,11-0,28 Mogelijkheid inhoud te bepalen 0,25 0,24 0,10 0,19 0,33 0,09 0,23 0,25-0,03 0,12-0,02 0,07 0,29 Contact beroepspraktijk 0,27 0,13 0,17 0,06 0,13 0,79 0,06 0,08 0,04 0,09 0,10 0,06 0,00 Praktijkgerichtheid 0,22 0,14 0,25 0,01 0,21 0,76 0,09 0,11 0,12 0,09 0,06-0,02-0,03 Vaardigheden voor beroepspraktijk 0,26 0,16 0,26 0,09 0,16 0,74 0,09 0,09 0,12 0,11 0,07-0,04 0,00 Aansluiting stages 0,30 0,17 0,12 0,19 0,22 0,61 0,12 0,11 0,05 0,12 0,09 0,10 0,27 Kwaliteit stagebegeleiding 0,42 0,14 0,11 0,21 0,12 0,44 0,23 0,09 0,06 0,09 0,11 0,06 0,22 Gebruik onderwijsevaluaties 0,20 0,16 0,14 0,14 0,13 0,10 0,80 0,13 0,03 0,12 0,17 0,10 0,02 Informatie onderwijsevaluaties 0,20 0,18 0,15 0,16 0,14 0,11 0,78 0,12 0,07 0,08 0,17 0,09 0,06 Reactie klachten en problemen 0,29 0,17 0,11 0,21 0,11 0,11 0,65 0,19 0,05 0,20 0,19 0,03 0,01 Onderwijsevaluaties 0,29 0,17 0,29 0,14 0,16 0,12 0,63 0,08 0,13 0,11 0,05 0,10 0,05 Haalbaarheid deadlines 0,14 0,10 0,11 0,02 0,10 0,10 0,09 0,76 0,14 0,13 0,16 0,08 0,03 Spreiding studielast 0,15 0,12 0,07 0,09 0,17 0,09 0,13 0,74 0,10 0,11 0,18 0,02 0,05 Aansluiting ECTS bij studielast 0,17 0,19 0,05 0,15 0,19 0,09 0,15 0,67 0,11 0,15 0,14 0,15 0,04

80 Item Component Cultureel aanbod studiestad 0,03 0,05 0,15 0,08 0,02 0,10 0,04 0,04 0,85 0,06 0,00-0,07 0,00 Horecavoorzieningen studiestad 0,09 0,07 0,18 0,07 0,01 0,06-0,02 0,04 0,84 0,09 0,01-0,05-0,01 Hoeveelheid groen studiestad 0,03 0,08 0,01 0,11 0,03 0,06 0,10 0,22 0,62-0,09 0,03 0,22-0,03 Bereikbaarheid instelling 0,12 0,11 0,27-0,01 0,18 0,09 0,00 0,05 0,49 0,18 0,17 0,05 0,11 Sportvoorzieningen 0,07 0,19-0,13 0,16 0,04-0,17 0,31 0,04 0,37 0,07 0,07 0,15 0,27 Informatie regels en procedures 0,21 0,18 0,11 0,21 0,20 0,11 0,20 0,21 0,09 0,61 0,12 0,09 0,03 Informatie studievoortgang 0,25 0,20 0,15 0,21 0,18 0,19 0,14 0,20 0,13 0,57 0,10 0,05 0,13 Voorlichting opleiding 0,24 0,22 0,22 0,15 0,25 0,15 0,22 0,18 0,08 0,47 0,06 0,08 0,03 Duidelijkheid beoordelingscriteria 0,30 0,23 0,21 0,13 0,18 0,17 0,16 0,29 0,02 0,44 0,12 0,08-0,13 Aansluiting toetsing en beoordeling 0,30 0,18 0,19 0,13 0,34 0,17 0,13 0,29 0,09 0,43 0,11 0,10-0,11 Informatie roosters 0,11 0,19 0,10 0,17 0,08 0,06 0,11 0,12 0,07 0,05 0,81 0,00 0,04 Informatie wijzigingen roosters 0,16 0,17 0,07 0,13 0,10 0,09 0,19 0,16 0,03 0,10 0,79 0,06 0,04 Geschiktheid studierooster 0,18 0,16 0,12 0,08 0,14 0,13 0,18 0,23 0,08 0,16 0,67 0,06 0,00 Betaalbaarheid woonruimte 0,03 0,12 0,01 0,07-0,01 0,05 0,13 0,13 0,03 0,09 0,03 0,90 0,06 Beschikbaarheid woonruimte -0,01 0,16 0,04 0,07 0,01 0,01 0,07 0,06 0,10 0,08 0,06 0,90 0,04 Restauratieve voorzieningen 0,06 0,24 0,04 0,11 0,19 0,05 0,08 0,03 0,40 0,11 0,13 0,17 0,41 Internationale contacten/uitwisseling 0,22 0,17 0,18 0,21 0,19 0,28 0,03 0,16 0,05 0,13 0,06 0,15 0,40

81 Uit de resultaten van de factoranalyse komen dertien verschillende componenten in de vragenlijst naar voren. Bijna alle items die horen bij een bepaalde module laden op een aparte component. Vijf items zijn anders verdeeld dan verwacht en twee modules laden samen op een andere component dan verwacht (deze zijn cursief gedrukt). De module Docenten van de opleiding laadt samen met Studiebegeleiding op één component. Wellicht is een goede begeleiding sterk gerelateerd aan de kwaliteit van de docenten van een opleiding. Daarnaast laden ook de module Toetsing en beoordeling en de module Informatie vanuit de opleiding samen op een component. Een verklaring hiervoor zou kunnen zijn dat beide modules een informatieaspect bevatten. Het item Informatie resultaten en beoordelingen laadt niet samen met de andere twee items van deze module op een gemeenschappelijke component, maar blijkt sterk gerelateerd aan de kwaliteit van de docent. De vraag is of dit item verschoven moet worden naar deze module of dat het misschien alsnog een betrouwbare schaal samen met de andere twee items vormt. In de volgende paragraaf waarin gekeken wordt naar de betrouwbaarheid van de schalen is dit aspect verder onderzocht. Het item Argumenteren/redeneren laadt iets sterker op de component Algemene vaardigheden dan op de component Wetenschappelijk vaardigheden. Ook hier zal aan de hand van betrouwbaarheidsanalyses de plaats van dit item heroverwogen worden. Hetzelfde geldt voor de items: Contact met medestudenten, Restauratieve voorzieningen en Internationale contacten/uitwisseling. Ook deze items laden niet op de vooraf bepaalde modules en kunnen op basis van deze factoroplossing heroverwogen moeten worden. 9.2 Betrouwbaarheidsanalyses Om de interne consistentie van de vragenlijst te meten hebben we vervolgens een aantal betrouwbaarheidsanalyses uitgevoerd op de verschillende modules. De interne consistentie van een module is groot, als alle hierin opgenomen vragen hetzelfde algemene kenmerk meten. Om dit vast te stellen hebben we gebruik gemaakt van de Cronbach s alpha. Als vuistregel wordt vaak gehanteerd dat een vragenlijst of module voldoende betrouwbaar is bij een alpha van 0,70 of hoger. Aan het begin van de vragenlijst worden de thema s als aparte vragen aan de studenten gesteld. Deze module ( Algemeen oordeel ) heeft een alpha van 0,90 (zie Tabel 60) en is voldoende betrouwbaar. verwijdering van één van de items verhoogt de betrouwbaarheid niet. Tabel 60: Betrouwbaarheid van module Algemeen oordeel Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Totaaloordeel opleiding 3,79 0,80 0,89 Inhoud opleiding 3,80 0,80 0,89 Algemene vaardigheden 3,77 0,74 0,89 Wetenschappelijke vaardigheden 3,41 0,86 0,90 Voorbereiding beroepsloopbaan 3,81 0,87 0,89 Oordeel docenten 3,78 0,87 0,89 Informatie vanuit opleiding 3,40 0,95 0,89 Studiefaciliteiten 3,64 0,93 0,90 Toetsing en beoordeling 3,43 0,85 0,89 Studieroosters 3,33 1,00 0,90 Studielast 3,33 0,88 0,90 Studiebegeleiding 3,48 0,97 0,89 Overige faciliteiten en studieomgeving 3,60 0,84 0,89 Algemene sfeer 4,19 0,78 0,89 Betrokkenheid 3,49 1,01 0,89 81 Onderzoeksverantwoording v1

82 De module Inhoud van de opleiding heeft een alpha van 0,87 en is voldoende betrouwbaar (zie Tabel 61). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 61: Betrouwbaarheid module Inhoud van de opleiding Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Niveau opleiding 3,78 0,85 0,85 Aansluiting inhoud bij verwachting 3,70 0,90 0,85 Aansluiting bij vooropleiding 3,44 0,99 0,88 Opleiding stimulerend 3,64 0,89 0,85 Aansluiting inhoud actuele ontwikkelingen 3,83 0,81 0,86 Samenhang tussen onderdelen 3,75 0,84 0,86 Gehanteerde werkvormen 3,62 0,84 0,86 Mogelijkheid inhoud te bepalen 3,24 0,98 0,87 Kwaliteit studiemateriaal 3,63 0,83 0,85 De module Algemene vaardigheden heeft een alpha van 0,88 en is voldoende betrouwbaar. In de betrouwbaarheidsanalyse is ook het item Argumenteren/redeneren opgenomen. Uit Tabel 62 blijkt dat opname van dit item bij deze module de betrouwbaarheid vergroot. We stellen daarom voor dit item van de module Wetenschappelijke vaardigheden naar de module Algemene vaardigheden te verschuiven. Tabel 62: Betrouwbaarheid module Algemene vaardigheden Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Kritische houding 3,76 0,80 0,86 Functioneren professionele context 3,84 0,79 0,86 Probleemoplossende vermogens 3,82 0,79 0,85 Onderbouwen conclusies 3,75 0,82 0,85 Communicatieve vaardigheden 3,96 0,82 0,86 Samenwerken met anderen 4,07 0,79 0,87 Argumenteren/redeneren 3,76 0,80 0,87 De module Wetenschappelijke vaardigheden heeft een alpha van 0,88 en is voldoende betrouwbaar (zie Tabel 63). Het opnemen van het item Argumenteren/redeneren vergroot de betrouwbaarheid van deze schaal niet. Tabel 63: Betrouwbaarheid module Wetenschappelijke vaardigheden Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Analytisch denken 3,57 0,85 0,88 Beoordelen wetenschappelijk werk 3,32 0,95 0,86 Ontwikkelen wetenschappelijke theorieën 3,03 0,97 0,85 Schrijven wetenschappelijke artikelen 2,86 0,99 0,86 Methoden en technieken 3,44 0,94 0,86 Zelfstandig onderzoek 3,59 0,94 0,87 82 Onderzoeksverantwoording v1

83 De module Voorbereiding beroepsloopbaan heeft een alpha van 0,86. Het verwijderen van het item Internationale contacten/uitwisseling verhoogt de betrouwbaarheid naar een alpha van 0,88 (zie Tabel 64). We stellen daarom voor dit item niet op te nemen in de vragenlijst. Het item levert geen bijdrage aan deze module en voegt ook niets toe aan een andere module. Tabel 64: Betrouwbaarheid module Voorbereiding beroepsloopbaan Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Vaardigheden voor beroepspraktijk 4,00 0,86 0,83 Praktijkgerichtheid 3,99 0,89 0,83 Contact beroepspraktijk 3,88 0,95 0,83 Kwaliteit stagebegeleiding 3,47 1,01 0,85 Internationale contacten/uitwisseling 3,52 1,00 0,88 Aansluiting stages 3,67 0,89 0,83 De module Docenten van de opleiding heeft een alpha van 0,92 en is voldoende betrouwbaar (zie Tabel 65). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 65: Betrouwbaarheid module Docenten van de opleiding Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Deskundigheid docenten 3,95 0,85 0,91 Didactiek docenten 3,64 0,87 0,91 Bereikbaarheid docenten 3,60 1,01 0,91 Betrokkenheid docenten 3,76 0,92 0,90 Begeleiding docenten 3,65 0,90 0,90 Feedback docenten 3,64 0,91 0,90 Docenten inspirerend 3,57 0,93 0,90 Kennis beroepspraktijk docenten 4,00 0,84 0,91 De module Informatie vanuit de opleiding heeft een alpha van 0,81 en is voldoende betrouwbaar (zie Tabel 66). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 66: Betrouwbaarheid module Informatie vanuit de opleiding Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Voorlichting opleiding 3,47 0,92 0,78 Informatie studievoortgang 3,49 0,92 0,71 Informatie studievoortgang 3,35 0,95 0,72 De module Studiefaciliteiten heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 67). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. 83 Onderzoeksverantwoording v1

84 Tabel 67: Betrouwbaarheid module Studiefaciliteiten Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Geschiktheid onderwijsruimten 3,64 0,96 0,87 Geschiktheid werkplekken 3,59 1,02 0,87 Beschikbaarheid werkplekken 3,21 1,15 0,87 Opleidingsmateriaal 3,72 0,79 0,87 Bibliotheek/mediatheek 3,84 0,92 0,88 ICT faciliteiten 3,52 1,05 0,87 Digitale leeromgeving 3,57 0,98 0,87 Informatiebalie 3,71 0,84 0,88 Studentenadministratie 3,59 0,90 0,88 De module Toetsing en beoordeling heeft een alpha van 0,79 en is voldoende betrouwbaar (zie Tabel 68). Het verwijderen van het item Informatie resultaten en beoordelingen verhoogt de betrouwbaarheid van deze schaal naar een alpha van 0,82. Volgens de factoroplossing zou dit item beter passen bij de module Informatie vanuit de opleiding. Echter, omdat uit nadere analyse blijkt dat dit item ook bij deze schaal geen positieve bijdrage levert aan de betrouwbaarheid stellen we voor dit item alsnog bij de module Toetsing en beoordeling te laten staan. De betrouwbaarheid van deze schaal is ook dan nog voldoende hoog. Tabel 68: Betrouwbaarheid module Toetsing en beoordeling Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Duidelijkheid beoordelingscriteria 3,44 0,97 0,67 Aansluiting toetsing en beoordeling 3,54 0,90 0,65 Informatie resultaten en beoordelingen 3,26 1,04 0,82 De module Studierooster heeft een alpha van 0,81 en is voldoende betrouwbaar (zie Tabel 69). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 69: Betrouwbaarheid module Studierooster Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Informatie roosters 3,30 1,20 0,74 Informatie wijzigingen roosters 3,05 1,12 0,70 Geschiktheid studierooster 3,34 1,02 0,79 De module Studielast heeft een alpha van 0,82 en is voldoende betrouwbaar (zie Tabel 70). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. 84 Onderzoeksverantwoording v1

85 Tabel 70: Betrouwbaarheid module Studielast Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Spreiding studielast 3,27 0,95 0,75 Haalbaarheid deadlines 3,47 0,89 0,75 Aansluiting ECTS bij studielast 3,24 0,91 0,76 De module Studiebegeleiding heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 71). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 71: Betrouwbaarheid module Studiebegeleiding Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Mogelijkheid tot begeleiding 3,71 0,91 0,79 Kwaliteit begeleiding 3,63 0,93 0,79 De module Onderwijsfaciliteiten heeft een alpha van 0,89 (zie Tabel 72). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 72: Betrouwbaarheid module Onderwijsfaciliteiten Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Geschiktheid onderwijsruimten 3,64 0,96 0,87 Geschiktheid werkplekken 3,59 1,02 0,87 Beschikbaarheid werkplekken 3,21 1,15 0,87 Opleidingsmateriaal 3,72 0,79 0,87 Bibliotheek/mediatheek 3,84 0,92 0,88 ICT faciliteiten 3,52 1,05 0,87 Digitale leeromgeving 3,57 0,98 0,87 Informatiebalie 3,71 0,84 0,88 Studentenadministratie 3,59 0,90 0,88 De module Studieomgeving heeft een alpha van 0,71. Deze module heeft een relatief lage alpha, maar is nog voldoende betrouwbaar. De reden voor de lage alpha zou te wijten kunnen zijn aan het feit dat er in deze module een aantal verschillende onderwerpen aan bod komen die ook volgens de factoroplossing niet allemaal op dezelfde component laden (items over woonruimte laden bijvoorbeeld apart op een andere component). 85 Onderzoeksverantwoording v1

86 Tabel 73: Betrouwbaarheid module Studieomgeving Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Bereikbaarheid instelling 4,09 0,82 0,69 Restauratieve voorzieningen 3,70 0,97 0,67 Sportvoorzieningen 3,12 1,23 0,69 Horecavoorzieningen studiestad 4,10 0,84 0,67 Cultureel aanbod studiestad 4,00 0,88 0,67 Hoeveelheid groen studiestad 3,69 0,94 0,67 Beschikbaarheid woonruimte 3,01 1,16 0,67 Betaalbaarheid woonruimte 2,79 1,20 0,69 De module Betrokkenheid opleiding heeft een alpha van 0,89 en is voldoende betrouwbaar (zie Tabel 74). De betrouwbaarheid neemt niet toe als één van de items wordt verwijderd. Tabel 74: Betrouwbaarheid module Betrokkenheid opleiding Gemiddelde Standaard Deviatie Alpha als item verwijderd wordt Onderwijsevaluaties 3,51 0,89 0,89 Informatie onderwijsevaluaties 3,16 1,03 0,86 Gebruik onderwijsevaluaties 3,15 0,99 0,84 Reactie klachten en problemen 3,21 1,05 0,88 Het item Contact met medestudenten is de enige vraag van de module Sfeer. In de factoroplossing laadt dit item vooral op de component Algemene vaardigheden. Ook blijkt de correlatie tussen dit item en het algemene oordeel over de opleiding niet hoog (r=.32). Dit item staat los van de andere items in deze vragenlijst. Het is noch in het delphi-onderzoek noch in de live-pilot onder studenten als belangrijk item naar voren gekomen, maar is toegevoegd naar aanleiding van een verzoek uit de begeleidingsgroep. We stellen voor dit item te verwijderen. Lengte van de vragenlijst Aan de studenten is gevraagd de vragenlijst in één keer in te vullen en niet tussendoor te pauzeren zodat er een indicatie kan worden gegeven van de lengte van de vragenlijst. Drie procent van de respondenten was langer dan een half uur met de vragenlijst bezig. We nemen aan dat deze studenten desondanks ons verzoek om niet te pauzeren alsnog de vragenlijst tijdelijk hebben verlaten en op een later moment hebben voortgezet. Deze respondenten zijn niet opgenomen in de analyse van de gemiddelde invultijd. De resterende 97 procent van de respondenten heeft gemiddeld minder dan acht minuten over de vragenlijst gedaan (M=7.54, SD=.74). Evaluatie van de vragenlijst Aan het einde van de vragenlijst zijn aan de studenten nog een aantal evaluatieve vragen gesteld: Wat is je algemene indruk over deze vragenlijst? (1=zeer negatief, 5=zeer positief); Wat vind je van de lengte van de vragenlijst? (1=te kort, 2=precies goed, 3=te lang) Wat is je mening over de manier waarop de vragen zijn gesteld? (1=zeer onduidelijk, 5=zeer helder) Mis je belangrijke onderdelen die jij als student wel belangrijk vind en die niet in de vragenlijst voorkomen? (open vraag) 86 Onderzoeksverantwoording v1

87 Uit de analyse van de aanvullende vragen blijkt dat de meeste studenten een positieve indruk hebben van de vragenlijst (M=3.61, SD=.71), dat zij de lengte precies goed vinden (M=2.27, SD=.45) en de vragen helder zijn (M=3.91, SD=.83). Op de vraag of belangrijke onderdelen in de NSE ontbreken, geeft een deel van de studenten aan behoefte te hebben aan een open vraag waarin ze opmerkingen kwijt kunnen. 9.3 Conclusie Uit de kwantitatieve validatie komt naar voren dat de structuur van de vragenlijst voor het grootste deel overeenkomt met de verwachtingen en een betrouwbare clustering mogelijk is. Op basis van deze analyses zijn de volgende mutaties aangebracht: het item Argumenteren/ redeneren verplaatsen naar de module Algemene vaardigheden ; de items Internationale contacten/uitwisseling en Contact met medestudenten verwijderen; toevoegen van een open vraag aan het einde waarin de studenten de mogelijkheid wordt geboden om wensen of voorstellen voor de verbetering van de opleiding te uiten. De vragenlijst is een valide en betrouwbaar meetinstrument dat door studenten positief is beoordeeld en ruim binnen de nagestreefde invultijd van tien minuten ligt. Dit biedt voldoende ruimte voor instellingen om eigen vragen toe te voegen. 87 Onderzoeksverantwoording v1

88 10 Integratie STO-NSE Bij de vernieuwing van de NSE 2010 lag onder andere de nadruk op het komen tot een integratie van STO en NSE. De NSE en het STO hebben beide tot doel het verzamelen van meningen van studenten over de kwaliteit van het onderwijs en de instelling. Het gebruik van deze gegevens en de doelstelling zijn verschillend voor beide onderzoeken. Het STO is opgezet als bundeling van bestaande onderzoeken van hogescholen met als doel gegevens te leveren voor interne kwaliteitszorg. De NSE heeft voor de Stichting Studiekeuze123 het primaire doel oordelen van studenten te verzamelen die van belang zijn in het studiekeuzeproces. Om de mogelijkheden voor een integratie van het STO in de NSE te verkennen zijn verschillen en overeenkomsten tussen het STO en de NSE in kaart gebracht. Bij de vergelijking van de vragenlijsten is gezocht naar overeenkomstige vragen en thema s waarbij elke vraag werd ingedeeld in een van de volgende vier categorieën: goed (bij vrijwel exacte overeenkomst), redelijk (bij kleine afwijkingen in de formulering), thematisch (bij een thematische gelijkenis), en geen overeenkomst (bij afwezigheid van een overeenkomstige vraag). Uit de vergelijking van de twee vragenlijsten komt naar voren dat de NSE ongeveer drieënhalf keer langer is dan het STO. Het STO is kort gehouden om maximale ruimte over te houden voor toevoeging van hogeschoolspecifieke vragen. In het meerjarenprogramma heeft ook Studiekeuze123 onder de noemer minder is meer besloten eveneens te willen komen tot een beperktere vragenlijst, waardoor ruimte voor toevoeging van vragen ontstaat. Tabel 75 vat de gedetailleerde vergelijking samen en laat zien dat bij ongeveer een kwart van de vragen in het STO een vrijwel equivalente vraag in de NSE voorkomt. Bij ongeveer 30 procent van de vragen is er een redelijk overeenkomst en bij ongeveer 20 procent stemmen vragen thematische overeen. Tabel 75: Vergelijking STO en NSE Waardering/overeenkomst Vanuit STO bekeken Goed 24% Redelijk 29% Thematisch 22% Geen 24% Totaal 100% De vergelijking van het STO en de NSE laat zien dat vanwege grote overeenkomsten tussen beide instrumenten het mogelijk is het STO en de NSE in één nationale vragenlijst naar studentenoordelen te integreren. Een dergelijke integratie van STO en NSE kent voordelen. Ten eerste vermindert hierdoor de bevragingslast voor studenten omdat niet langer twee vragenlijsten met hetzelfde doel en een grote overlap parallel worden afgenomen. Dit heeft in het verleden ervoor gezorgd dat sommige hogescholen hebben besloten niet actief aan de NSE deel te nemen. Vanuit het gezichtspunt van de NSE zal integratie deelname bevorderen. Ook voor de hogescholen is het samengaan gunstig. Omdat de NSE centraal wordt afgenomen, vermindert hierdoor de administratieve last en de kosten voor de hogescholen. Daarnaast worden representatieve (gebaseerd op de hele studentenpopulatie) en jaarlijks geactualiseerde studentenoordelen op de website Studiekeuze123 getoond en komen data online beschikbaar. 88 Onderzoeksverantwoording v1

89 10.1 Inhoud van de vragenlijst Gezien het doel om STO en NSE te integreren zijn initieel alle (hoofd)thema s van het STO in de nieuwe NSE opgenomen. Deze zijn vervolgens door deskundigen beoordeeld op het belang ervan voor een gezamenlijk nationaal studententevredenheidsonderzoek. Uit de resultaten van het delphi-onderzoek bleek dat het grootste deel van de STO-thema s en -vragen volgens de bevraagde deskundigen (waarvan een meerderheid verbonden is aan het hbo) relevant zijn voor de nieuwe NSE (zie hoofdstuk 7.3). Men beoordeelde een aantal (sub)thema s ook als minder relevant. Deze zijn niet in de conceptvragenlijst van de nieuwe NSE opgenomen. Van de elf thema s uit het STO 2009 zijn op basis van resultaten uit het delphi-onderzoek en de pilot onder studenten in eerste instantie tien thema s opgenomen in de conceptvragenlijst van de NSE Het thema Betrokkenheid van de instelling, waarbij vragen over onderwijsevaluaties en het omgaan met klachten aan bod komen, vonden deskundigen vanuit verschillende instellingen minder belangrijk. Omdat een groot deel van deskundigen uit het hbo dit thema echter wel belangrijk vond (73,5%) en ook de leden van de begeleidingsgroep NSE de relevantie van dit thema nog eens extra onderstreepten, is het voor hbo-instellingen toegevoegd aan de basisvragenlijst. Op deze manier komen alle hoofdthema s uit het STO ook in de nieuwe NSE aan bod. Een aantal subthema s werd door het merendeel van de deskundigen als minder belangrijk beoordeeld. In totaal is op grond van deze resultaten ervoor gekozen zeven vragen uit het STO 2009 niet op te nemen in de basisvragenlijst van de NSE Een overzicht van de vragen die uit het STO wel en niet in de conceptvragenlijst van de nieuwe NSE zijn opgenomen is opgenomen in Bijlage C (grijsgearceerde vragen zijn niet opgenomen in de basisvragenlijst NSE, maar zijn optioneel). De NSE biedt instellingen of koepels de mogelijkheid om, indien gewenst, extra vragen op te nemen. Om hbo-instellingen de mogelijkheid te bieden alle vragen uit het STO 2009 ook in de komende jaren aan hun studenten voor te kunnen leggen, is een vraagmodule gemaakt waarin deze zeven vragen zijn opgenomen. Dit betekent dat de vragenlijst voor het hbo iets langer wordt. Uit de eerste pilot onder studenten bleek de lengte van de NSE (basisvragenlijst) ruim binnen de marge van tien minuten invultijd te vallen. Daarom is het qua invultijd verantwoord deze zeven vragen additioneel op te nemen Antwoordcategorieën Het STO 2009 en de NSE 2010 verschillen in de keuze van de antwoordschalen. De NSE 2009 verzamelde oordelen in de vorm van een rapportcijfer op een tienpuntschaal, terwijl het STO bestaat uit stellingen die beoordeeld moeten worden op een vijfpunt-likertschaal die loopt van zeer mee eens tot zeer mee oneens. Uit het onderzoek naar antwoordschalen blijkt dat de keuze voor een vijfpuntschaal de voorkeur verdient boven een tienpuntschaal gezien de vijfpuntschaal een minder scheve verdeling oplevert en beter aansluit bij internationale standaarden (zie hoofdstuk 8). Bij de keuze voor een vijfpuntschaal zijn twee opties mogelijk: (1) een neutrale vijfpuntschaal, of (2) een vijfpunt-likertschaal. De laatste wordt gebruikt door het STO maar heeft het nadeel deze een normatief karakter heeft die een keuze voor een basisniveau impliceert. In het STO wordt gebruik gemaakt van stellingen waarin termen worden gehanteerd als voldoende en tevreden. De vragen zijn daardoor niet neutraal geformuleerd en beperken de gemeten tevredenheid tot een onvoldoende/voldoende niveau. Dit heeft consequenties voor de interpretatie van de resultaten. Bij de initiële opzet van het STO zijn de voor- en nadelen van de keuze voor een normatief element in de formulering van de vraag besproken 12. Destijds is opgemerkt dat de keuze om geen normatieve elementen in de vraag op te nemen het voordeel kent dat de vragen geheel neutraal geformuleerd zijn en daardoor geen sturend karakter hebben. 12 Verrijt, T. & Folmer, E. (2006). Advies landelijke vragenlijst studenttevredenheid. Hbo-raad. 89 Onderzoeksverantwoording v1

90 Als nadeel noemt men dat een neutrale vraag doorgaans vraagt om wisselende antwoordschalen. Dit vraagt van de respondent voorturend schakelen. Dit kan leiden tot interpretatiekwesties. Het kiezen van uiteenlopende antwoordcategorieën heeft ook beperkende gevolgen voor mogelijkheden van statistische analyses. Vergelijkingen tussen de resultaten van verschillende vragen of het construeren van samengevoegde variabelen is dan gecompliceerd. De hier genoemde kanttekeningen gelden niet voor de nieuwe NSE. Alle vragen naar oordelen in de NSE 2010 zijn zodanig geformuleerd dat maar één antwoordschaal gehanteerd wordt. Deze schaal loopt van zeer ontevreden tot zeer tevreden. Het opnemen van kwalitatieve elementen in de vraag brengt het gevaar met zich mee dat de vraag normatief wordt. Het gebruik van vragen naar de mate waarin men vindt dat iets voldoende is zoals in het STO 2009 heeft als consequentie dat niet bepaald kan worden hoeveel respondenten het predicaat zeer tevreden zouden toekennen (zie kader hieronder voor een voorbeeld ter verduidelijking van deze argumentatie). Daarnaast is er in toenemende mate behoefte aan informatie over excellente opleidingen. De vraag naar transparantie in het Nederlandse hoger onderwijs is de laatste jaren sterk toegenomen. Instellingen hebben meer aandacht voor kwaliteitszorg en een grotere behoefte zich met andere instellingen te vergelijken. De kwaliteitszorg is daardoor niet alleen meer een instellingsinterne zaak, maar ook een middel voor benchmarking. Hierdoor is het predicaat voldoende niet genuanceerd genoeg en is het wenselijk om aan te kunnen geven dat bepaalde opleidingen door studenten als zeer positief worden beoordeeld. Op grond van deze overwegingen is bij de ontwikkeling van de nieuwe NSE gekozen voor een neutrale vijfpuntschaal in plaats van een Likertschaal. Voorbeeld van items op de Likertschaal en de neutrale vijfpuntschaal In het STO wordt de vraag naar de tevredenheid over de sfeer op de opleiding als volgt verwoord: Ik ben tevreden over de sfeer op de opleiding 1 (helemaal mee oneens) 5 (helemaal mee eens) Een score van vijf op deze schaal betekent dat de student het helemaal eens is met de stelling (dus tevreden is). In de praktijk wordt dit vaak geïnterpreteerd als ware deze student zeer tevreden. Puur kijkend naar de formulering van de vraag zou het zelfs kunnen zijn dat een zeer tevreden student hier de score 1 geeft. Maar, over het algemeen ligt de bovengrens voor de interpretatie van deze vraag bij de norm tevreden en wordt met deze formulering nooit zeer tevreden gemeten. Daarnaast wordt in het STO niet altijd naar de tevredenheid gevraagd, maar soms ook naar een voldoende niveau, zoals in de volgende vraag. De opleiding sluit voldoende aan bij mijn vooropleiding 1 (helemaal mee oneens) 5 (helemaal mee eens) Hier is de term voldoende het feitelijke plafond. Bovendien vraagt het gebruik van deze verschillende normen voor beoordeling in één vragenlijst meer aandacht en schakelen bij de student. Daarnaast is het moeilijker om schalen te vormen op basis van vragen die verschillende normatieve ankers gebruiken. Op de voorgestelde neutrale vijfpuntschaal hebben alle vragen betrekking op nuances van tevredenheid. Bovengenoemde items worden in ons voorstel als volgt geformuleerd: Hoe tevreden ben je over de sfeer op de opleiding? Hoe tevreden ben je over de mate waarin de opleiding aansluit bij je vooropleiding? 1 (zeer ontevreden) 5 (zeer tevreden) Een score van vijf betekent hier dat je zeer tevreden bent over (bijvoorbeeld) de sfeer op de opleiding en biedt daardoor de mogelijkheid wèl een onderscheid te maken tussen tevreden en zeer tevreden. 90 Onderzoeksverantwoording v1

91 Consequenties voor trendrapportages De keuze voor een neutrale vijfpuntschaal heeft consequenties voor trendrapportages gebaseerd op de resultaten van het STO uit eerdere jaren. De formulering van vragen is enigszins veranderd doordat normatieve elementen niet meer gebruikt worden en een aantal formuleringen is aangepast. Inhoudelijk is er nog steeds een grote overlap. Wat betreft de antwoordschaal, zo blijkt uit het hier gerapporteerde onderzoek, kunnen we concluderen dat de resultaten op de neutrale vijfpuntschaal amper verschillenen van de resultaten op de Likertschaal (zie hoofdstuk 8). Deze resultaten impliceren dat een wisseling naar een neutrale vijfpuntschaal voor trendrapportages van het STO geen groot probleem zou moeten vormen. Een belangrijk aandachtspunt voor trendrapportages van het STO is de interpretatie van de resultaten. Terwijl een score van 5 in het STO betekent dat de studenten het er helemaal mee eens zijn dat een bepaald aspect voldoende is (of dat zij hier tevreden over zijn), betekent een score van 5 in de nieuwe NSE dat studenten hierover zeer tevreden zijn. Aangezien uit het onderzoek naar antwoordschalen blijkt dat de antwoorden op de twee schalen amper van elkaar verschillen, is het mogelijk dat studenten die het helemaal eens zijn met de voldoende -norm impliciet aangeven zeer tevreden te zijn. Hoewel dit op grond van de vraagstelling (semantiek) niet kan worden geconcludeerd, wordt een dergelijke conclusie in de praktijk wel vaak getrokken. Met het interpreteren van de resultaten dient men hiermee rekening te houden. 91 Onderzoeksverantwoording v1

92 Bijlage A: Vragenlijst NSE Achtergrondkenmerken V1. Selecteer een taal: 1 Nederlands 2 English V2. Je bent een: 1 Man 2 Vrouw V3. Wat was je leeftijd op 1 oktober 2009? jaar <16-80> V4. Wat voor soort opleiding volg je? (Geef je hoofdstudie aan) 1 Bachelor 2 Master 3 Associate Degree 4 Post-initiële master 5 Eindfase oude stijl <Einde vragenlijst: Slottekst 1> 6 Voortgezette opleiding <Einde vragenlijst: Slottekst 1> V5. Volg je deze opleiding in voltijd, deeltijd of duaal? 1 Voltijd 2 Deeltijd 3 Duaal V6. Volg je deze opleiding aan een universiteit of hogeschool? 1 Hogeschool 2 Universiteit V7. Aan welke hogeschool/universiteit volg je deze opleiding? <open invulveld> V8. Wat is de naam van je opleiding? <open invulveld> V9. Aan welke locatie van <instelling invullen> volg je deze opleiding? <open invulveld> <toevoegen: N.v.t.> V10. Wanneer ben je aan deze opleiding begonnen? Datum (dag/maand/jaar): 92 Onderzoeksverantwoording v1

93 V11. Met welk diploma ben je toegelaten tot je huidige opleiding? <alle opleidingen> 1 Havo 2 Vwo 3 Mbo 4 Hbo-propedeuse 5 Hbo-einddiploma of hbo-bachelor 6 Universiteit propedeuse 7 Universiteit bachelor 8 Universiteit doctoraal examen 9 Universiteit master 10 Buitenlandse vooropleiding voortgezet onderwijs 11 Buitenlandse vooropleiding hoger onderwijs 12 Colloquium doctum/toelatingsgesprek 13 Op basis van eerder verworven competenties/werkervaring 14 Op andere gronden, namelijk <vrij tekstveld> 98 N.v.t. 99 Weet niet 2 Algemene oordelen V12. Om te beginnen willen we je graag vragen hoe jij je studie in het algemeen beoordeelt. Geef alsjeblieft hieronder aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a Je studie in het algemeen V13. De volgende vragen gaan over jouw algemene oordeel ten aanzien van een aantal deelaspecten van je studie. Geef alsjeblieft aan hoe tevreden je over het geheel genomen bent over de volgende aspecten van je studie: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a De inhoud van de opleiding b De verworven algemene vaardigheden binnen je opleiding c De verworven wetenschappelijke vaardigheden binnen je opleiding d De voorbereiding op de beroepsloopbaan e De Docenten van de opleiding f De informatie vanuit je opleiding g De studiefaciliteiten van je opleiding h Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) i De studieroosters j De studielast k De studiebegeleiding l De overige faciliteiten en de studieomgeving m De algemene sfeer op je opleiding n De mate waarin je betrokken wordt bij de verbetering van je opleiding <alleen hbo> 3 De inhoud van de opleiding V14. De volgende vragen gaan over de inhoud van je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i Het niveau van je opleiding De aansluiting van je inhoud bij het beeld dat je van je opleiding had De aansluiting van je opleiding bij je vooropleiding De mate waarin de inhoud van je opleiding stimulerend is De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De in jouw opleiding gehanteerde werkvormen De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen De inhoudelijke kwaliteit van het studiemateriaal <alleen hbo> 93 Onderzoeksverantwoording v1

94 4 Verworven algemene vaardigheden V15. De volgende vragen gaan over de algemene vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende algemene vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f Een kritische houding Het functioneren in een professionele context Probleemoplossende vermogens Het onderbouwen van conclusies Communicatieve vaardigheden (bijv. mondelinge presentaties, gespreksvoering) Het samenwerken met anderen 5 Verworven wetenschappelijke vaardigheden V16. De volgende vragen gaan over de wetenschappelijke vaardigheden die je binnen je opleiding opdoet. Geef alsjeblieft aan hoe tevreden je bent over de mate waarin jou de volgende wetenschappelijke vaardigheden worden aangeleerd: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g Analytisch denken Argumenteren/redeneren Het kritisch beoordelen van wetenschappelijk werk Het ontwikkelen van wetenschappelijke theorieën Het schrijven van wetenschappelijke artikelen Methoden en technieken van onderzoek Het doen van zelfstandig onderzoek 6 Voorbereiding op de beroepsloopbaan V17. De volgende vragen gaan over de voorbereiding op je beroepsloopbaan. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f Het opdoen van vaardigheden voor de beroepspraktijk De praktijkgerichtheid van je opleiding Het contact met de beroepspraktijk (bijv. stages, gastsprekers) De kwaliteit van de stagebegeleiding vanuit je opleiding De gelegenheid die je opleiding je biedt voor internationale contacten en uitwisseling De aansluiting van de stages bij het overige onderwijs <alleen hbo> 7 De docenten aan de opleiding V18. De volgende vragen gaan over de docenten aan je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h De inhoudelijke deskundigheid van docenten De didactische kwaliteit van docenten De bereikbaarheid van docenten buiten contacturen De betrokkenheid van de docenten bij de studenten De kwaliteit van de begeleiding door docenten De kwaliteit van feedback van docenten De mate waarin docenten inspirerend zijn De kennis van de docenten over de beroepspraktijk <alleen hbo> 8 Informatie vanuit de opleiding V19. De volgende vragen gaan over de informatie vanuit je opleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c De voorlichting over je opleiding De informatie over jouw studievoortgang De informatie over regels en procedures <alleen hbo> 94 Onderzoeksverantwoording v1

95 9 Studiefaciliteiten V20. De volgende vragen gaan over studiefaciliteiten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i De geschiktheid van de onderwijsruimten De geschiktheid van werkplekken (bijv. computers, studieruimten) De beschikbaarheid van werkplekken Het opleidingsmateriaal De bibliotheek/mediatheek De ICT-faciliteiten De digitale leeromgeving De informatiebalie <alleen hbo> De studentenadministratie <alleen hbo> 10 Toetsing en beoordeling V21. De volgende vragen gaan over toetsing en beoordeling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c De duidelijkheid van criteria waarop beoordeeld wordt De aansluiting van toetsing en beoordeling bij de inhoud van de opleiding Het tijdig bekend maken van resultaten en beoordelingen 11 Studieroosters V22. De volgende vragen gaan over studieroosters. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c 12 Studielast Het tijdig bekendmaken van de roosters Het tijdig bekendmaken van wijzingen in de roosters De geschiktheid van het studierooster V23. De volgende vragen gaan over de studielast. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c De spreiding van de studielast over het studiejaar De haalbaarheid van deadlines De aansluiting tussen ECTS en de daadwerkelijke studielast 13 Studiebegeleiding V24. De volgende vragen gaan over studiebegeleiding. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b De mogelijkheid tot begeleiding De kwaliteit van begeleiding 14 Internationale studenten <alleen studenten met buitenlandse vooropleiding> V25. De volgende vragen zijn specifiek voor internationale studenten. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b De geboden hulp door je opleiding (bijv. bij inschrijving, huisvesting, visa e.d.) Het aanbod aan Engelstalige vakken 95 Onderzoeksverantwoording v1

96 15 Overige faciliteiten en studieomgeving V26. De volgende vragen gaan over de overige faciliteiten van je instelling en de omgeving van je studie. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h De bereikbaarheid van je instelling (openbaar vervoer e.d.) De restauratieve voorzieningen op je instelling De sportvoorzieningen op je instelling De horecavoorzieningen in je studiestad (kroegen, eetcafés, restaurants e.d.) Het cultureel aanbod van je studiestad (bioscopen, theaters, evenementen e.d.) De hoeveelheid groen in je studiestad (bijv. parken, natuurgebieden) De beschikbaarheid van woonruimte in je studiestad De betaalbaarheid van woonruimte in je studiestad 16 Betrokkenheid bij de instelling <alleen hbo> V27. De volgende vragen gaan over de betrokkenheid van je instelling. Geef alsjeblieft aan hoe tevreden je bent over: <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties De manier waarop je opleiding op klachten en problemen reageert 17 Handicap en studie V28. De volgende vragen zijn specifiek voor studenten met een handicap. Heb je een handicap of functiebeperking die je belemmert bij het studeren, zoals een lichamelijke handicap, een chronische ziekte, dyslexie of een psychische klacht? 1 Ja <naar V29> 2 Nee <naar V32> 3 Deze vraag wil ik niet beantwoorden < naar V32> V29. Wat voor type handicap of functiebeperking(en) heb je die je belemmeren bij het studeren? Meer antwoorden zijn mogelijk. <meerdere antwoorden mogelijk> 1 Bewegingsbeperking 2 Gezichtsbeperking 3 Dyslexie of Dyscalculie 4 Gehoorstoornis 5 Spraakproblemen 6 Energietekort 7 Pijnklachten 8 Chronische ziekte 9 ADHD 10 Concentratieproblemen 11 Autisme 12 Psychische problematiek 13 Overig, namelijk V30. Welke van deze handicaps is voor jou de belangrijkste? 1 Bewegingsbeperking (lopen, bukken, arm of handbewegingen) 2 Gezichtsbeperking (ook normale bril of lenzen vallen hieronder) 3 Dyslexie (moeite met lezen, spellen) of dyscalculie (moeite met rekenen) 4 Gehoorstoornis (ook: moeite om een gesprek te volgen) 5 Spraakproblemen (stotteren, moeilijk te verstaan) 6 Energietekort (chronische vermoeidheid) 7 Pijnklachten 8 Chronische ziekte (zoals epilepsie, suikerziekte) 9 ADHD 10 Concentratieproblemen 11 Autisme 12 Psychische problematiek (zoals depressie en angsten) 13 Overig, namelijk <vrij tekstveld> 96 Onderzoeksverantwoording v1

97 V31. Geef alsjeblieft aan hoe tevreden je bent over de volgende aspecten ten aanzien van studeren met een handicap aan je opleiding. <1 t/m 5; 1=zeer ontevreden; 5=zeer tevreden; 6=N.v.t.> a b c d e f g h i De voorlichting en informatievoorziening over studeren met een handicap of beperking bij je opleiding? (hierbij bedoelen we brochures, studiegids, studentenstatuut, examenreglement, website) De opvang die je opleiding aan studenten met jouw handicap bij de start van hun studie biedt? De beschikbare hulpmiddelen en faciliteiten, voor zover je die nodig hebt? (we bedoelen hierbij rust- of werkruimtes, werkplekaanpassingen, extra verlichting, scanner, computeraanpassingen zoals spraak of braille, ringleiding) De geschiktheid van de gebouwen van je opleiding of instelling voor mensen met jouw handicap? (we bedoelen hierbij de toegankelijkheid en begaanbaarheid, bijvoorbeeld door drempels, liften, breedte van de deuren, aangepaste toiletten, ringleidingen enzovoorts) De aanpassingen in het onderwijs die je opleiding biedt? (we bedoelen hierbij aanpassingen aan het rooster, inleverdata, andere les- en tentamenvormen, alternatieve opdrachten, andere stagemogelijkheden) De mate waarin de docenten en overige medewerkers begrip voor jou hebben De mate waarin de docenten en overige medewerkers voldoende kennis van zaken hebben, zodat zij op een geschikte wijze met jouw handicap omgaan De mate waarin medestudenten begrip voor jou hebben De speciale begeleiding die je tijdens je studie krijgt? (hierbij bedoelen we begeleiding in de studievoortgang, steun voor aanpassingen aan studie en voorzieningen, stagebemiddeling e.d.) V32. Hoe is jouw woonsituatie? 1 Ik woon bij mijn ouders 2 Ik woon in een studentenflat of studentenwoning van een studentenhuisvestingsorganisatie 3 Ik woon in een particulier studentenhuis 4 Ik woon in een eigen woning of appartement (koop of huur) 5 Anders V33. Welk maandelijks bedrag betaal je aan huur (inclusief servicekosten)? <alleen als V32=2 of 3> Wensen/ideeën voor verbetering V34. Heb je nog wensen of ideeën voor de verbetering van je opleiding of heb je verder nog opmerkingen? 1 Nee 2 Ja, namelijk <vrij tekstveld> Slottekst 1: Deze enquête is helaas niet op jouw situatie van toepassing. We danken je hartelijk voor je medewerking. Slottekst 2: Dit is het einde van deze vragenlijst. We danken je hartelijk voor het invullen van de Nationale Studentenenquête. Je kunt het scherm nu sluiten. 97 Onderzoeksverantwoording v1

98 Bijlage B: Overige opmerkingen vragenlijst Op verzoek van de opdrachtgever zijn op basis van reacties uit onder andere de begeleidingsgroep NSE de formuleringen van een aantal vragen aangepast. De opmerkingen zijn verwerkt in de vragenlijst. De verbetersuggesties zijn als volgt (bij niet verwerkte opmerkingen is deze beslissing kort toegelicht). Recensent 1 Bij het STO is per stelling afgewogen of een toevoeging van de opleiding in de stelling gepast is, het lijkt verstandig de NSE 2010 vragen op dit punt nog eens tegen het licht te houden. Bijvoorbeeld A8/V2g De studiefaciliteiten van je opleiding, terwijl daarna de overige faciliteiten de toevoeging niet draagt. Dat kan ook suggereren dat studiefaciliteiten die niet per se bij de opleiding horen, maar bij de faculteit/school/instelling onder overige zouden vallen. In eerste instantie gaat deze vraag ook over de studiefaciliteiten die bij je opleiding horen en niet over de studiefaciliteiten die in een heel ander deel van de universiteit/faculteit/school/instelling aangeboden worden waar de student nooit komt. Dit kan nogal verschillen. Misschien zijn de faciliteiten bij sociale wetenschappen kwalitatief beter dan bij bètawetenschappen. Hoe moet de student dit dan beoordelen? Volgens mij toch wel voor de faciliteiten die hij ook daadwerkelijk gebruikt, en dat zijn vooral deze die horen bij zijn opleiding. Een soortgelijk punt geldt wat betreft de toevoeging van je instelling, bijvoorbeeld bij J3/V15b staat dit wel bij de restauratieve voorzieningen en niet bij de andere faciliteiten (dat laatste terecht), terwijl nota bene de restauratieve voorzieningen in veel gevallen door een extern bedrijf worden verzorgd. De keuze voor een extern bedrijf wordt in de meeste gevallen door de universiteiten gemaakt en zou bij ontevredenheid ook door hun aangepast kunnen worden. Om verwarringen te voorkomen heb ik van je instelling verandert in op je instelling. Door de geadviseerde antwoordschaal komt de constructie de mate van vaak voor. Deze constructie vergroot de leesbaarheid niet (integendeel) en daarom moet je kijken waar hij vermeden kan worden. Bijvoorbeeld B4/V3c zou kunnen zijn De aansluiting van de opleiding bij je vooropleiding in plaats van De mate waarin de opleiding aansluit bij je vooropleiding. A10/V2j heeft het woord ervaren toegevoegde waarde? Als studenten hun (on)tevredenheid over de studielast uitspreken gaat het sowieso over dat wat zij ervaren, dus die toevoeging kan wat mij betreft achterwege blijven. C2/V6c benoemd het contact met de arbeidsmarkt. Nu kan dit ook geïnterpreteerd worden als het semi-sollicitatieproces dat voorafgaat aan bijvoorbeeld stages. Bij de stage zelf en via gastsprekers is er daarentegen contact met de beroepspraktijk. D2/V7a gaat over de deskundigheid van docenten. Dat kan breed geïnterpreteerd worden als de complete deskundigheid, zowel op inhoudelijk als didactisch gebied. Aangezien er een aparte vraag is over de didactische kwaliteit, wordt hier natuurlijk alleen de inhoudelijke deskundigheid bedoeld. Benoem dit daarom expliciet. 98 Onderzoeksverantwoording v1

99 Recensent 2 Kwalitatieve analyse Arbeidsmarkt: met 'contact met praktijk en arbeidsmarkt' wordt bedoeld het contact met het professionele veld (en bij de medici hebben ze het dan bijvoorbeeld over de praktijk en niet de arbeidsmarkt denk ik). Het is dus gewoon één vraag. Onzinnig om dit te splitsen. Je zou het woord praktijk er eventueel uit kunnen laten. In het STO worden beide vragen opgenomen. Ik adviseer daarom deze ook voor de NSE te behouden. Betrokkenheid: dit aspect is zoals gezegd heel belangrijk, het gaat om de betrokkenheid van de docent bij de studenten en het onderwijs. Onder bereikbaarheid versta ik meer de bereikbaarheid van de docent buiten de colleges! Wellicht dat je die laatste zo moet formuleren en er dan ook geen overlap meer is? De formulering: De betrokkenheid van de docent bij de studenten en het onderwijs omvat twee aspecten en is daardoor in de voorgestelde formulering niet geschikt. Ik stel daarom voor de toevoeging: en het onderwijs achterwege te laten en in de pilot te kijken hoe consistent dit item binnen een opleiding beantwoord wordt. Op basis van de resultaten zal dan besloten worden of dit item opgenomen wordt in de uiteindelijke vragenlijst. Inzet: De vraag over het aantal uur dat er per week besteed wordt aan de studie is een politiek/bestuurlijk belangrijke vraag en zou er dus in moeten blijven staan. Dit item gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Ook uit het delphi-onderzoek blijkt dat de meerderheid van de deskundigen de items m.b.t. de tijdsbesteding van de student (waaronder de tijd die aan de studie wordt besteed) niet als belangrijk hebben bevonden (deze informatie kunnen instellingen wel verkrijgen uit ander onderzoek zoals de Studentenmonitor Hoger Onderwijs). Studentenpanel Onderwijsvoorzieningen: de studenten stellen terecht voor dat ook naar de geschiktheid van de werkplekken gekeken moet worden. Het is echter niet goed om dit in één vraag te verwoorden lijkt me. Nu weet je bij een matige beoordeling niet of dat er onvoldoende werkplekken zijn of dat ze niet geschikt zijn (of allebei)! Dan moet je er dus een aparte vraag aan toevoegen over de geschiktheid. Studieroosters: Spreiding van contacturen over de studieweek lijkt me geen goede vraag want kan nooit een doel zijn van je onderwijsorganisatie. Wellicht wil je juist contacturen aan het begin van de week in een bepaalde cursus omdat men daarna zelfstandig de tijd moet hebben om aan een opdracht te werken. Slechte suggestie dus. Mee eens, maar omdat de studenten vonden dat dit aspect wel belangrijk voor hen is, stel ik een alternatieve verwoording voor: De efficiëntie van het studierooster (Dit komt ook dichter bij de verwoording die in het STO hiervoor gehanteerd wordt). Studieomgeving: De hoeveelheid groen? En de straatverlichting dan? Of de bewegwijzering?? Eveneens onzinnig! Volgens de studenten wel belangrijk! Niet iedere student vindt alleen de musea en kroegen in de studiestad belangrijk voor een goede studieomgeving. Universiteiten die wereldwijd het hoogst scoren kennen veel groen in de omgeving (ook op de campus zelf). Bijvoorbeeld: Berkeley, Cambridge, Stanford, Yale. 99 Onderzoeksverantwoording v1

100 Voor de rest deel ik je opmerking dat de suggesties van de studenten, ondanks de beperkte omvang van de groep, erg zinvol en terecht zijn. Academische vaardigheden (afkomstig uit Wikipedia): De zeven opgenomen academische competenties zijn veelal algemenere vaardigheden. Wat maakt dat iemand academisch opgeleid is? Dan zijn deze drie vaardigheden de kern: Analytisch denken: een systematische manier van denken, waarbij je vanuit specifieke gevallen naar meer algemene regels of een bepaald model toewerkt Argumenteren/redeneren: een bepaalde stelling ondersteunen of een vraag beantwoorden door middel van argumenten of een redenatie Interpreteren: onderzoeksmateriaal of de resultaten van een experiment op een systematische manier nader duiden en daar conclusies aan verbinden Of je het dan in een artikel kunt gieten en kunt presenteren en dergelijke zijn dan meer algemene vaardigheden die hier niet in thuis horen. En subvragen f en g uit jullie lijst zijn al helemaal geen academische vaardigheden! Wellicht wel relevant, maar hier horen ze absoluut niet thuis. Mee eens: Subvragen f en g zijn verwijderd en de drie voorgestelde vaardigheden extra opgenomen (waarbij het item interpreteren sterk overeenkomt met kritisch beoordelen en in deze vraag al opgenomen is). Niet mee eens: De vier resterende vragen zijn concretere invullingen van de wat algemenere academische vaardigheden die hier worden toegevoegd, maar toch zijn dit belangrijke wetenschappelijke vaardigheden die hier wel thuis horen. Recensent 3 Ik stel voor de sfeer vraag als het een hoofdonderwerp ook meteen te vragen bij de overkoepelende vragen in het begin. Dat geeft de mogelijkheid later wel subitems toe te voegen. In hbo-land werd uiteindelijk besloten namelijk alleen te benchmarken op de hoofdonderwerpen (alhoewel uiteindelijk iedereen nagenoeg de volledige vragenlijst afnam) en dan vult iedereen de hoofdvragen meteen ook in aan het begin van de vragenlijst zodat er als het ware geen reliëf kan ontstaan door de verzameling subvragen daarna. Steeds weer zijn de hoofdonderwerpen door de jaren heen dan hetzelfde, terwijl de subvragen wat kunnen variëren. Je vertelde deze week dat van de beslissingsregel word afgeweken door onderzoek of inhoudelijk redenen. Op grond van empirisch onderzoek kan besloten worden de vraag naar medestudenten op te nemen. Dat kan ook op grond van inhoudelijke onderwijskundige redenen (zie ook modernisering vragenlijst ): deze vraag past namelijk uitstekend bij zeer in zwang zijnde sociaal constructivistische onderwijsopvattingen! Of het (medestudenten) een hoofdcategorie is/zou moeten zijn c.q. onder sfeer moet vallen is de onderzoeksvraag. Dat pleit er juist op de vraag op te nemen in de grote studenten try-out omdat er dan tenminste ook onderzoek gedaan kan worden. Het delphi-onderzoek en de daarbij gehanteerde beslissingsregel representeren de wensen en meningen van de ene helft van de belangstellenden bij de NSE: de instellingen. De studenten zijn hierbij niet betrokken en gezien veel onderwerpen wegvallen die door de studenten wel belangrijk worden gevonden is besloten deze niet te laten vervallen. Het voorgestelde onderzoek is mij niet bekend, maar als hieruit blijkt dat deze subvraag voor studenten als zeer belangrijk wordt gevonden voor hun studiekeuze zou overwogen moeten worden dit aspect op te nemen. Ik stel voor dit item in de pilot op te nemen en na te gaan in hoeverre de sfeer op de opleiding bepaald wordt door het contact met medestudenten. 100 Onderzoeksverantwoording v1

101 Recensent 4 Wat ik belangrijke punten vind in de vragenlijst zijn: vraag over feedback docenten aan studenten Deze vraag is al opgenomen in de vragenlijst bij het thema docenten aan de opleiding, deelvraag f. effecten van studieloopbaanbegeleiding: hebben studenten er wat aan, krijgen ze bruikbare adviezen Bij het thema Studiebegeleiding wordt naar de tevredenheid over de kwaliteit van de begeleiding gevraagd. Hierbij hoort ook de bruikbaarheid van de begeleiding. hoe is het gesteld met hun keuzeruimte Bij het thema inhoud van de opleiding gaat deelvraag h in op de keuzeruimte binnen de opleiding. wat is hun studievoortgang (als een te gebruiken achtergrondvariabele voor aanvullende analyses) De studievoortgang gaat voorbij aan het doel van de NSE, namelijk de oordelen van studenten over hun opleiding te verzamelen. Bij belangstelling door de instellingen zou wel besloten kunnen worden dit item als achtergrondvariabele alsnog op te nemen. In het delphi-onderzoek is deze belangstelling echter niet naar voren gekomen. docent en didactische vaardigheden, wat specifieker: wat is de rol van de docent in het leerproces van de student De rol van de docent in het leerproces wordt in het thema de docenten aan de opleiding gedetailleerd belicht. Hierbij wordt ingegaan op de inhoudelijke deskundigheid, de betrokkenheid, de didactische kwaliteit, de kwaliteit van de begeleiding, de feedback, en de mate waarin de docenten inspirerend zijn. 101 Onderzoeksverantwoording v1

102 Bijlage C: Vergelijking STO2009-NSE2010 Nr. Stelling STO 2009 Nr. Vraag NSE 2010 A0 In hoeverre ben je het eens met de stelling: Over het geheel genomen ben ik tevreden over de opleiding V1a Hoe tevreden ben je over: Je studie in het algemeen A1 Ik ben tevreden over de inhoud van de opleiding V2a De inhoud van je opleiding A2 De opleiding is voldoende gericht op de beroepspraktijk V2d De voorbereiding op de beroepsloopbaan A3 Ik ben tevreden over mijn docenten V2e De docenten aan je opleiding A4 A5 Ik ben tevreden over de wijze van toetsing en beoordeling Ik word voldoende geïnformeerd door de opleiding V2h V2f Toetsing en beoordeling (bijv. criteria van beoordeling en vorm van toetsing) De informatie vanuit je opleiding A6 Ik ben tevreden over de roosters V2i De studieroosters A7 Ik word voldoende betrokken bij de verbetering van de opleiding V2n De mate waarin je betrokken wordt bij de verbetering van je opleiding A8 Ik ben tevreden over de studiefaciliteiten V2g De studiefaciliteiten van je opleiding A9 Ik ben tevreden over de overige faciliteiten V2l De overige faciliteiten en de studieomgeving A10 Ik ben tevreden over de studielast V2j De studielast B1 De opleiding is van voldoende niveau V3a Het niveau van je opleiding B2 B3 B4 B5 B6 B7 B8 C1 C2 De opleiding sluit voldoende aan bij actuele ontwikkelingen Er is voldoende samenhang in het onderwijsprogramma De opleiding sluit voldoende aan bij mijn vooropleiding De opleiding biedt voldoende afwisseling in werkvormen Het studiemateriaal is van voldoende inhoudelijke kwaliteit De studieloopbaanbegeleiding ondersteunt mij voldoende in mijn studie Het programma biedt mij voldoende keuzemogelijkheden De opleiding bereidt mij voldoende voor op de beroepspraktijk Ik heb tijdens de opleiding voldoende contact met de beroepspraktijk V3e V3f V3c V3g De aansluiting van de inhoud van je opleiding bij actuele ontwikkelingen De samenhang tussen de verschillende onderdelen van je opleiding De aansluiting van je opleiding bij je vooropleiding De in jouw opleiding gehanteerde werkvormen Optioneel De inhoudelijke kwaliteit van het studiemateriaal V13 V3h V6a V6c De mogelijkheid tot begeleiding/ De kwaliteit van begeleiding De mogelijkheid die je opleiding je biedt om zelf de inhoud te bepalen Het opdoen van vaardigheden voor de beroepspraktijk Het contact met de beroepspraktijk (bijv. stages, gastsprekers) C3 De opleiding is voldoende praktijkgericht V6b De praktijkgerichtheid van je opleiding C4 D1 D2 D3 D4 Stages sluiten voldoende aan bij het overige onderwijs Mijn docenten zijn voldoende op de hoogte van de beroepspraktijk Mijn docenten zijn inhoudelijk voldoende deskundig Mijn docenten hebben voldoende didactische kwaliteiten Mijn docenten zijn in het algemeen voldoende bereikbaar Optioneel De aansluiting van de stages bij het overige onderwijs Optioneel De kennis van de docenten over de beroepspraktijk V7a V7b V7c De inhoudelijke deskundigheid van docenten De didactische kwaliteit van docenten De bereikbaarheid van docenten 102 Onderzoeksverantwoording v1

103 Nr. Stelling STO 2009 Nr. Vraag NSE 2010 E1 E2 In hoeverre ben je het eens met de stelling: Vooraf wordt duidelijk aangegeven waarop ik beoordeeld word De toetsing sluit voldoende aan op de doelstellingen van het onderwijs V10a V10b Hoe tevreden ben je over: De duidelijkheid van de criteria waarop beoordeeld wordt De aansluiting van de toetsing en beoordeling bij de inhoud van de opleiding E3 Mijn resultaten worden tijdig bekend gemaakt V10c Het tijdig bekend maken van resultaten en beoordelingen F1 F2 F3 Ik word voldoende geïnformeerd over de inhoud van de opleiding Ik word voldoende geïnformeerd over regels en procedures Ik word voldoende geïnformeerd over mijn studievoortgang V8a De voorlichting over je opleiding Optioneel De beschikbaarheid van informatie over regels en procedures V8b De beschikbaarheid van informatie over jouw studievoortgang G1 Het lesrooster wordt tijdig bekend gemaakt V11a Het tijdig bekendmaken van de roosters G2 Het rooster voor de toetsing wordt tijdig bekend gemaakt V11a Het tijdig bekendmaken van de roosters G3 Roosterwijzigingen worden tijdig bekend gemaakt V11b Het tijdig bekendmaken van wijzingen in de roosters G4 H1 H2 H3 H4 Het lesrooster maakt het mij mogelijk mijn tijd efficiënt te besteden Er vinden voldoende onderwijsevaluaties onder studenten plaats Ik word voldoende geïnformeerd over de uitkomsten van onderwijsevaluaties De opleiding maakt voldoende gebruik van de uitkomsten van onderwijsevaluaties De opleiding reageert adequaat op klachten en problemen V11c V18a V18b V18c V18d De spreiding van contacturen over de studieweek Onderwijsevaluaties die onder studenten plaatsvinden Informatie over de uitkomsten van onderwijsevaluaties De wijze waarop je opleiding gebruik maakt van de uitkomsten van onderwijsevaluaties De manier waarop je opleiding op klachten en problemen reageert I1 Ik ben tevreden over de bibliotheek/mediatheek V9d De bibliotheek/mediatheek I2 Ik ben tevreden over de onderwijsruimten V9a De geschiktheid van de onderwijsruimten I3 Ik ben tevreden over de ICT-voorzieningen V9e De ICT-faciliteiten J1 Ik ben tevreden over de informatiebalie Optioneel De informatiebalie J2 Ik ben tevreden over de studentenadministratie Optioneel De studentenadministratie J3 Ik ben tevreden over de restauratieve voorzieningen V15b De restauratieve voorzieningen op je instelling K1 De studielast is voldoende gespreid over het jaar V12a De spreiding van de studielast over het studiejaar K2 De opleiding is te doen in de tijd die ervoor staat V12b De haalbaarheid van deadlines 103 Onderzoeksverantwoording v1

104 Bijlage D: Overzicht tabellen en figuren Figuur 1: Algeheel responsverloop NSE per week Figuur 2: Respons per dag van de week Figuur 3: Resultaten NSE per cluster: totaal hoger onderwijs Figuur 4: Resultaten NSE per cluster: hbo en wo Figuur 5: Voorbeeld instellingsrapportage Figuur 6: Verdeling van de antwoordschalen (%) Overzicht 1: Berekening weegfactor Overzicht 2: Modelspecificatie model Overzicht 3: Methode-effect Tabel 1: Steekproefomvang van de unieke opleiding- en instellingscombinaties... 8 Tabel 2: Overzicht elektronische mailings... 9 Tabel 3: Overzicht schriftelijke mailings Tabel 4: Respons per instelling Tabel 5: Multilevel-model effecten van incentives op totaaloordeel over de opleiding Tabel 6: Responsverschillen fase 1 en fase 2: type hoger onderwijs Tabel 7: Responsverschillen fase 1 en fase 2: bekostiging Tabel 8: Responsverschillen fase 1 en fase 2: soort hoger onderwijs Tabel 9: Responsverschillen fase 1 en fase 2: geslacht Tabel 10: Responsverschillen fase 1 en fase 2: leeftijd Tabel 11: Responsverschillen fase 1 en fase 2: studiejaar Tabel 12: Factoranalyse clusters studentoordelen Tabel 13: Betrouwbaarheid clusters Tabel 14: Gemiddelde studentenoordeel over clusters en bijbehorende variabelen per jaar Tabel 15: Verdeling personen binnen NSE en populatie naar geslacht, studiejaar en opleidingsvorm Tabel 16: Verdeling personen per groep binnen NSE en populatie naar soort hoger onderwijs, jaar en geslacht Tabel 17: Grootte van intervallen van clusterscores naar opleidingsvorm Tabel 18: Grootte van intervallen van clusterscores naar hoger onderwijs Tabel 19: Marges naar opleiding en instellingen voor opleidingen die zijn opgenomen in de Studiekeuzedatabase Tabel 20: Veranderingen in enquêtevragen per cluster Tabel 21: Aantallen records per jaar (basisbestand) Tabel 22: Overzicht opname opleidingen op Studiekeuze Tabel 23: Overzicht opname opleidingen op Studiekeuze123 naar aantal opleidingen en opleidingskenmerken Tabel 24: Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten en opleidingskenmerken Tabel 25: Overzicht opname opleidingen op Studiekeuze123 naar aantal studenten, type en jaar Tabel 26: Responsaantallen van niet-opgenomen opleidingen Tabel 27: Lineaire regressie analyse (model 4) van studieoordeel Inhoud op enquêtemethode, studentenkenmerken en opleidingskenmerken en na correctie (model 3) Onderzoeksverantwoording v1

105 Tabel 28: Lineaire regressie analyse (model 4) van studieoordeel Keuze op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 29: Lineaire regressie analyse (model 4) van studieoordeel Samenhang op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 30: Lineaire regressie analyse (model 4) van studieoordeel Werkvormen op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 31: Lineaire regressie analyse (model 4) van studieoordeel Loopbaan op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 32: Lineaire regressie analyse (model 4) van studieoordeel Docenten op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 33: Lineaire regressie analyse (model 4) van studieoordeel Communicatie op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 34: Lineaire regressie analyse (model 4) van studieoordeel Studeerbaarheid op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 35: Lineaire regressie analyse (model 4) van studieoordeel Gebouwen op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 36: Lineaire regressie analyse (model 4) van studieoordeel Faciliteiten op enquêtemethode, studentenkenmerken en opleidingskenmerken Tabel 37: Correctiefactoren berekend op basos van multilevel-analyse Tabel 38: Totaal tevredenheidscore NSE Tabel 39: Gemiddeld belang bij opname van hoofdthema s in de NSE Tabel 40: Belang bij opname van hoofdthema s in de NSE, naar soort onderwijs (in %) Tabel 41: Algemene oordelen Tabel 42: Inhoud van de opleiding Tabel 43: Opgedane competenties Tabel 44: Voorbereiding beroepsloopbaan en stage binnen de studie Tabel 45: Kwaliteit van de docenten Tabel 46: Informatie vanuit opleiding Tabel 47: Toetsing en beoordeling Tabel 48: Onderwijsvoorzieningen Tabel 49: Start van de studie Tabel 50: Sfeer/sociale omgeving Tabel 51: Studielast Tabel 52: Studiebegeleiding Tabel 53: Internationale studenten Tabel 54: Studieroosters Tabel 55: Overige faciliteiten en studieomgeving Tabel 56: Academische competenties Tabel 57: Statistieken van de antwoordschalen Tabel 58: Transformatie schema voor de verschillende antwoordschalen Tabel 59: Factoroplossing voor de 13 basismodules Tabel 60: Betrouwbaarheid van module Algemeen oordeel Tabel 61: Betrouwbaarheid module Inhoud van de opleiding Tabel 62: Betrouwbaarheid module Algemene vaardigheden Tabel 63: Betrouwbaarheid module Wetenschappelijke vaardigheden Tabel 64: Betrouwbaarheid module Voorbereiding beroepsloopbaan Tabel 65: Betrouwbaarheid module Docenten van de opleiding Tabel 66: Betrouwbaarheid module Informatie vanuit de opleiding Tabel 67: Betrouwbaarheid module Studiefaciliteiten Tabel 68: Betrouwbaarheid module Toetsing en beoordeling Tabel 69: Betrouwbaarheid module Studierooster Onderzoeksverantwoording v1

106 Tabel 70: Betrouwbaarheid module Studielast Tabel 71: Betrouwbaarheid module Studiebegeleiding Tabel 72: Betrouwbaarheid module Onderwijsfaciliteiten Tabel 73: Betrouwbaarheid module Studieomgeving Tabel 74: Betrouwbaarheid module Betrokkenheid opleiding Tabel 75: Vergelijking STO en NSE Onderzoeksverantwoording v1