Een second opinion van de methode waarop het CHOICE-databestand rdt gebruikt Opdrachtgever: Science Guide Dr Uulkje de Jong Drs Pjotr Koopman September 2005
1 Inleiding Al jaren rden er bij studenten enquêtes afgenomen over hun tevredenheid met het onderwijs, de voorzieningen en de docenten. Deze jaarlijkse database rdt in opdracht van het Ministerie van Onderwijs, Cultuur en Wetenschappen (OCW) vervaardigd door het Centrum Hoger Onderwijs Informatie (Choice) in Leiden. De informatie in de database vormt mede de basis voor de Keuzegids Hoger Onderwijs (uitgegeven bij EPN in Houten), het belangrijkste publieksproduct van Choice (Choice, 2004). Sinds enkele jaren rden de bestanden geaggregeerd op opleidingsniveau beschikbaar gesteld voor instellingen en andere belangstellenden. Voor instellingen zijn de uitkomsten van groot belang, omdat de media vaak uitvoerig aandacht besteden aan de uitkomsten. In het bijzonder de instellingen die er uit springen of die toch al veelvuldig in het nieuws zijn geweest rden eruit gelicht. Zo kan er een soort vicieuze cirkel ontstaan waarin eerst slecht nieuws rdt verspreid, waarna dit in de studentenoordelen gereflecteerd rdt, waarop slecht nieuws rdt verspreid etc. Hiermee is niet gezegd dat alle uitkomsten reflecties zijn van media-aandacht en geen relatie hebben met de werkelijkheid. Het probleem is dat er nog geen onderzoek is gedaan waarin de methodologie van het onderzoek naar studentenoordelen in Nederland rdt beoordeeld. Jaarlijks rden uitkomsten gepubliceerd en daarna rdt er snel weer overgeschakeld naar de activiteiten die aan de volgende jaarcyclus zijn verbonden. Ook is er geen extern onderzoeksbureau geweest dat de data aan een second opinion heeft onderrpen. De vraag die we willen beantorden in deze onderzoeksrapportage is Welke kenmerken van de studieomgeving zijn van invloed op het gemiddelde studentenoordeel per opleiding? Er zijn verschillende factoren die van invloed kunnen zijn op het studentenoordeel, zoals kenmerken van de opleiding en kenmerken van de instelling. In de database zijn hierover een aantal kenmerken opgenomen. We sommen hier niet alle variabelen op die in de database zijn opgeslagen, maar geven een eerste indicatie. Kenmerken van de opleiding, o.a.: - percentage vrouwelijke studenten - studietempo rendement - jaar waarin gegevens verzameld zijn Kenmerken van de instelling, o.a.: - regio - aantal opleidingen - aantal studenten
2 Resultaten De gegevens van de Nederlandse Studenten Enquête die de basis vormen voor de studentenoordelen die in de Keuzegids rden gebruikt, kunnen voor een veel beter doel rden gebruikt dan voor het vellen van een oordeel over de instelling waar men de opleiding volgt. Terecht rden er dit jaar geen sterretjes meer uitgedeeld aan de goed en de slechter scorende opleidingen. Terecht, omdat er geen enkele reden is om te veronderstellen dat alle verschillen die gevonden rden tussen opleidingen ook door verschillen in opleidingskwaliteit rden veroorzaakt. Het oordeel van studenten over hun opleiding rdt immers door een heleboel factoren beïnvloed, zoals hun eigen achtergronden, hun eigen studiesucces, de directe studieomgeving, het soort opleiding, de instelling en de regio. Over veel van deze factoren is ook informatie opgenomen in de database, maar tot nu toe is er geen gebruik gemaakt om te onderzoeken of en in welke mate deze factoren de tevredenheid van studenten meebepalen. Deze korte verkenning is een eerste poging na te gaan welke mogelijke verschillen er tussen groepen studenten bestaan in de tevredenheid over hun opleiding. De vraag of er als we rekeninghouden met deze factoren nog instellingsverschillen blijven bestaan, kunnen we wel met ja beantorden, maar het is een heel andere rangorde dan die de keurige rijtjes laten zien. Hebben wij dan een beter rijtje? Nee, wij zijn ons van onze beperkingen bewust en menen dat hiernaar uitgebreider onderzoek moet rden gedaan. Vertel me wie gij zijt en ik zal u zeggen hoe tevreden gij zijt We beginnen met een serie veronderstellingen te maken die we vervolgens zullen toelichten. Steeds rdt er aangegeven of er aanwijzingen zijn of de veronderstelling overeenkomt met de uitkomsten van de analyses. 1. wij van het WO... 2. wij zijn geselecteerd 3. uit het westen alleen maar klaagzang 4. groot maakt onbemind 5. aan het begin van de tunnel 6. betere studenten zijn tevredener 7. vrouwen maken kwaliteit 8. de dwaallichtjes 9. CHOICE doet zijn best 10. stilzitten als je geschoren rdt Toelichting en uitkomsten van de veronderstellingen:
1 Wij van het... Studenten van het hebben een gemiddeld een hogere intelligentie en een betere sociale achtergrond is gebleken uit eerdere onderzoeken naar studentenpopulaties. Uit ander onderzoek bleek dat zij ook een hoger gevoel van eigenwaarde hebben. Zij zullen daarom de oorzaken voor eventuele slechte studieresultaten minder snel toeschrijven aan de omgeving. We verwachten daarom dat -studenten tevredener zullen zijn dan studenten. Het blijkt dat deze veronderstelling bij de meeste onderwerpen uitkomt. Alleen bij studeerbaarheid is de HBO-score iets hoger dan in het WO. Bij Zelf-leren-denken en bij voorbereiding loopbaan is het verschil niet groot. Grafiek 1: Gemiddelde studenten tevredenheid op 10 clusters en totaalscore Studentenoordeel 7.8 7.6 7.4 7.2 7.0 6.8 6.6 6.4 6.2 6.0 Inhoud Samenhang ZelfLerenDenken Docenten RoostersEnTentamens Studeerbaarheid Voorbereiding loopbaan Mediatheek en computers Lesruimtes Tevreden Studentenoordeel Totaalscore Studentenoordeel
2 Wij zijn geselecteerd Studenten die geselecteerd zijn op basis van eigen prestaties hebben gevoel van uitverkoren te zijn. Dit uit zich in het gevoel van bijzonder te zijn, niet van de straat. Dit komt meer voor in sectoren waar studentenstops bestaan zoals in de sector taal en cultuur van het en in de sector gezondheid bij het. Wij verwachten dat deze sectoren eruit springen in tevredenheid. De sector Kunst en Cultuur scoort in het duidelijk het hoogst, maar in het scoort deze sector ook heel goed. Gezondheid in het scoort goed, maar er zijn sectoren die vergelijkbaar zijn. Dit zijn - naast de al genoemde Kunst en Cultuur - sectoren waarvoor eveneens speciale toelatingsvereisten gelden. Grafiek 2: Gemiddelde totaalscore Studentenoordeel naar sector voor en (bron:choice, 2005; eigen bewerking SCO) studentenoordeel (overall-oordeel) naar sector en - 7,20 Mean Gemiddeld overall-oordeel 6,70 6,60 Taal en Communicatie Onderwijs en Opvoeding Gedrag en Maatschappij Economie en Bedrijf Exact en Informatica Aarde en Milieu Kunst en Cultuur Techniek Gezondheid Recht en Bestuur sectorcode
Bindend studieadvies Een tweede vorm van selectie treedt op bij het bindend studieadvies. Opleidingen verschillen in de norm die gehanteerd rdt voor het BSA: van geen bsa tot meer dan 50 ects. Opleidingen met de strengste norm hebben de meest tevreden studenten. Maar er is geen sprake van een afnemende tevredenheid bij een minder strenge norm. De grote groep opleidingen die een norm hebben tussen 40 en 45 ects vertonen de minste tevredenheid. Opleidingen zonder norm komen bijna alleen voor in de sector kunst en cultuur. Eerder zagen we al dat hier de opleidingen met de hoogste tevredenheid te vinden zijn. Grafiek 3: Gemiddelde totaalscore Studentenoordeel naar norm BSA voor HBO (bron:choice, 2005; eigen bewerking SCO) studentenoordeel naar norm voor bindend studieadvies; 7,05 Gemiddeld overall oordeel 6,95 6,85 6,75 geen 28-30 31-39 40-45 46-52 bindend studieadvies In het Wo is er geen effect te vinden van het wel of niet hanteren van een bindend studieadvies.
Grafiek 4: Gemiddelde totaalscore Studentenoordeel naar norm BSA voor HBO (bron:choice, 2005; eigen bewerking SCO) studentenoordeel (overall-oordeel) naar al of niet bindend studieadvies; 8 Gemiddeld overall-oordeel 6 4 2 0 nee bindend studieadvies ja
3 Uit het westen alleen maar klaagzang Uit een aantal bevolkingsonderzoeken is naar voren gekomen dat in de grote steden in het westen, met name in Amsterdam, meer GGZ-problemen voorkomen dan in de rest van Nederland. Een verschijningsvorm hiervan is onzekerheid en gebrek aan zelfvertrouwen en problemen toeschrijven aan de anderen, de docenten, de opleiding, etc.. In het Hbo hebben opleidingen uit het Noord- en Zuid Holland minder tevreden studenten; in het Wo zijn de verschillen veel kleiner, maar scoort Noord Holland wel het laagst. Grafiek 5: Gemiddelde totaalscore Studentenoordeel naar Regio voor HBO en WO (bron:choice, 2005; eigen bewerking SCO) studentenoordeel (overall-oordeel) naar regio en - 7,20 Gemiddeld overall-oordeel 6,70 6,60 noordholland zuid holland utrecht mid-oost zeelandw.bra o.brablimb noordoost regio10
4 Groot maakt onbemind In een massale omgeving met veel studenten en veel opleidingen is het moeilijker een binding te ontwikkelen met de instelling dan in een overzichtelijke kleine instelling. Een gevolg hiervan is dat in een grote instelling een student veel eerder ontevreden is over allerlei zaken dan in een kleine instelling, want over een onbekende is gemakkelijker een negatief oordeel te geven dan over iemand die je kent en waarvan je weet dat ie ook maar zijn best doet. De grootte van de instelling in de vorm van aantal studenten en aantal opleidingen hangen negatief samen met tevredenheid. In het Hbo bestaat er een grote verscheidenheid aan instellingen qua grootte. In de grafiek is een duidelijke afname van de tevredenheid te zien naarmate de instelling groter is. In het Wo zijn er slechts twee categorieën instellingen, zonder een noemenswaardige samenhang met tevredenheid. Grafiek 6: Gemiddelde totaalscore Studentenoordeel naar aantal ingeschreven studenten voor HBO studentenoordeel (overall-oordeel) naar aantal ingeschreven studenten; - 7,50 7,40 Gemiddeld overall-oordeel 7,30 7,20 0-800 801-1250 1251-2000 2001-10000 10001-30300 aantal ingeschreven studenten
Het aantal opleidingen laat eveneens een samenhang zien met tevredenheid, in het Hbo sterker dan in het Wo. Grafiek 7: Gemiddelde totaalscore Studentenoordeel naar aantal opleidingen voor HBO en WO studentenoordeel (overall-oordeel) naar aantal opleidingen en - 7,50 7,40 Gemiddeld overall-oordeel 7,30 7,20 6,70 1 2-5 6-15 16-35 36-54 aantalopleidingenvt_52
5 Aan het begin van de tunnel Studenten die uitvallen, stoppen vaak al snel in het studiejaar met een opleiding. De groep die na een half jaar nog studeert gaat een band aan met de opleiding en ontwikkelt loyaliteit aan de instelling. Aan het eind van de opleiding ontstaat het besef dat men niet voor altijd zal blijven en er ontstaat ruimte voor kritiek. In het Hbo zien we dat opleidingen waar veel eerstejaars zijn geïnterviewd een hogere tevredenheid vertonen dan opleidingen met een klein aandeel eerstejaars; in het Wo is er nauwelijks een verschil. (Grafiek 8) Grafiek 8: Gemiddelde totaalscore Studentenoordeel naar Percentage Eerstejaars in de steekproef voor HBO en WO studentenoordeel (overall-oordeel) naar % 1e jaars respondenten; - 7,20 Gemiddeld overall-oordeel 6,70 0-20% 21-40% 41-60% 61-80% >80% Eerstejaars_5
6 Betere studenten zijn tevredener Uit onderzoek op individueel niveau bleek dat studenten die betere resultaten halen op een later moment meer tevreden zijn over hun opleiding. Als we deze uitkomst transformeren naar het niveau van de opleiding is het moeilijker een oorzaak-gevolg relatie te poneren, maar wel is het mogelijk de veronderstelling te onderzoeken dat opleidingen met een hoog percentage geslaagden na 5 jaar (HBO) of na 8 jaar (WO) gemiddeld een hogere tevredenheid scoren dan opleidingen met een klein aandeel geslaagden. In grafiek 9 is te zien dat deze veronderstelling niet opgaat in het WO, maar in het HBO wel. Opleidingen met een laag percentage geslaagden na 5 jaar blijven achter qua gemiddelde tevredenheid. Grafiek 9: Gemiddelde totaalscore Studentenoordeel naar Percentage geslaagden na 5 jaar voor HBO en na 8 jaar voor WO studentenoordeel (overall-oordeel) naar % geslaagden na 5 () of 8 () jaar; - 7,30 7,20 Gemiddeld overall-oordeel 6,70 6,60 6,50 5% - 20% 21% - 30% 31% - 40% 41% - 50% 51% - 60% 61% - 70% 71% - 95% pcgeslaagden
7 Vrouwen maken kwaliteit Al vele jaren blijken vrouwen de betere studenten te zijn als het gaat om studietempo en slaagpercentages. Dit zou kunnen resulteren in een grotere tevredenheid bij opleidingen met een hoog percentage vrouwelijke studenten, want niet alleen vrouwen zien dat het goed gaat ook de mannelijke studenten profiteren van de goede uitstraling. Uit deze analyse blijkt dat in het HBO opleidingen met veel vrouwen iets tevredener studenten hebben, maar in opleidingen met (bijna) alleen maar mannen oordeelt men ook positief. In het WO is het verband omgekeerd: hoe groter het aandeel vrouwen in de studentenpopulatie hoe kleiner de tevredenheid. Grafiek 10: Gemiddelde totaalscore Studentenoordeel naar Percentage vrouwen in de instroom voor HBO en WO studentenoordeel (overall-oordeel) naar % vrouwen in de voltijd instroom 2003; - 7,20 Gemiddeld overall-oordeel 6,70 0% 1-15% 16-50% 51-80% 81-100% %vrouw
8 De dwaallichtjes Sommige opleidingen trekken bovenproportioneel veel studenten die al eens elders hun geluk hebben gezocht en het niet hebben gevonden, de zogenaamde dwaallichtjes. Het effect van een grotere groep dwaallichtjes zou kunnen zijn dat zij nog steeds geen zekerheid hebben over hun toekomstwensen en dit omzetten in een grotere onvrede met hun studieomgeving. Uit onze analyse is evenwel niet gebleken dat percentage studenten dat al eerder ingeschreven is geweest in het hoger onderwijs een effect heeft op de studenttevredenheid. Grafiek 11: Gemiddelde totaalscore Studentenoordeel naar Percentage studenten die tussentijds van instelling zijn veranderd voor HBO en WO studentenoordeel (overall-oordeel) naar % studenten die tussentijds van instelling zijn veranderd; - Gemiddeld overall-oordeel 6,70 0-30% 31-50% 51-90% Percentage studenten tussentijds van instelling veranderd
9 Choice doet zijn best Het zou niet goed zijn als er geen ontwikkeling in de vraagstelling van de NSE zou zitten. Niettemin is dit altijd een heikele onderneming. In 2005 heeft CHOICE een deel van de vragenlijst aangepast en zo goed mogelijk de vergelijkbaarheid tussen de jaren geprobeerd te handhaven. In de database van 2005 zitten opleidingsresultaten verzameld in 2003, 2004 en 2005. Een enkele opleiding (3 HBO en 2 WO) heeft de oude resultaten uit 2002 gehouden, omdat er iets is misgegaan met de enquêtering. Als we de resultaten van de totaalscores uit de vier jaren naast elkaar zetten dan zien we een opmerkelijk verschil tussen HBO en WO. In 2005 is de gemiddelde Totaalscore in het Hbo veel lager dan in het WO. In de beschrijving van CHOICE lezen we dat er in 2005 een correctiefactor voor het WO is toegepast. Hoe zit dit nu precies? Is dit toch iets te royaal geweest? (Grafiek 12) Nader onderzoek hierna lijkt gewenst, want een andere verklaring kan zitten in de gebeurtenis-factor. Zijn er bepaalde gebeurtenissen in een bepaald jaar voorgevallen die van invloed kunnen zijn op de gemiddelde score in dat jaar. Hier gaan we verder op door in de volgende paragraaf. Grafiek 12: Gemiddelde totaalscore Studentenoordeel naar Jaar waarin geënquêteerd is; voor HBO en WO studentenoordeel (overall-oordeel) naar jaar enquete en 7,20 Mean Gemiddeld overall-oordeel 2002 2003 2004 2005 Jaar van enqueteren
10 Stilzitten als je geschoren rdt Een instelling kan in een bepaald jaar opeens overladen rden met negatieve publiciteit. Dit kan tot gevolg hebben dat studenten dit laten meewegen in hun oordeel over het onderwijs. Uitgangspunt is dat curriculum en voorzieningen van opleidingen van een instelling niet in één jaar heel erg veel kunnen veranderen. Indien blijkt dat er wel significante verschillen zijn tussen twee opeenvolgende jaren dan is er sprake van een media-effect. Het blijkt dat één instelling die afgelopen jaar veel negatieve publiciteit heeft gehad er een significant verschil is tussen de scores van opleidingen die in 2004 en in 2005 zijn geënquêteerd. Studenten lijken te rden beïnvloed door publiciteit in de media, waardoor het maar de vraag is of stilzitten nog wel de beste strategie is voor een instelling. In grafiek 13 zijn bovenin de grafiek de uitkomsten van instelling 23 weergeven en daaronder de scores van rest van de -opleidingen (scores min 2, dus een score 7 staat afgebeeld als 5). Grafiek 13: Gemiddelde Scores Studentenoordeel naar Jaar waarin geënquêteerd is(2004 en 2005); voor instelling 23 en rest HBO 7.0 verschil 2004 en 2005 instelling 23 en rest 6.0 5.0 4.0 3.0 2.0 Samenhang ZelfLerenDenken Docenten RoostersEnTentamens Lesruimtes 2004 2005 2004 -rest 2005 -rest Totaalscore Studentenoordeel Tot Slot De CHOICE-database is uitgegroeid tot een set informatieve bestanden waarin een schat aan gegevens bijeen is gebracht. In deze verkenning van de CHOICE-database zijn alleen geaggregeerde gegevens opgenomen. Hierdoor is het onmogelijk een adequate analyse uit te voeren waarin naar het niveau van het kenmerk een bijpassende statistische toets rdt uitgevoerd. Dat wil zeggen dat veronderstellingen over invloeden van individuele kenmerken rden getoetst op individueel niveau en dat bij kenmerken van de omgeving rekening rdt gehouden met verschillen tussen de individuen binnen die omgeving. Wijzelf hebben in deze analyse ook
geen rekening gehouden met de clustering van opleidingen binnen vestigingen die bepaalde kenmerken gemeenschappelijk hebben en die weer de invloeden van kenmerken op een hoger niveau ongedaan kunnen maken. Wel laat deze beperkte analyse zien dat als wie meent dat de tevredenheid van studenten een belangrijk kenmerk is van onderwijskwaliteit niet zelf tevreden kan zijn met een oppervlakkige weergave van gemiddelde studentenoordelen per opleiding. De data zijn er! De Toekomst Het is niet mogelijk zonder onderzoeksgelden een uitgebreidere analyse te maken. In deze verkenning is alleen gerapporteerd over het totaaloordeel van studenten. Er kon zoals gezegd geen gebruik rden gemaakt van het oorspronkelijke databestand waarin de individuele antorden zijn opgeslagen. Het verdient nader onderzoek te kijken in hoeverre de gegevensverzameling voor de Studentenmonitor voor het Ministerie van OCW niet gecombineerd kan rden met de Nederlandse Studenten Enquête. Nu levert de Studentenmonitor ook voornamelijk rechte tellingen op en simpele bivariate samenhangen zonder enige probleemstelling. Het is zonde dat er in Nederland zoveel geld gestopt rdt in dataverzameling en zo weinig in het gebruik van de data om inzicht te krijgen in processen en veranderingen. De indeling die binnen de CHOICE-database rdt gemaakt in sectoren en clusters is veel informatiever en dichter op de werkelijkheid dan de oude Hoop-indeling.