Academische Zaken Datum 3 november 2014 Opgemaakt door Hotze Lont
Inhoudsopgave 1. Doel van dit handboek... 3 2. De NSE als instrument voor kwaliteitszorg... 4 3. De uitkomsten van de afgelopen jaren... 7 4. Aan het werk met de NSE... 8 Pagina 2
1. Doel van dit handboek Elk jaar geeft de Nationale Studenten Enquête (NSE) een inkijkje in de tevredenheid van onze studenten. Het is belangrijk dat we daar als UvA zo goed mogelijk ons voordeel mee doen. Er vindt veel discussie binnen de universiteit plaats over de waarde van de NSE en over maatregelen die moeten worden genomen bij het binnenkomen van de resultaten. Wat zeggen de resultaten, zijn ze betrouwbaar en representatief voor hoe UvA-studenten over hun universiteit denken? Wat moeten we ermee doen? In de faculteiten vinden er allerlei goede initiatieven plaats. Ook enkele UvA-brede initiatieven vinden hun oorsprong in de NSE. Toch valt er nog meer uit de NSE te halen, want het is een rijke bron van data. Dit kleine handboek is bedoeld als bruikbaar houvast voor medewerkers van faculteiten en diensten. Het biedt inzicht in de waarde van de NSE, een korte analyse van de uitslagen, en enkele handvatten om ermee aan de slag te gaan. In de bijlagen staan inspirerende good practices en achtergrondinformatie. Het handboek is gericht op mensen die binnen hun faculteit of dienst betrokken zijn bij de reactie op de NSE: onderwijsdirecteuren, opleidingsdirecteuren, kwaliteitszorgmedewerkers, baliepersoneel, communicatiemedewerkers en andere beleidsmedewerkers. Het helpt hen om prioriteiten te stellen, acties in gang te zetten of acties te verleggen naar het juiste niveau. Hopelijk prikkelt het handboek tot gedachten en tot meer intensieve uitwisseling van praktijken en ideeën, die de gehele UvA ten goede komen. Verdere achtergrondinformatie, good practices, en een overzicht van facultaire contactpersonen zijn te vinden op de NSE-pagina: medewerker.uva.nl > A-Z > Nationale Studenten Enquête (NSE), beheerd door Academische Zaken. Het is de bedoeling om deze informatie doorlopend te actualiseren. Gebruikers worden uitgenodigd om via de contactpersonen nieuwe ideeën en nieuwe ervaringen aan te reiken. Pagina 3
2. De NSE als instrument voor kwaliteitszorg De NSE is een tevredenheidsonderzoek. Het vraagt studenten naar hun tevredenheid over 15 hoofdthema s (zie tabel 1) aangaande hun opleiding. Tevredenheid wordt gemeten op een 5-puntsschaal die loopt van zeer ontevreden (1) naar zeer tevreden (5). Er is gekozen voor een 5-puntsschaal en niet voor een rapportcijfer (1-10), omdat buitenlandse studenten niet gewend zijn met onze rapportcijfers te werken. De inhoud van de opleiding De verworven algemene vaardigheden binnen je opleiding De verworven wetenschappelijke vaardigheden binnen je opleiding De voorbereiding op de beroepsloopbaan De docenten van de opleiding De informatie vanuit je opleiding De studiefaciliteiten van je opleiding Toetsing en beoordeling De studieroosters De studielast De studiebegeleiding De overige faciliteiten en de studieomgeving De algemene sfeer op je opleiding De mate waarin je betrokken wordt bij de verbetering van je opleiding Tabel 1. Thema s NSE De vragenlijst begint met de vraag hoe tevreden men is over de studie in het algemeen. Daarna wordt gevraagd naar een algemeen oordeel per thema (bijvoorbeeld Hoe tevreden ben je over de inhoud van de studie? ). Aansluitend wordt naar de tevredenheid over diverse aspecten van elk thema gevraagd. Deze opbouw biedt de mogelijkheid om ook het relatieve belang van elk thema en aspect te bepalen, waarover later meer. In tevredenheidsonderzoek wordt gewoonlijk een score van 3,5 of hoger op een 5-puntschaal als een voldoende beschouwd. Alles daaronder is onvoldoende, hoewel een score van tussen de 3 en 3,5 nog wel eens als mager maar niet onvoldoende gezien wordt. In UvAdata is naast het gemiddelde cijfer van tevredenheid ook het percentage tevreden studenten (scores 4 en 5) te vinden. De gemiddelde score en het percentage dat 4 of 5 aankruist, zijn twee alternatieve manieren om de tevredenheid op een aspect samen te vatten. De gemiddelde score telt out-liers (naar beide kanten) zwaarder mee. Het algemeen oordeel over de studie in het algemeen, UvA-breed, was in 2014 gemiddeld 3,9 en 76,0% gaf een 4 of hoger. 2.1 Representativiteit en betrouwbaarheid Een veel gehoorde vraag over de NSE is of de respons niet te laag is om een representatief beeld te geven van wat studenten van de UvA vinden. Mogelijk doen alleen studenten mee die iets te klagen hebben. De respons ligt over het algemeen tussen de 25 en 35%. Er is zowel door ResearchNed (het onderzoeksbureau dat de NSE meerdere jaren uitvoerde) als door de UvA zelf onderzoek gedaan naar de representativiteit van de respons. ResearchNed onderzocht door middel van een non-respons onderzoek of de studenten die niet meededen aan de enquête positiever of negatiever over hun opleiding dachten dan studenten die wel meededen. Het bleek dat studenten die niet meededen met Pagina 4
de NSE 0,04 punt lager scoorden op de vraag naar het algemene oordeel. Dit verschil was weliswaar statistisch significant, maar in de praktijk betekenisloos. Uit het onderzoek van de UvA kwam naar voren dat studenten die de NSE invulden over het algemeen betere cijfers haalden en gemotiveerder voor hun studie waren dan studenten die niet meededen. Met andere woorden, betere studenten zijn iets tevredener over hun opleiding dan minder goed presterende studenten. Het is dus niet juist dat vooral ontevreden studenten de NSE invullen, maar dat de score eerder een te positief dan een te negatief beeld laat zien. Overigens zijn de verschillen erg klein: als de scores van de verschillende UvA-opleidingen statistisch gecorrigeerd werden voor goede studenten veranderde de score slechts licht. Bovendien vond er bijna geen verandering in volgorde van hoge naar lage score tussen opleidingen plaats, wat er op wijst dat alle opleidingen min of meer gelijk getroffen werden door de respons bias. Wat ook wel voor de hand ligt omdat alle opleidingen zowel meer als minder gemotiveerde studenten kennen. 2.2 Base-rate effecten? De UvA scoort op alle thema s onder het landelijk gemiddelde. Als mogelijke verklaring hiervoor wordt wel aangedragen dat UvA-studenten kritischer zouden zijn dan studenten elders in het land (en omdat de VU ook slecht scoort, wordt de groep kritische studenten wel opgerekt tot Amsterdamse studenten). Met andere woorden, de verschillen tussen instellingen zouden vooral verklaard kunnen worden aan de hand van verschillen in de studentenpopulatie. Het zou ook kunnen dat dit effect zich al binnen de UvA voordoet tussen disciplines; dus dat studenten van de ene discipline stelselmatig lagere scores toekennen dan van de andere. Dat zou dan ook moeten gelden voor de nietopleidingsgebonden vragen over huisvesting in Amsterdam (met uitzondering van AUC-studenten). Als studenten van de verschillende opleidingen significant verschillen in hun oordeel hierover en dit oordeel hangt samen met de algemene tevredenheid over de opleiding, dan zou dat kunnen wijzen op een zogenaamd base-rate effect. Hoewel tevredener studenten in het algemeen ook tevredener over de huisvesting zijn, blijkt er echter geen verschil te zijn tussen de verschillende opleidingen als het gaat om tevredenheid met huisvesting. Binnen de UvA kan er dus geen base-rate vastgesteld worden. Daarnaast hebben in de 2014 editie van de NSE alle brede instellingen een neutrale vraag laten meelopen waarmee eventuele base-rate verschillen tussen studenten van de verschillende instellingen kunnen worden vastgesteld. Alle studenten van de zes brede instellingen in Nederland kregen de vraag voorgelegd hoe tevreden ze waren met de informatievoorziening vanuit DUO. Als er sprake zou zijn van een base-rate effect zouden UvA (en VU) studenten lager scoren op deze vraag en zou er een samenhang moeten zijn tussen deze vraag en de algemene waardering voor de opleiding. Het bleek echter ook hier dat er binnen opleidingen geen verschil is tussen studenten van de verschillende instellingen op de vraag over DUO. UvA en VU studenten zijn dus niet kritischer in hun oordeel dan andere studenten in Nederland. De bovengenoemde analyses (voor de UvA statistisch uitgevoerd door Abe Hofman van de afdeling Psychologie) ondersteunen de methodologische robuustheid van de NSE en daarmee de conclusie dat verschillen in opleidingsscores hun oorzaak in de opleiding zelf vinden. 2.3 Kwaliteitszorg In de media worden de resultaten van de NSE gebruikt als maatstaf voor de kwaliteit van opleidingen. Elsevier brengt bijvoorbeeld een editie uit met de titel De beste studies en ook de studiekeuzegids van het CHOI spreekt vaak in termen van de kwaliteit van opleidingen. Er kan echter niet zonder meer gesteld worden dat de NSE onderwijskwaliteit meet. Zo blijkt er bijvoorbeeld geen verband te zijn tussen de tevredenheidsscore van onze opleidingen en hun Pagina 5
accreditatiescore. Wel zegt de NSE iets over de verwachtingen van studenten en de mate waarin de opleiding voldoet aan deze verwachtingen. Op dat facet biedt de NSE dus informatie over de kwaliteit van ons werk. Het is echter vaak niet meteen duidelijk aan welke verwachting niet voldaan is: dat studenten ontevreden zijn over informatie over (bijvoorbeeld) regels en procedures geeft geen informatie over welke informatie studenten missen of wat er anders zou moeten. De NSE moet dan ook in eerste instantie gezien worden als een middel om problemen te signaleren. Het is aan de opleidingen om met de opleidingscommissie als logisch startpunt in dialoog te zijn met de eigen studenten en docenten over de wederzijdse verwachtingen en het wel (of waarom niet) daaraan kunnen voldoen. Pagina 6
3. De uitkomsten van de afgelopen jaren Zoals eerder vermeld, scoort de UvA ten opzichte van (vrijwel) alle andere instellingen aan de lage kant. In de media, met name in de Studiekeuzegids, wordt dit verschil uitvergroot door de scores van de verschillende universiteiten te categoriseren in -- tot ++. Deze symbolen geven een relatief verschil aan tussen instellingen. Dat dit verschil per opleiding en per onderwerp in absolute zin dus kan verschillen en bovendien erg klein kan zijn, blijft daardoor onbelicht. Ook per thema scoorde de UvA in de afgelopen jaren altijd onder het landelijk gemiddelde, maar ook hier geldt dat de verschillen in absolute zin, voor de meeste thema s erg klein zijn. Op algemene tevredenheid en belangrijke thema s als inhoud en docenten week de UvA-score nooit meer dan 0,1 punt af van het landelijk gemiddelde. In UvAdata zijn de scores van de afgelopen vijf jaar te vinden onder onderwijs > waardering > NSE, ook in vergelijking met andere instellingen. De scores kunnen voor elke opleiding per thema en per vraag opgeroepen worden, behoudens bij een respons van kleiner dan 5. Van de 15 hoofdthema s zijn er twee die geen verband houden met de twee belangrijkste hoofdthema s, inhoud en docenten. Dat zijn studentenhuisvesting en studieomgeving. Amsterdam scoort notoir slecht op studentenhuisvesting en goed op studieomgeving. Bij de overige onderwerpen scoort de UvA het hoogst op de sfeer en op inhoud en docenten. De laagst scorende onderdelen zijn voorbereiding beroep, begeleiding, en betrokkenheid bij verbetering (feedback). Ook in vergelijking met andere universiteiten zijn dat de sterke en zwakke punten, waarbij aangevuld moet worden dat de UvA ook op informatievoorziening (over en vanuit de opleiding) relatief laag scoort. In 2014 heeft de UvA zich wel verbeterd op de laag scorende hoofdthema s, maar niet over de hele linie. Pagina 7
4. Aan het werk met de NSE Sommige verbeterpunten kunnen het best op centraal niveau worden geadresseerd, andere bij ondersteunende diensten. De meeste punten kunnen beter binnen de faculteit of op een lager niveau worden aangepakt, bijvoorbeeld bij graduate schools en colleges, individuele opleidingen of ondersteunende afdelingen. Dit laatste ligt het meest voor de hand als de verbeterpunten bij de ene opleiding veel sterker spelen dan bij de andere, maar ook als ingrepen op een lager niveau eenvoudiger te realiseren zijn. De UvA hanteert als meest algemene uitgangspunt zo laag als het kan, en zo hoog als het moet. Voorbeelden van centraal opgepakte onderwerpen zijn vaak van ICT-technische aard, zoals de mobiele toegang tot SIS of het project Terugkoppeling van onderwijsevaluaties aan studenten uit UvA Q; of het project Verbeteren interne communicatie (zie NSE-pagina op medewerker.uva.nl). Deze projecten zijn mede naar aanleiding van de NSE in gang gezet. De afstemming tussen onderdelen van de UvA kan op verschillende niveaus plaatsvinden. Voor een georganiseerde afstemming tussen onderdelen van de UvA is het van belang dat alle niveaus hun eigen analyse hebben uitgevoerd en mogelijke acties hebben verkend. Opleidingsdirecteuren zorgen voor de eerste analyse van de uitkomsten op opleidingsniveau. Zij vergelijken de NSE-score met scores uit voorgaande jaren, andere opleidingen binnen de UvA, en opleidingen bij andere universiteiten. In de PDCA-cyclus reflecteren opleidingscommissies in hun jaarverslag (september/oktober) op hun NSE-score en de analyse van de opleidingsdirecteur. De conclusies en acties worden besproken in de Facultaire Studentenraad en vinden hun neerslag in het jaarplan van het College of de Graduate School (december). ICT-gerelateerde acties worden via de IT-governance stuurgroepen geprioriteerd voor de komende begroting. Hieronder worden enkele handreikingen gegeven die opleidingsdirecteuren, opleidingscommissies, en andere betrokkenen kunnen benutten. Een uitgebreidere uitwerking en praktische voorbeelden zijn te vinden op de NSE-pagina op medewerker.uva.nl. Daar zijn ook de uitgangspunten voor centrale-decentrale afstemming beschreven. 4.1 Analyse: het identificeren van knelpunten door vergelijking De meest voor de hand liggende methode om knelpunten in een opleiding te onderscheiden, is het vergelijken van de scores per vraag. Vergelijken kan op drie manieren: 1. Vergelijken binnen de opleiding: welke aspecten van de opleiding worden laag gewaardeerd (lager dan 3 of lager dan 50%) en welke aspecten hoog (hoger dan 3,5 of hoger dan 65%). 2. Vergelijken met andere opleidingen: op welke aspecten scoort de opleiding lager dan de vergelijkingsgroep. De groep waarmee vergeleken wordt, kan zijn verwante opleidingen (binnen hetzelfde HOOP-gebied), de hele faculteit of de hele UvA. Vergelijking buiten het eigen vakgebied is in het algemeen minder zinvol, behalve om te leren van waar men opmerkelijke successen heeft geboekt. 3. Vergelijken met andere instellingen: in UvAdata zijn ook de resultaten te vinden van de andere instellingen. Ook hier geldt dat de score het best vergeleken kan worden met dezelfde of verwante opleidingen. Voor de onderlinge vergelijking tussen eenheden gaat de voorkeur binnen de UvA uit naar rapportage op basis van percentage tevredenheid. 4.2 Aanvullend onderzoek en overleg met studenten De uitkomsten van de NSE geven vaak geen pasklare antwoorden. Hij toont symptomen en geen oorzaken. Voordat er actie wordt ondernomen, is het daarom verstandig om de uitkomsten voor te Pagina 8
leggen aan de eigen studenten. Vaak zijn zij prima in staat om uit te leggen en te helpen begrijpen wat de uitkomsten betekenen. Het peilen bij studenten kan op verschillende manieren: bespreking met de studentleden in de opleidingscommissie; bespreking met de FSR; aanvullende enquête; focusgroepdiscussie. Als een probleem UvA-breed speelt behoort voorts een verdiepend kwantitatief onderzoek via het UvA-studentenpanel tot de mogelijkheden. Is een probleem specifieker voor een opleiding dan ligt onderzoek (kwantitatief of kwalitatief) onder de studenten van de opleiding meer voor de hand. De uitkomsten van deze aanvullende analyses geven nuttige informatie voor het ontwerpen van verbetermaatregelen. Mogelijk dragen studenten tijdens het aanvullende onderzoek de oplossingen zelf al aan. Nog een mogelijkheid tenslotte om de NSE-scores nader te duiden is UvA Q. UvA Q is het meetinstrument voor vakevaluaties en (vanaf 2014-2015) ook voor curriculumevaluaties. UvA Q scores over vakken zijn eveneens via UvAdata toegankelijk en zijn daarmee een goede aanvullende bron van informatie over wat studenten van hun opleiding vinden. Let wel: UvA Q evalueert onderwijs op vakniveau, terwijl de NSE de opleiding als geheel evalueert. Hoewel door de modulaire harmonisatie van de vragenlijsten van UvA Q de resultaten per vak wel naar opleidingsniveau geaggregeerd kunnen worden, zijn beide scores niet zomaar te vergelijken: niet elk vak kan aan een opleiding worden toegekend en niet elk vak telt voor een student even zwaar mee bij de beoordeling van een opleiding als geheel. UvA Q kan helpen de NSE-uitslag te begrijpen, maar niet om de NSEuitslag te bagatelliseren. 4.3 Prioriteiten stellen: de prioriteitenmatrix Niet alle aspecten die in de NSE aan bod komen worden door studenten even belangrijk gevonden. Aspecten die laag gewaardeerd worden maar erg belangrijk zijn voor studenten zouden prioriteit moeten krijgen bij het opstellen van verbeteracties. Zoals eerder vermeld, de structuur van de vragenlijst biedt de mogelijkheid om het belang van ieder thema en van ieder aspect binnen een thema vast te stellen. Dit kan gedaan worden door de samenhang (correlatie) tussen een thema of aspect en de algemene tevredenheid te berekenen (of binnen een thema door de score op de algemene themavraag te correleren met de deelvragen). Hoe groter de samenhang tussen thema en algemene tevredenheid, hoe groter het belang dat studenten er blijkbaar aan hechten. Hoewel het belang van de verschillende thema s en aspecten kan verschillen tussen opleidingen, hangt waardering voor inhoud over het algemeen het sterkst samen met de algemene tevredenheid. Met andere woorden, het algemene oordeel over de opleiding is primair gebaseerd op wat men vindt van de inhoud van de opleiding. De samenhang (correlatie met het algemene oordeel) en de score van de thema s kunnen in een assenstelsel uitgezet worden, wat het onderstaande diagram oplevert (figuur 1). Thema s die in het rode gebied liggen, zijn relatief belangrijk voor studenten, maar scoren laag en zouden als eerste verbeterd moeten worden. Ieder College of Graduate School kan deze analyse voor de eigen opleidingen uitvoeren en wordt uitgenodigd dat ook feitelijk te doen. Pagina 9
Figuur 1. Prioriteitenmatrix (voorbeeld) Nadat thema s of aspecten die het eerst voor verbeteracties in aanmerking komen geïdentificeerd zijn, kan er gezocht worden naar mogelijke oplossingen. Op verschillende niveaus (opleiding, school/college, faculteit) dient te worden onderzocht welke acties zelf intern uitgevoerd kunnen worden: als onderdeel van dagelijks werk in de lijn wanneer het een relatief eenvoudige actie is, of door een project te starten en een probleemeigenaar aan te wijzen als het een ingewikkelder kwestie betreft. Acties die niet (alleen) intern kunnen worden uitgevoerd vergen afstemming met betrokken diensten en soms met het beleid. Het overleg van faculteits- en dienstdirecteuren is een geschikt forum voor die afstemming, zeker als het issues betreft die in meerdere faculteiten spelen. Vooral van belang is het management van verwachtingen bij de studenten, als een probleem moeilijk oplosbaar is, veel geld zou kosten of lang zou duren. Analyse en identificatie van acties maken samen een plan van aanpak. Het is de bedoeling dat zulke plannen van aanpak worden opgesteld en een plaats krijgen in de PDCA-cyclus, te beginnen met de jaarplannen van de Schools en Colleges. Pagina 10