evaluatie, monitoring, tevr effectonderzoek en datave

Transcriptie

1 ijs arbeid data zorg onderwijs zekerheid etenschap rg welzijn mobiliteit jn beleids- Het ITS maakt deel uit van de Radboud Universiteit Nijmegen evaluatie, monitoring, tevr effectonderzoek en datave Onderwijsvisitaties onder de loep Ervaringen van de Radboud Universiteit met de beperkte opleidingsbeoordeling

2 ITS Bianca Leest Elise Sijstermans Twan Verrijt Jeroen Winkels Projectnummer: Opdrachtgever: College van Bestuur, Radboud Universiteit 2014 ITS, Radboud Universiteit Nijmegen ii

3 Inhoud 1 Inleiding 1 2 Opzet van het onderzoek Referentie: Universiteit Leiden Vraagstelling en opzet Toetsingskader Leeswijzer 9 3 Samenstelling commissies 11 4 Kritische reflectie 15 5 Bezoek commissie 19 6 Herbeoordeling afstudeerwerkstukken 21 7 Beoordelingsrapport 25 8 Conclusies Kwaliteit van de oordelen Administratieve lasten Kwaliteitscultuur 32 Bijlage 1: Tabellen herbeoordeling afstudeerscripties 35 Bijlage 2: Tabellen beoordelingen 39 Bijlage 3: operationalisering van de deelvragen in indicatoren 43 iii

4

5 1 Inleiding In 2011 is een nieuw accreditatiestelsel voor het hoger onderwijs in Nederland ingevoerd. Resultaten van onderzoeken naar het functioneren van het tot dan toe fungerende stelsel vormden de basis voor een herontwerp. Belangrijke doelstellingen bij de aanpassing waren vooral: - Het bevorderen van een integrale kwaliteitscultuur op instellingsniveau. - Meer focus op de kwaliteit van de opleiding, inhoud en behaalde resultaten. - Meer ruimte voor maatwerk in het stelsel. - Vermindering van administratieve lasten. Om dit te realiseren werden verschillende veranderingen doorgevoerd: - Invoering van een instellingstoets kwaliteitszorg. - Een beperkte opleidingsbeoordeling voor opleidingen behorende tot een instelling met positieve instellingstoets. - Terugbrengen van het aantal beoordelingsstandaarden tot drie. - Een meer gedifferentieerde beoordeling van opleidingen. - Bewaking van de onafhankelijkheid en deskundigheid van de beoordelingscommissie door NVAO. De instellingstoets kwaliteitszorg gaat na of het bestuur van de instelling, vanuit een visie op de kwaliteit van het onderwijs, een doeltreffend systeem van kwaliteitszorg hanteert waarmee het de kwaliteit van de aangeboden opleidingen kan garanderen. De instellingstoets richt zich uitdrukkelijk niet op de kwaliteit van afzonderlijke opleidingen. Wanneer een instelling met positief gevolg de instellingstoets kwaliteit heeft doorlopen worden tot de instelling behorende opleidingen beoordeeld volgens een beperkte opleidingsbeoordeling. De beperkte opleidingsbeoordeling richt zich op drie vragen: 1. Wat beoogt de opleiding? 2. Hoe realiseert de opleiding dit? 3. Worden de doelstellingen bereikt? Bij de invoering van het vernieuwde accreditatiestelsel in 2011 heeft de minister van OCW een evaluatie toegezegd. In 2013 hebben NVAO 1, Inspectie van het Onderwijs 2 en de Algemene Rekenkamer evaluaties uitgevoerd. De NVAO concludeert in haar evaluatierapport, waarin zij ook de uitkomsten van de twee andere evaluatieonderzoeken betrekt, dat het accreditatiestelsel 1 NVAO. Evaluatie accreditatiestelsel Nederland , september Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli

6 in het hoger onderwijs in Nederland op brede steun mag rekenen en goed werkt. De uitgangspunten van het nieuwe stelsel worden naar het oordeel van de NVAO grotendeels gerealiseerd. Een belangrijk uitgangspunt bij de invoering van het nieuwe accreditatiestelsel was dat deze zou uitnodigen tot (het ontwikkelen van) visie en beleid ten aanzien van de kwaliteit van het onderwijs. Anders gesteld: het vernieuwde stelsel zou de ontwikkeling van een kwaliteitscultuur moeten stimuleren. Uit een in opdracht van de NVAO uitgevoerd onderzoek onder docenten in het hoger onderwijs 3 blijkt dat de BOB in het algemeen als stimulerend en niet als bedreigend wordt ervaren en dat docenten deze als een verbetering zien ten opzichte van de oude werkwijze. Wel bleken docenten van mening dat er meer aandacht zou mogen komen voor verbetering van het onderwijs en voor gerealiseerde eindkwalificaties. De NVAO beschouwt het voorbereidend proces - waarin instellingen veel tijd en energie steken - als uitermate belangrijk, mede vanwege de positieve bijdrage hiervan aan het gemeenschapsgevoel. Een goede voorbereiding is naar het oordeel van de NVAO medebepalend voor het succes van de toets. Al met al concludeert de NVAO dat het nieuwe stelsel een kwaliteit bevorderend effect heeft in het hoger onderwijs, ofschoon zij ook constateert dat er nog het een en ander te verbeteren valt. Zo blijkt dat de gewenste vermindering van de administratieve lasten niet tot stand is gekomen. De beperkte opleidingsbeoordeling zou de administratieve lasten bij de opleidingen hebben moeten verlagen. Er valt op de empirische onderbouwing van het oordeel van de NVAO het nodige aan te merken: de resultaten gaan hoofdzakelijk over hogescholen: slechts 4 van de 23 onderzochte opleidingen zijn universitair (1x bachelor, 3x master). De uitkomsten zeggen om deze reden dan ook zeer weinig over de eerste ervaringen van universiteiten met het nieuwe stelsel. Daarnaast is de respons in het onderzoek laag: slechts de helft van de instellingen wilde meedoen en daarvan doet vervolgens weer slechts de helft van de benaderde medewerkers 4 mee. Vooral echter valt op dat zich onder de deelnemers aan de enquête - waarop de NVAO haar conclusies mede baseert - veel personen bevinden die niet betrokken waren bij het schrijven van de zelfevaluatie en/of de visitatiecommissie tijdens het bezoek van de opleiding niet hebben gesproken. De "eerste ervaringen" zijn dus weinig specifiek gemeten. Als de NVAO op basis van dit onderzoek concludeert dat het nieuwe stelsel een kwaliteit bevorderend effect heeft in het hoger onderwijs, is volgens ons de empirische onderbouwing van die conclusie voor universiteiten afwezig en voor hogescholen nogal dun. De onderwijsinspectie concludeert in haar onderzoek dat het stelsel goed aanzet tot verbetering. Anders dan de evaluatie door de NVAO is de empirische onderbouwing van het inspectierapport gedegen (meer cases, grotere deelnamebereidheid, betere vertegenwoordiging van universiteiten, combinatie van methoden). Het onderzoek 5 heeft voor wat betreft het optekenen van de ervaringen met het accreditatieproces via een enquête bijvoorbeeld 29 universitaire opleidingen 3 ResearchNed. Eerste ervaringen van docenten met de beperkte opleidingsbeoordeling van de NVAO. Mei Al met al werken er 19 van de 234 ondervraagde docenten aan universiteiten (Rotterdam, Tilburg, Eindhoven), waarvan slechts 4 in een bacheloropleiding. Veel te lage aantallen om betrouwbare uitspraken over het accreditatieproces aan universiteiten op te baseren. 5 Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli

7 in een steekproef van in totaal 98 opleidingen opgenomen. In de weergave van de resultaten wordt echter vervolgens nagenoeg geen onderscheid tussen universiteiten en hogescholen gemaakt, terwijl met deze aantallen de hogescholen de uitkomsten in een verhouding van 2:1 beïnvloeden. Zo stelt de inspectie bijvoorbeeld op grond van deze enquête vast dat de door medewerkers ervaren lastendruk niet zozeer voortkomt uit wat de beoordelingskaders zelf aan verantwoording en voorbereiding vragen, maar vooral uit wat instellingen, daartoe mede geprikkeld door externe ontwikkelingen (persaandacht, prestatieafspraken) en door zware gevolgen van een negatief besluit, aan documentaire en informatieve zekerheden zoeken 6. Voor een dergelijk scherpe conclusie moet het gebrek aan onderscheid tussen hogescholen en universiteiten eerst aangetoond zijn. De NVAO is optimistisch over de vermindering van de lastendruk die naar haar inschatting gerealiseerd zal worden wanneer, vanaf 2014, alle instellingstoetsen zullen zijn afgerond en instellingen enige ervaring hebben opgedaan met de nieuwe opzet. Het is onduidelijk waar dat optimisme op is gebaseerd. Ook al omdat zij wijst ook op andere mogelijke oorzaken van een toegenomen lastendruk, zoals prestatieafspraken tussen overheid en instellingen die, strikt genomen, geen deel uitmaken van het accreditatiestelsel, maar daar wel nauw mee samen hangen. 6 Inspectie van het Onderwijs. De kwaliteit van het Nederlands accreditatiestelsel hoger onderwijs. Juli

8

9 2 Opzet van het onderzoek 2.1 Referentie: Universiteit Leiden De ervaringen met het nieuwe accreditatiestelsel zijn voor de Universiteit Leiden aanleiding geweest om een onderzoek binnen de eigen universiteit uit te voeren 7 met als doel een beter beeld te krijgen van de ervaringen van het wetenschappelijk personeel met het visitatieproces en om de validiteit van de methodiek van individuele opleidingsvisitaties te evalueren. Het evaluatieonderzoek is in het najaar van 2013 uitgevoerd en bestond uit: 1. Panelgesprekken met betrokken medewerkers over de ervaringen met het nieuwe systeem 2. Een casestudie waarin het visitatieproces van een zevental opleidingscombinaties aan een diepte-analyse werd onderworpen 3. Een brainstormsessie over de vraag hoe de kwaliteit van het onderwijs verbeterd kan worden. Uit het onderzoek komt naar voren dat het nieuwe accreditatiestelsel niet in alle opzichten positief uitpakt. Zo bevestigt het onderzoek de conclusie van de NVAO dat de administratieve lastendruk niet is verminderd. De positieve bevindingen van de NVAO ten aanzien van het stimuleren tot een kwaliteitscultuur worden niet bevestigd. Leiden concludeert daarentegen dat de beperkte opleidingsbeoordeling onvoldoende inspireert tot verbetering van de onderwijskwaliteit. Ook wordt geconcludeerd dat de betrouwbaarheid en validiteit van de kwaliteitsoordelen te wensen overlaten en dat de herbeoordeling van scripties niet voldoet aan gangbare methodologische standaarden. Over het geheel genomen is de conclusie van de Universiteit Leiden dat de beoordeling plaatsvindt in een context die niet als veilig en inspirerend wordt ervaren. Doordat de verantwoordingsfunctie, naar het gevoel van betrokkenen, centraal staat, komt de verbeterfunctie onvoldoende tot uiting. Op grond hiervan betwijfelt de Universiteit Leiden of de beperkte opleidingsbeoordeling, zoals die nu is ingericht, voldoende aan zijn doel beantwoordt. 7 Universiteit Leiden. Evaluatie van het onderwijsvisitatieproces. Ervaringen van de Universiteit Leiden met de beperkte opleidingsbeoordeling. Maart

10 2.2 Vraagstelling en opzet De Radboud Universiteit heeft het ITS gevraagd een soortgelijk onderzoek als in Leiden uit te voeren om vast te stellen of de ervaringen van het Nijmeegs wetenschappelijk personeel met het visitatieproces vergelijkbaar zijn. Het onderzoek van de Universiteit Leiden fungeert aldus als referentiekader voor het onderzoek aan de Radboud Universiteit. De hoofdvraag van het onderzoek is: wat zijn de ervaringen van medewerkers van de Radboud Universiteit met de onderwijsvisitaties volgens het stramien van de beperkte opleidingsbeoordeling en hoeverre komen deze overeen met de ervaringen aan de Universiteit Leiden? Daarbij wordt op de volgende drie deelvragen een antwoord gezocht: 1. Zijn de kwaliteitsoordelen van de visitatiecommissie valide en herkenbaar? 2. Heeft de nieuwe opzet geleid tot vermindering van de (administratieve) lastendruk? 3. Heeft de nieuwe onderwijsvisitatie een stimulerend effect op de kwaliteit van het onderwijs? Het onderzoek is zo opgezet dat de ervaringen van de meest betrokken medewerkers van de Radboud Universiteit met de vernieuwde opzet van de onderwijsvisitatie in beeld komen. Aldus kan ook worden nagegaan of de beoogde verbeteringen van het nieuwe accreditatiestelsel door medewerkers ook als zodanig worden ervaren. Hierbij wordt meer in het bijzonder bekeken of de beperkte opleidingsbeoordeling heeft geleid tot een daadwerkelijke vermindering van de administratieve lasten (vooral tijd van wetenschappelijk personeel). Uit de 62 opleidingen van de Radboud Universiteit die recentelijk volgens de vernieuwde richtlijnen van de beperkte opleidingsbeoordeling werden gevisiteerd, zijn er veertien (zeven combinaties van bachelor en master) in de steekproef opgenomen om nader onder de loep te nemen. Deze steekproeftrekking vond gestratificeerd plaats in drie domeinen alfa, bèta en gamma, waarbij de visitatiedatum (voorkeur voor redelijk recente visitaties) bij de selectie meespeelde. Van deze zeven opleidingscombinaties zijn alle relevante documenten bestudeerd (deskresearch) en werden met medewerkers die nauw betrokken waren geweest met de accreditatie vervolgens interviews gehouden. De Universiteit Leiden heeft de door de NVAO gehanteerde eisen, normen en criteria tegen het licht gehouden en constateert dat deze hier en daar aanleiding (kunnen) geven tot een verschil in interpretatie of in methodologisch opzicht onvoldoende zijn uitgewerkt. Deze constateringen gelden voor alle te visiteren opleidingen en dit deel van het Leidse onderzoek wordt dan ook niet herhaald, omdat het tot dezelfde bevindingen zou leiden. Ook het derde onderdeel in Leiden, een brainstormsessie over de vraag hoe de kwaliteit van het onderwijs verbeterd kan worden, wordt in Nijmegen niet herhaald, althans niet binnen het bestek van de nu aan het ITS verleende opdracht. 6

11 Hieronder worden de drie onderdelen van het onderzoek beschreven: 1. Deskresearch Er zijn zeven opleidingscombinaties (bachelor-master) geselecteerd die recentelijk in het kader van de nieuwe accreditatie-opzet zijn bezocht. Bij de selectie is een zo evenwichtig mogelijke verdeling over de alfa-, bèta- en gammawetenschappen nagestreefd evenals een variatie in verstrekte oordelen. Van deze opleidingen zijn bestudeerd: De kritische reflectie Het QANU-rapport Het NVAO-besluit. Hiernaast zijn documenten bestudeerd die de kaders voor de accreditatie aangeven: Beoordelingskaders accreditatiestelsel hoger onderwijs. (In het bijzonder hoofdstuk 3, Beperkte opleidingsbeoordeling.) NVAO 22 november Richtlijn NVAO bestudering en beoordeling documenten ter inzage door panels tijdens het visitatieproces voor accreditatie en toets nieuwe opleiding. NVAO 23 november Richtlijn NVAO beoordeling afstudeerwerken door panels tijdens het visitatieproces voor accreditatie en (indien van toepassing) een toets nieuwe opleiding. NVAO 26 oktober 2012 (eerste versie: 8 juli 2011). Eisen aan de Panelsamenstelling ten behoeve van het accreditatiestelsel. NVAO 24 augustus Taken en competenties gecertificeerde secretarissen en coördinatoren. NVAO 17 augustus Verantwoordingsformulier deskundigheden en onafhankelijkheid visitatiepanel. NVAO. Handreiking opleidingsbeoordeling (beperkt/uitgebreid) Nederland. NVAO oktober QANU-richtlijnen: Richtlijn voor het schrijven van een zelfevaluatierapport voor een beperkte opleidingsbeoordeling. Versie QANU: 1 mei De resultaten van de deskresearch vormden de input voor het veldwerk: de panelgesprekken met deelnemers die intensief betrokken zijn geweest bij het visitatieproces en de interviews met een vertegenwoordiging van de opleidingen voor de opleidingsspecifieke casestudies. Aan de hand van deskresearch is een interviewleidraad opgesteld voor de panelgesprekken en de opleidingsspecifieke interviews. 7

12 2. Panelgesprekken Per domein (alfa, bèta, gamma) is een panelgesprek gehouden met circa tien vertegenwoordigers van de betreffende faculteiten. Voor het panelgesprek zijn medewerkers uitgenodigd die intensief betrokken waren bij de meest recente (beperkte) opleidingsbeoordeling. Dit betrof onder meer vicedecanen onderwijs, onderwijsdirecteuren, opleidingscoördinatoren, voorzitters en leden van opleidingscommissies en coördinatoren kwaliteitszorg. Het doel van de panelgesprekken was om de ervaringen van de deelnemers met de beperkte opleidingsbeoordeling, zowel de positieve als en negatieve, goed in kaart te brengen. Er zijn drie gesprekken gehouden waarbij de volgende indeling is gehanteerd: 1. Alfa: Letteren / Filosofie, Theologie en Religiewetenschappen 2. Bèta: Natuurwetenschappen, Wiskunde en Informatica / Medische Wetenschappen 3. Gamma: Managementwetenschappen / Sociale Wetenschappen 3. Opleidingsspecifieke interviews Dit onderdeel bestond uit gestructureerde interviews met betrokkenen van de zeven geselecteerde opleidingscombinaties, waarin zowel bevindingen uit de deskresearch als ook (soms) uitspraken uit de panelgesprekken voor commentaar worden voorgelegd. De voor dit onderdeel geselecteerde opleidingscombinaties worden in dit rapport geanonimiseerd aangeduid als opleiding A tot opleiding G. Zowel voor de panelgesprekken als voor de opleidingsspecifieke interviews gold dat er een grote bereidheid was bij de door het ITS uitgenodigde medewerkers, vaak in drukke functies als onderwijsdirecteur of vakgroepvoorzitter actief, om tijd uit te trekken voor dit onderzoek naar het accreditatieproces. Ook tijdens de gesprekken bleek hoe sterk het onderwerp kwaliteit van onderwijs bij deze medewerkers leeft. 2.3 Toetsingskader Het toetsingskader is bedoeld om op een gestructureerde wijze inzicht te krijgen in ervaringen van medewerkers bij het visitatieproces aan de Radboud Universiteit. Het bevat een raamwerk voor de beantwoording van de drie kernvragen aan de hand van de visitatiedossiers, panelgesprekken en interviews met betrokkenen. In het onderzoek van de universiteit Leiden wordt uitgegaan van elf deelvragen die afgeleid zijn van de drie kernvragen. Om een goede vergelijking te kunnen maken met de uitkomsten van het Leidse onderzoek worden deze vraagstellingen hierna ook gebruikt met uitzondering van de twee vragen naar materialen/documenten die door de commissie zijn opgevraagd, dan wel door de opleidingen extra ter inzage zijn voorgelegd. Wij zijn van mening dat deze onderdeel uitmaken van de vraag naar het informatiedossier en niet apart benoemd hoeven worden. 8

13 De kritische reflecties, QANU-rapporten en NVAO-besluiten (plus eventuele aanvullende documenten zoals herstelplannen) zijn geanalyseerd met behulp van de volgende negen deelvragen. 1. Hoe is het visitatiepanel samengesteld? 2. Uit welke onderdelen bestond het informatiedossier dat de opleiding voor de visitatie heeft samengesteld en vooraf aan de commissie heeft toegestuurd (verplichte documenten/extra documenten)? 3. Op welke wijze zijn steekproeven van toetsen/eindwerkstukken tot stand gekomen? 4. Is de beoordelingsprocedure per standaard beschreven en hoe is de procedure verlopen? 5. Voldoet de gevolgde procedure aan de voorschriften van het NVAO-protocol; wordt een toelichting gegeven indien wordt afgeweken? 6. Welke referentiekaders zijn gebruikt om tot een oordeel op elk van de drie standaarden te komen? 7. Welke (informatie-)bronnen liggen primair ten grondslag aan de oordelen? 8. In hoeverre en op welke wijze wordt het oordeel per standaard door het visitatiepanel onderbouwd (hoe transparant is deze onderbouwing)? 9. Met wie heeft het visitatiepanel gesproken tijdens de visitatie? Deze negen vragen zijn voor de uitvoering van het onderzoek geoperationaliseerd in een set van indicatoren (zie bijlage 3). 2.4 Leeswijzer Onze bevindingen worden in vijf hoofdstukken gepresenteerd, waarin de fasering van een opleidingsaccreditatie goed te herkennen is: hoofdstuk 3: Samenstelling commissies; hoofdstuk 4: Informatiedossier; hoofdstuk 5: Bezoek commissie; hoofdstuk 6: Herbeoordeling afstudeerwerkstukken; hoofdstuk 7: Beoordelingsrapport. Ieder hoofdstuk begint met een beknopte weergave van de NVAO richtlijnen die voor het desbetreffend onderdeel gelden. Vervolgens worden de onderzoeksbevindingen gepresenteerd, waarbij we soms ter illustratie citaten weergeven. De betrokkene is daarbij via domein (alfa, bèta, gamma) en nummer (alle deelnemers aan de panelgesprekken kregen, in verband met de geanonimiseerde verslaglegging, een nummer toegekend). Zo staat 'alfa-4' voor deelnemer met nummer vier uit het alfa panelgesprek. In enkele gevallen is een citaat uit een interview opgenomen. Hoofdstuk acht bevat de conclusies en een aantal tijdens het onderzoek gedane suggesties van medewerkers om de kwaliteit van het accreditatieproces te verhogen. 9

14

15 3 Samenstelling commissies Uit de NVAO richtlijnen: Het visitatiepanel dient op een dusdanige manier te zijn samengesteld dat een zinvolle discussie tussen peers kan ontstaan, waarbij het panel voldoende onafhankelijk is. De instelling stelt het panel samen, wijst een secretaris aan, en draagt het panel vervolgens ter instemming voor aan de NVAO. De instelling levert hiervoor op een door de NVAO vastgestelde wijze gegevens aan over de deskundigheden en onafhankelijkheid van de panelleden en de secretaris. De instelling kan ook opdracht geven aan een extern evaluatiebureau om het panel samen te stellen. Ook in dat geval moet het panel ter instemming worden voorgedragen aan de NVAO. De secretaris van het panel heeft een training doorlopen van de NVAO, die heeft geleid tot certificering van de secretaris. Aan het visitatiepanel worden de volgende eisen gesteld: 1. het panel bestaat uit tenminste vier leden, onder wie tenminste twee gezaghebbende domeindeskundigen en een student; 2. het panel beschikt in zijn geheel over de volgende deskundigheden: a. deskundigheid ten aanzien van de ontwikkelingen in het vakgebied, b. internationale deskundigheid, c. werkvelddeskundigheid in het voor de opleiding relevante beroepenveld (indien van toepassing), d. onderwijsdeskundigheid: ervaring met het geven of ontwikkelen van onderwijs op het desbetreffende opleidingsniveau en oriëntatie (hbo of wo) en deskundigheid ten aanzien van de door de opleiding gehanteerde onderwijsvorm(en) e. studentgebonden deskundigheid, f. visitatie- of auditdeskundigheid. 3. het panel is onafhankelijk (de leden hebben tenminste vijf jaar geen banden gehad met de instelling waartoe de opleiding behoort); 4. het panel wordt bijgestaan door een onafhankelijke, externe secretaris die getraind en gecertificeerd is door de NVAO. De secretaris is geen lid van het panel. Het onderzoek heeft zich gericht op de ervaringen van medewerkers met de visitatiecommissie. Het ITS kan immers de onafhankelijkheid of deskundigheid van de commissieleden niet vaststellen, maar wel de ervaringen met en beeldvorming over de panelleden van de visitatiecommissies in beeld brengen. Uit de deskresearch blijkt dat alle visitatiepanels, qua samenstelling, voldoen aan de vereisten van de NVAO 8. Dit is niet zo verwonderlijk aangezien het steeds gaat om commissies die door de NVAO zijn geaccordeerd. De QANU-rapporten bevatten de vereiste onafhankelijkheids- en geheimhoudingsverklaringen van individuele panelleden en er is informatie opgenomen over de 8 Een enkele uitzondering: een RU-student wordt in het NVAO-rapport als panellid voor een RU-opleiding (in onze steekproef: E) opgevoerd. Waarschijnlijk is deze student elders in het land panellid geweest. 11

16 posities van leden. Er is steeds sprake van een panel bestaande uit tenminste vier leden. Vanwege de clustergewijze visitatie - waarbij meerdere opleidingen als samengestelde groep worden gevisiteerd - wordt doorgaans gewerkt met een kerncommissie visitatiepanel die is onderverdeeld in subpanels voor de afzonderlijke opleidingen. Tenminste één lid - doorgaans de voorzitter - maakt deel uit van alle subpanels en draagt daardoor bij aan de eenheid van beoordeling. Gamma-3 "Ik heb eigenlijk alleen maar goede ervaringen met het samenstellen van de commissie. Wij zitten in een landelijk samenwerkingsverband dat samen de commissie samenstelt. Iedere opleiding doet een voorstel voor namen en mag op namen reageren. De namen worden vervolgens gerankt." Uit de panelgesprekken kwam naar voren dat het niet gemakkelijk is om tot de gewenste samenstelling van de commissie te komen. Het gaat om een arbeidsintensieve rol en niet alle beoogde leden willen of kunnen dat op zich nemen naast hun reguliere werkzaamheden. Van meerdere kanten is tijdens de panelgesprekken gewezen op een suboptimale samenstelling van commissies. In het algemeen geven betrokkenen aan behoefte te hebben aan verjonging. Voor commissies worden vaak emeriti aangetrokken. Deze beschikken niet altijd over de noodzakelijke kennis van nieuwe ontwikkelingen in het veld of actuele onderwijsdeskundigheid. Juist wanneer in de visitatie veel aandacht wordt besteed aan toetsing, geven enkele opleidingen aan, zou het belangrijk zijn om commissieleden te hebben die technisch-onderwijskundige kennis hiervan hebben. Bèta-7 "Mensen willen soms niet vanwege de tijd die het kost. Ook de breedte van de commissie en het berijden van stokpaardjes zijn herkenbaar. Uiteindelijk zijn het vaak mensen die niet meer midden in het onderwijs staan" Opleidingen zijn over het algemeen van mening dat domeindeskundigheid in voldoende mate aanwezig is. Toch blijkt dit niet overal het geval te zijn; bij clustervisitaties is het lastig/vrijwel onmogelijk om voor alle opleidingen de gewenste domeindeskundigheid vertegenwoordigd te hebben. Opleidingen dragen commissieleden voor vanwege specifieke domeindeskundigheid, maar deze komen niet altijd in de commissie terecht. Specifieke domeinen kunnen dan te weinig vertegenwoordigd zijn. Ook kunnen opleidingen die bij verschillende universiteiten onder dezelfde noemer opereren en binnen één cluster vallen, toch inhoudelijk zeer uiteenlopende oriëntaties hebben. Bovendien kan de combinatie van verschillende deskundigheden in de commissie aanleiding geven tot spraakverwarring over begrippen die door een opleiding als bekend worden verondersteld. Een echte peerdiscussie kon hierdoor soms niet op gang komen. Overigens geven vrijwel alle opleidingen aan dat mogelijke ontbrekende domeindeskundigheid volgens hen geen effect heeft gehad op het oordeel van de commissie. Alfa-4: "Het is lastig om tot één commissie te komen, want per cluster zijn er zoveel verschillende opleidingen en commissies zijn niet 25 man groot. Je kunt dus nooit al die inhoudelijk specifieke kennis in één commissie hebben. Je krijgt dus niet altijd experts op je eigen gebied." 12

17 Verder komt het voor dat specifieke domeindeskundigheid in de praktijk tot uitdrukking komt in het berijden van eigen stokpaardjes die niet aansluiten bij het profiel van de opleiding. Het inhoudelijk referentiekader dat de commissie hanteert is niet altijd helder voor bezochte opleidingen of niet altijd in gelijke mate van toepassing op de opleidingen. Internationale deskundigheid wordt door betrokken gezien als belangrijk vanwege de bredere context waarin opleidingen, vooral wat betreft de verbinding met het onderzoek, fungeren. Ook kan de inzet van buitenlandse deskundigen mogelijke (positieve of negatieve) bias verminderen. Tegelijkertijd kan een te sterke internationale oriëntatie als nadeel hebben dat de kennis van de specifieke Nederlandse context van het vakgebied of onderwijs te wensen overlaat. Een opleiding geeft aan dat dit in hun geval leidde tot een visitatie die sterk technisch-procedureel werd ingestoken. Vaak heeft de internationale deskundigheid betrekking op werkzaamheden in de buurlanden: België of Duitsland. Alfa-4: "Doordat de internationale leden, maar ook sommige andere leden, niet met beide voeten in de Nederlandse onderwijspraktijk staan, worden bijvoorbeeld aanbevelingen gedaan die helemaal niet kunnen worden uitgevoerd in de praktijk." Verder komt over het algemeen niet helder naar voren hoe er voor de vereiste visitatie- /auditdeskundigheid is gezorgd. Soms, maar lang niet altijd, wordt verwezen naar deelname aan eerdere visitaties. Regelmatig werd benadrukt door ervaren betrokkenen dat de kwaliteit van de visitatie kan variëren en sterk afhankelijk is van de voorzitter. 13

18

19 4 Kritische reflectie Uit het beoordelingskader van de NVAO: De opleiding presenteert ten behoeve van de beoordeling door het visitatiepanel een kritische reflectie over de opleiding. De kritische reflectie dient de standaarden van het kader voor de beperkte opleidingsbeoordeling te volgen, waarbij de sterke en de zwakke punten van de opleiding worden beschreven. De opleiding maakt in de kritische reflectie melding van de wijze waarop zij student- en docenttevredenheid onderzoekt en doet verslag van de resultaten daarvan. Onderliggende documentatie wordt ter inzage gelegd voor het visitatiepanel. Tevens wordt aangegeven welke verbetermaatregelen zijn genomen naar aanleiding van de vorige visitatie. De kritische reflectie is een op zichzelf staand document, dat zelfstandig te lezen is. In het beoordelingskader voor de beperkte opleidingsbeoordeling is gekozen voor een opzet die veel ruimte laat voor de opleiding om haar eigenheid te benadrukken. In de kritische reflectie kan de opleiding van deze ruimte gebruik maken. De kritische reflectie is bij uitstek het handvat om docenten en peers te laten spreken over de inhoud van de opleiding. Het moet dan ook een document zijn waarin docenten en studenten de opleiding herkennen. Het beoordelingskader biedt daarnaast de mogelijkheid om het gesprek tijdens de visitatie niet alleen te laten gaan over de in het verleden behaalde resultaten, maar ook over de ambities van de opleiding. Wat zijn de keuzes voor de toekomst, waar wil de opleiding heen? Om een dergelijk gesprek te kunnen voeren, wordt van het visitatiepanel verwacht dat het ook in staat is met de opleiding over haar toekomstplannen te reflecteren. Bij het schrijven van de kritische reflectie en bij de uitvoering van de visitatie is het van belang dat er geen overlap optreedt met de beoordeling in het kader van de instellingstoets kwaliteitszorg. Indien het nodig is te refereren aan instellings- of bijvoorbeeld facultair beleid, gaat het bij de beoordeling van de opleiding strikt om de fitness for purpose van het beleid voor de desbetreffende opleiding. Randvoorwaardelijke zaken, zoals de opzet van de kwaliteitszorg of het personeelsbeleid van de instelling behoren hier niet toe, omdat deze onderwerp zijn van de instellingstoets kwaliteitszorg. De omvang van de kritische reflectie is maximaal 25 pagina s, exclusief bijlagen. Voorafgaand aan de visitatie schrijven de opleidingen een zogenaamde kritische reflectie en leveren zij documenten aan volgens specificaties van de NVAO. Uitgangspunt bij de beperkte opleidingsbeoordeling is dat bij een positieve instellingsaudit de beschrijving van de interne opleidingskwaliteitszorg achterwege gelaten kan worden in de kritische reflectie. Bij een uitgebreide opleidingsbeoordeling - wanneer geen sprake is van een positieve instellingstoets - dient in de kritische reflectie expliciet te worden ingegaan op de interne kwaliteitszorg (standaarden 13 en 14). Terwijl de NVAO benadrukt dat in de BOB geen sprake moet zijn van overlap met de instellingstoets, wordt zowel bij de instellingstoets als bij de BOB melding gemaakt van een beschrijving van de interne kwaliteitszorg. Zo vermeld de richtlijn voor de instellingstoets: 15

20 'De instelling heeft zicht op de mate waarin haar visie op de kwaliteit van haar onderwijs wordt gerealiseerd, en meet en evalueert regelmatig de kwaliteit van haar opleidingen bij studenten, medewerkers, alumni en vertegenwoordigers van het beroepenveld' Tegelijkertijd staat in de BOB richtlijn: De opleiding maakt in de kritische reflectie melding van de wijze waarop zij student- en docenttevredenheid onderzoekt en doet verslag van de resultaten daarvan Veel ruimte bij uitwerking In deze wat onduidelijke situatie nemen opleidingen het zekere voor het onzekere en kiezen zij vaak voor de strategie van 'bij onduidelijkheid steeds vermelden'. Dit is goed terug te zien in de kritische reflecties en wordt ook in een aantal gesprekken met betrokkenen benoemd. In de panelgesprekken en de interviews kwam duidelijk naar voren dat de ruimte die de NVAO geeft bij de invulling van de kritische reflectie onzekerheid veroorzaakt. Alfa-1: "Dus steeds weer die exegese: denken we dat de commissie hier iets wil zien over dit of eerder dat? Je bent constant aan het speculeren over wat de commissie verwacht. De gedachte was meer vrijheid om te presenteren zoals je wilt en vrijheid om kritisch te zijn waar jij kritisch op wilt zijn, maar in de praktijk verzandt dit dus in speculaties over wat de commissie verwacht, waar we op afgerekend worden." Weliswaar bestaat er geen duidelijke wens om terug te keren naar de eerdere opzet met een indeling in meer dan twintig facetten, maar veel opleidingen geven aan bij de huidige opzet toch een duidelijker handreiking te willen voor de invulling van de kritische reflectie. Gezien het grote belang van de uitkomsten van het visitatieproces willen opleidingen zich optimaal presenteren. Gevolg hiervan is dat men met de uitwerking van de kritische reflectie vaak op zoek is naar de beste invulling. Opleidingen geven aan veel tijd kwijt te zijn met 'raden' van wat de NVAO precies wil weten. Vanuit enkele opleidingen wordt aangegeven dat men begrijpt dat de huidige structuur mogelijkheden biedt om de opleiding meer te profileren, maar het heeft in de praktijk vooral tot gevolg dat veel tijd gemoeid is met overleg over wat de beste invulling zou zijn van de 'open ruimte'. Er wordt dus niet gepleit voor een terugkeer naar de oude structuur, maar wel ziet men graag meer duidelijkheid over de diverse onderdelen waaruit de kritische reflectie moet zijn opgebouwd. Administratieve lasten In weerwil van de uitgangspunten van de vernieuwde opzet, hebben betrokkenen in het geheelniet de ervaring dat de administratieve lastendruk, in vergelijking met de voorgaande opzet, is gedaald. Gamma-6 "Het gaat over de cijfers die moeten worden aangeleverd. Definities veranderen ineens of berekeningsmethoden zijn weer anders dan hoe we dat hier op de RU doen. Dan moeten we weer gaan afstemmen met ander opleidingen in ons cluster. En hoe vergelijkbaar zijn die cijfers nu eigenlijk? De student-docent ratio is bijvoorbeeld heel afhankelijk van hoe je het berekent." 16

21 Van degenen die ook betrokken waren bij voorgaande visitaties gaf niemand aan in de vernieuwde opzet een verlichting te zien. Verschillende opleidingen hebben aangegeven dat in hun beleving minstens evenveel en soms meer gegevens zijn aangeleverd dan bij vorige visitaties. Bèta-10 "Ik vond het opstellen van het visitatiedossier zeer bewerkelijk. Het kost heel veel werk, met name het cijfermateriaal in de bijlagen. Uit alle hoeken en gaten ben je bezig dit bij elkaar te sprokkelen." De gegevens komen vanuit verschillende gremia in de universiteit en het bijeen krijgen van alle informatie kost de opleiding veel tijd en energie. Juist de ruimte die geboden wordt bij de uitwerking (zie hiervoor) heeft tot gevolgd dat men vaak veel tijd kwijt is aan overleg over de juiste/beste weergave van informatie. Er wordt door niemand, en anders dan de Onderwijsinspectie concludeert in haar rapport 9, opgemerkt dat de lastendruk van een accreditatie licht is in vergelijking met de gegevens die er door een opleiding op het niveau van de Radboud Universiteit (faculteit of centraal niveau) moeten worden aangeleverd. Relatie met instellingstoets Voor de meeste betrokkenen is het niet duidelijk hoe in de nieuwe opzet de relatie met de instellingstoets is. Met andere woorden: hoe verhoudt de beperkte opleidingsbeoordeling zich tot de uitgebreide? Weer anders geformuleerd: welk voordeel heeft men van het feit dat de instelling een positieve beoordeling heeft gekregen? Uit de gesprekken bleek dat betrokkenen over het algemeen geen duidelijk beeld hadden van de inhoud van de instellingstoets en dat deze ook geen helder kader bood bij het schrijven van de kritische reflectie. Van verschillende kanten werd aangegeven dat het rapport van de instellingsaudit niet is verstrekt. Al met al is de inhoud, rol en consequentie van de instellingstoets voor opleidingen onduidelijk en speelt het tot op heden geen rol bij het schrijven van de kritische reflectie. Gamma-6 "Verder ben ik verbaasd dat er in de standaarden helemaal niet gerefereerd wordt aan de instellingstoets. Er zit helemaal geen link tussen en er is een enorme overkill aan administratieve processen." Summatief versus formatief Opleidingen zijn bij het schrijven van de kritische reflectie vaak gericht op de summatieve component van de visitatie. Veel energie en tijd wordt besteed aan het verzamelen van informatie om deze vervolgens op een voor de commissie acceptabele wijze in de kritische reflectie op te nemen. Vanwege de mogelijk grote gevolgen van een negatieve beoordeling is er voor opleidingen veel aan gelegen hierbij geen steken te laten vallen. Toch bevat juist dit deel van het accreditatieproces een sterk formatief element, dat door veel opleidingen als positief wordt ervaren. Adviezen van de commissie waarin de opleiding gewezen wordt op eventuele tekortkomingen en suggesties ter verbetering worden gegeven, bieden een handvat voor verdere kwaliteitsverbetering. 9 Inspectie van het Onderwijs. De kwaliteit van het Nederlandse accreditatiestelsel hoger onderwijs, juli 2013, p

22 Gamma 3-9 "Je leert niet als er maatregelen boven je hoofd hangen. Hoe kun je het systeem nu zo inrichten dat je het leereffect maximaliseert? In het voortraject zit de meeste winst." Bèta-10 "Het formatieve aspect is voor mij de kritische reflectie. Als je dat goed doet, heb je dat inzicht al en heb je daar eigenlijk de visitatiecommissie niet meer voor nodig." Opvallend is wel dat niet alle beoordelingsrapporten suggesties voor verbetering geven, waardoor de formatieve kant van de beoordeling lang niet altijd goed uit de verf komt. Het belang van en daarmee de aandacht voor de summatieve component ( zijn we geslaagd? ) overheerst. 18

23 5 Bezoek commissie Uit het beoordelingskader van de NVAO: Het verplichte locatiebezoek ten behoeve van de beperkte opleidingsbeoordeling duurt in beginsel een dag. Indien vergelijkbare opleidingen van een instelling tezamen worden beoordeeld, kan er een relatieve reductie van de bezoektijd plaatsvinden. Het visitatiepanel heeft voorafgaand aan het bezoek een aantal afstudeerwerken bestudeerd teneinde zicht te hebben op het bereikte eindniveau in de opleiding. Het maakt hiertoe een selectie uit een door de opleiding opgestelde complete overzichtslijst. De afstudeerwerken met de bijbehorende beoordelingscriteria en normering worden voorafgaand aan het bezoek toegestuurd aan de panelleden of de panelleden bestuderen deze ter plekke voorafgaand aan het bezoek. De panelleden vormen voorafgaand aan het bezoek een voorlopig oordeel over de opleiding en formuleren vragen voor het locatiebezoek. Het panel betrekt het resultaat van de instellingstoets kwaliteitszorg bij zijn oordeelsvorming. Het visitatiepanel spreekt tijdens het locatiebezoek in elk geval met het opleidingsmanagement, leden van de examencommissie en de opleidingscommissie, docenten, studenten, alumni en waar relevant vertegenwoordigers van het beroepenveld. Daarnaast bestudeert het panel het door de opleiding ter inzage gelegde materiaal. De precieze omvang van de gesprekken, de mogelijke clustering van de gespreksdeelnemers en de verdere inrichting van het bezoek worden bepaald door het panel. Het panel beslist naar eigen inzicht met welke docenten en studenten het wil spreken en welke documenten het wil inzien. De delegaties van de opleiding bestaan in beginsel uit niet meer dan zes personen. Het panel stelt een open spreekuur vast. Opleiding en panel geven zowel voorafgaand als tijdens het bezoek ruime bekendheid aan dit spreekuur. Het panel kan tevens in overleg met de opleiding colleges of andere onderwijsleersituaties bezoeken. Aan het einde van het locatiebezoek koppelt de voorzitter van het visitatiepanel het algemene oordeel en de onderliggende overwegingen op beknopte wijze terug aan de opleiding. De ervaringen tijdens het bezoek van de commissie lopen uiteen. Uit de panelgesprekken komt naar voren dat men de sfeer tijdens het bezoek meestal als welwillend en constructief ervoer. Andere positieve ervaringen betreffen de goede voorbereiding van de commissie en een efficiënt uitgevoerd programma. Vanwege de beperkte duur van het bezoek - meestal één dag - komt een open 'dialoog' echter niet altijd van de grond. Hoewel het bezoek door de NVAO gekarakteriseerd wordt als 'peer review', ervaren veel direct betrokkenen in de praktijk geen dialoog tussen peers. Sommigen wijzen ook op een, in hun ogen, te procedurele karakter van het bezoek: Bèta-5 "De kritische reflectie dwingt je tot nadenken en op basis daarvan zet je al dingen in gang. Het bezoek is dan wel een ultieme stok achter de deur." Gamma interview "Toch komt het erg over als een rechtszaak. Je mag bijvoorbeeld geen handen schudden. Dit is niet prettig en verhoogt de spanning en onzekerheid bij de opleiding". 19

24 Gamma-9 "Het is een peer review, maar wel binnen een bestuurlijke context waardoor er maatregelen aan de review verbonden zijn. Dat maakt het lastig." Commissies maken zelden gebruik van de mogelijkheid om onderdelen van het onderwijsprogramma bij te wonen. Sommige opleidingen gaven aan een rondleiding te hebben georganiseerd. Dit omdat men het van belang vindt dat de commissie de opleiding 'in werking' kan zien. Van het open spreekuur wordt nauwelijks gebruik gemaakt. Bèta-1 "Ik vind het ook heel erg belangrijk om de visitatiecommissie de opleiding in werking te laten zien, dat wat abstract in het rapport staat te laten ervaren in de praktijk." Vanuit enkele opleidingen werd aangegeven dat het bezoek van de commissie vooral nuttig is voor de commissie; het zien van de context waarin de opleiding wordt verzorgd kan bijdragen aan het leveren aan een afgewogen oordeel, al is het betrokkenen niet geheel duidelijk hoe dit dan werkt. Voor de opleiding zelf heeft het bezoek voor de meesten weinig meerwaarde. Daarbij vinden sommige opleidingen dat het bezoek en de voorbereiding ervan een zware druk legt op de reguliere taken. Overigens valt dit niet helemaal los te zien van de voorbereiding van de visitatie, in de zin van het verzamelen van door de commissie gevraagde gegevens. Wanneer de commissie tijdens het bezoek hiervan echter geen (zichtbaar) gebruik maakt, is dit soms teleurstellend voor de opleiding. Als scripties of eindwerkstukken bijvoorbeeld niet of nauwelijks aan de orde worden gesteld tijdens het bezoek, kan de indruk bestaan dat commissieleden die ook niet of nauwelijks hebben gelezen. Alfa-6 en 7 We hadden een lokaal ingericht met verslagen et cetera op basis van specifieke instructies die we hadden gekregen. Hier hadden we veel tijd in gestoken om de opleiding goed te presenteren. Er heeft maar een lid naar gekeken, en dat was meer uit persoonlijke interesse. Verder was het voor de opleidingen niet altijd duidelijk welke specifieke rol verschillende leden van de commissie hebben. Wanneer leden weinig spraakzaam zijn bij bepaalde gesprekken, roept dat vragen op. Ook kwamen soms stokpaardjes van commissieleden te vaak terug in de gesprekken met de commissie. De mondelinge terugkoppeling aan het eind van het visitatiebezoek wordt verschillend beoordeeld. Vanuit sommige opleidingen wordt aangegeven dat men tevreden hierover was en dit als een nuttige aanvulling zag op het uiteindelijke rapport. Enkele andere opleidingen geven aan dat ze het ceremonieel vonden en er in de terugkoppeling vooral gemeenplaatsen werden geuit omdat de commissie zich op de vlakte wil houden en nog geen uitspraken wil doen. Bij één opleiding werd daarentegen duidelijk aangegeven dat ze zich geen zorgen hoefden te maken, terwijl bij weer een andere opleiding de mondelinge terugkoppeling positief was en vervolgens de minder goede uitkomsten in het definitieve rapport als een totale verrassing kwamen. 20

25 6 Herbeoordeling afstudeerwerkstukken Uit richtlijn NVAO voor de beoordeling van afstudeerwerken door panels: Deze richtlijn bedoelt duidelijke afspraken mee te geven waarover geen misverstand kan bestaan. Dat laat echter onverlet dat panels ook enige vrijheid hebben om naar eigen inzicht, maar wel volledig in de geest van deze afspraken, te handelen. 1. Lijst afgestudeerden Het panel vraagt aan de opleiding een volledige lijst van afgestudeerden van de laatste twee voltooide studiejaren. In ieder geval zijn daarop vermeld: naam student, het studentnummer, de afstudeerdatum, de variant en de locatie van de opleiding, de behaalde resultaten in de afstudeerfase (cijfer beoordeling eindwerk, cijfer mondelinge verdediging, eindcijfer afstuderen), de aanwezigheid van ingevulde en ondertekende beoordelingsformulieren. 2. Selectie Het panel selecteert zelf ruim voorafgaand aan de visitatie aselect en gestratificeerd 15 verschillende eindwerken (of portfolio s) uit de grootste variant van de opleiding op basis van de lijst genoemd onder punt 1. Naar rato van de omvang van de overige varianten en in vergelijking met de grootste variant selecteert het panel aanvullend een aantal eindwerken uit deze varianten. Het panel zorgt ervoor dat de locaties van elke variant gelijkelijk in de steekproef vertegenwoordigd zijn uitgaande van hun omvang. De stratificering bestaat in de eerste plaats uit het opnemen van eindwerken met lage (5,5-6,5), middelhoge (7-8) en hoge (8,5 en meer) cijfers in de steekproef. Hierdoor krijgt het panel zicht op de toegepaste normen door de examinatoren. 3. Oordeel onvoldoende Als het percentage door het panel als onvoldoende beoordeelde eindwerken hoger is dan 10%, breidt het panel de steekproef uit tot 25. Eindwerken met een onvoldoende van het panel worden tijdens de visitatie inhoudelijk besproken met de beoordelaars/examinatoren. 4. Lijst eindwerken Het paneladvies bevat een lijst met beoordeelde eindwerken op studentnummer. De naam van de student en de titel van het eindwerk worden niet vermeld. 5. Eindwerk Het panel bestudeert elk eindwerk inclusief de ingevulde en ondertekende beoordelingsformulieren. Deze stukken zijn aangeleverd door de opleiding. 6. Oordeel panel Ieder eindwerk wordt eerst door één domeindeskundig panellid voorafgaand aan de visitatie beoordeeld. Het panellid legt zijn/haar voorlopige oordeel vast op een beoordelings-formulier. Bij twijfel wordt een tweede panellid ingeschakeld (4-ogen principe). In onderling overleg wordt het paneloordeel bepaald. Dit oordeel wordt vastgelegd op studentnummer. 7. Rapportage oordeel (on)voldoende Het panel rapporteert over het aantal eindwerken dat het als onvoldoende heeft beoordeeld en beredeneert inhoudelijk waarom het uiteindelijk een voldoende of onvoldoende geeft voor het gerealiseerde niveau van de opleiding. 21

26 Voor zover dat uit de documentatie kon worden afgeleid, is in de deskresearch nagegaan in hoeverre bij de herbeoordeling van afstudeerwerkstukken gehandeld is conform de richtlijnen van de NVAO. We hebben daarbij gelet op de informatie over de steekproeftrekking en de omvang van de steekproef, aanwijzingen over stratificatie bij de steekproefverdeling, eventuele discrepanties tussen het oordeel van de opleiding en het oordeel van de herbeoordelaars, het gebruik van beoordelingsformulieren en de onderbouwing van de herbeoordeling. Uit de bestudeerde documenten komt naar voren dat de omvang van de steekproef in nagenoeg alle gevallen beantwoordde aan de richtlijn van de NVAO (15 per opleiding). In één geval (opleiding G) had de opleiding bij de commissie aangegeven deze omvang wel fors te vinden. Na een aanvankelijke verwijzing naar de NVAO norm, bleek de commissie in dit geval alsnog genoegen te nemen met een halvering van de omvang (7 per opleiding). De desbetreffende opleiding brengt dit in verband met de clusterbeoordeling, waarbij de commissie over alle locaties voor gelijksoortige opleidingen veel afstudeerwerkstukken te bestuderen zou krijgen. De wijze waarop de selectie tot stand is gekomen is lang niet altijd goed te achterhalen. Wel wordt in QANU rapporten melding gemaakt van een aselecte en gestratificeerde steekproeftrekking, maar daaruit is doorgaans niet duidelijk af te leiden hoe dit precies in zijn werk is gegaan. Zo wordt nergens toegelicht op welke wijze er is gestratificeerd. Een proportionele stratificatie op basis van het scriptiecijfer is nodig om ervoor te zorgen dat bepaalde groepen (de lage of juiste hoge beoordelingen) niet oververtegenwoordigd zijn in de steekproef. Uit de gesprekken blijkt dat de opleidingen zich hier niet of nauwelijks mee bezig houden. Meestal wordt aangegeven dat er inderdaad sprake was van een verdeling over de verschillende cijferstrata, maar hoe de verdeling precies is gemaakt en of deze proportioneel was, is niet bekend bij de betrokkenen. De scripties worden aangeleverd met de beoordelingsformulieren van de opleiding. Op basis van welke criteria de commissie de herbeoordeling heeft uitgevoerd was niet bekend bij de opleidingen in dit onderzoek en is ook geen onderwerp van gesprek geweest bij het visitatiebezoek. Op dit punt ontbreekt transparantie. Bèta interview Het proces is goed verlopen maar het is wel een soort black box. Je weet niet wat er precies gebeurt en dat is gevaarlijk. De criteria zijn niet duidelijk. Gebruiken ze de beoordelingsformulieren die zijn meegestuurd? Dat weet je niet. Alfa interview Het ging er dan vooral om dat de commissie alleen het eindproduct ziet maar dat de opleiding ook het proces heeft meegemaakt en meegenomen in de beoordeling. Bij slechts één opleiding is bekend dat de commissie gebruik heeft gemaakt van het beoordelingsformulier van de opleiding. In alle andere gevallen weet men niet of de commissie gebruik heeft gemaakt van een beoordelingsformulier en zo ja, of dat het beoordelingsformulier van de opleiding was of een eigen formulier van de commissie. Daar waar de commissie tot een ander oordeel komt dan de opleiding wordt dit meestal wel onderbouwd, maar in enkele gevallen ontbreekt een onderbouwing van afwijkende oordelen in het rapport. 22

27 In veel gevallen is niet duidelijk hoe vaak bij de herbeoordeling discrepanties naar voren zijn gekomen ten opzichte van de oorspronkelijke beoordeling. QANU geeft dan bijvoorbeeld aan dat in enkele gevallen een verschil naar voren kwam bij de herbeoordeling. In hoeveel gevallen dit precies was, is dan niet duidelijk evenmin als de feitelijke cijfers en de grootte van de discrepantie. Een algemeen bezwaar tegen de herbeoordeling van de scripties is dat de commissie alleen naar het eindproduct kijkt en niet naar het onderzoek- en schrijfproces dat een student voor zijn scriptie heeft doorlopen. Meerdere betrokkenen geven aan dat het juist verstandig is dat scriptiebegeleiders (één van de meestal twee beoordelaars) het schrijfproces van een scriptie of eindwerkstuk een rol laten spelen in hun beoordeling. 23