Protocol ter beoordeling van de werkwijze van visiterende en beoordelende instanties

Transcriptie

1 Protocol ter beoordeling van de werkwijze van visiterende en beoordelende instanties

2 1 Inleiding In haar procedure van de accreditatie van bestaande opleidingen heeft de NAO een belangrijke plaats ingeruimd voor de Visiterende en Beoordelende Instanties, de zogenaamde VBI. Onder de regie van de VBI s immers, zullen panels (visitatiecommissies) tot een oordeel moeten komen over de kwaliteit van de beoordeelde opleidingen. Om de verbeterfunctie van het kwaliteitszorgstelsel te handhaven moeten de panels in de gelegenheid zijn oordelen en aanbevelingen te geven over gevisiteerde opleidingen. Uiteindelijk moet een eindoordeel gegeven worden op grond waarvan een instelling voor een specifieke opleiding een accreditatiebesluit kan vragen bij de NAO. De NAO moet op basis van het visitatierapport een eigenstandig oordeel kunnen vellen over de vraag of een opleiding aan de criteria voor basiskwaliteit voldoet. Het is daarom dus van groot belang dat de VBI s en de door hen ingestelde panels aan kwaliteitsvoorwaarden kunnen voldoen. Om die reden heeft de wetgever voorgeschreven dat de NAO jaarlijks een lijst moet opstellen van organisaties die naar het oordeel van de NAO voldoen aan criteria om visitaties te kunnen uitvoeren. De basis voor het uitvoeren van visitaties is het accreditatiekader van de NAO. De NAO doet dus twee uitspraken over een VBI: 1. voldoet de VBI aan de eisen om op de lijst te komen? 2. biedt het visitatierapport voldoende basis voor de NAO om een beslissing te nemen over de accreditatie van de opleiding? Indien een instelling besluit om met een VBI in zee te gaan die niet op de NAO-lijst is vermeld, zal de NAO achteraf moeten toetsen of totstandkoming en de kwaliteit van het visitatierapport voldoende gegarandeerd zijn. 2 De lijst van VBI s Uitgangspunt voor het beoordelen van de kwaliteit van de VBI s is de instellingen een indicatie te geven over de waarschijnlijkheid dat de betreffende VBI een visitatieprocedure tot een goed einde kan brengen. Uiteraard kan vooraf geen garantie worden gegeven, maar wel kan duidelijk gemaakt dat de inhoudelijke en procedurele randvoorwaarden door de betreffende VBI goed kunnen worden ingevuld. De VBI wordt gevraagd om documentatie aan te leveren waaruit blijkt dat de VBI aan de criteria voldoet of kan voldoen. 2.1 De criteria voor plaatsing op de lijst a. Onafhankelijkheid VBI De VBI functioneert in onafhankelijkheid van opleidingen en instellingen van hoger onderwijs. Voor de NAO geldt als één van de zwaarste procedurele criteria dat het oordeel over de kwaliteit van de opleidingen in onafhankelijkheid tot stand kan komen. De VBI moet dan ook aantonen dat de te beoordelen instellingen geen invloed hebben op de beoordelingen die door de VBI worden uitgevoerd. Hiertoe moeten in ieder geval statuten en de samenstelling van bestuur en directie aan de NAO worden overlegd. De VBI moet aantonen hoe is gewaarborgd dat er geen belangenverstrengeling ontstaat door advieswerkzaamheden. De VBI zal ook inzicht moeten verschaffen in de aard van de advieswerkzaamheden en haar klantenbestand. b. Onafhankelijkheid panels De VBI garandeert dat de visitatie en het beoordelingsproces in volstrekte onafhankelijkheid kunnen plaatsvinden. Essentieel is de waarborg die de VBI moet geven ten aanzien van de onafhankelijkheid van de panels. De VBI moet de garantie kunnen geven dat de visitatie en het beoordelingsproces onafhankelijk kunnen plaatsvinden, dat p 2

3 wil zeggen zonder beïnvloeding van de betrokken instelling, de opleiding of andere belanghebbenden. De VBI legt daartoe een onafhankelijkheidsverklaring over, die de leden van het panel moeten ondertekenen en die in het visitatierapport moeten wordenopgenomen. c. Samenstelling panel De VBI toont aan dat de samenstelling en werkwijze van de panels conform de eisen van de NAO kunnen geschieden. De NAO hecht grote waarde aan de samenstelling van de panels: dit is immers het gremium dat het feitelijke beoordelingswerk verricht en dat daarmee dus ook grote invloed heeft op de hoogte van de standaard van de basiskwaliteit in de betreffende discipline. De NAO gaat uit van een panel van minimaal drie leden (exclusief een studentlid). Naast de onafhankelijkheid zijn deskundigheid en gezag van de panels van groot belang. De deskundigheid zal moeten blijken uit de samenstelling; het gezag van het panel moet op zijn minst blijken uit de acceptatie van het panel door vak- en beroepsgenoten. De deskundigheid moet ook de hele breedte van de opleiding omvatten. De VBI moet dus aantonen over voldoende mogelijkheden te beschikken om panels van gezag samen te stellen. Wat betreft de deskundigheid wijst de NAO op de volgende specifieke deskundigheden die in elk geval in het panel aanwezig moeten zijn. Deze deskundigheden kunnen uiteraard in een aantal personen verenigd zijn: - domeinspecifieke deskundigheid in discipline en afnemend veld; - onderwijs(des)kundigheid (ook rekening houdend met het onderwijs, b.v. digitaal); - audit-deskundigheid; - deskundigheid over de internationale ontwikkeling van de discipline. De VBI legt een lijst voor van panelleden die visitaties hebben verricht dan wel bereid zijn in de toekomst visitaties te verrichten. Voor de NAO is het uitgangspunt dat een student zitting heeft in het panel. Het leiding geven aan, c.q. begeleiden van panels vergt speciale aandacht. De NAO eist van de VBI expliciete garanties over de goede voortgang van de werkzaamheden van de panels. Die garantie kan o.a. blijken uit de kwaliteit van de beoogde voorzitters en secretarissen van de panels. d. Kwaliteitssysteem VBI De VBI beschikt over een systeem van interne kwaliteitszorg. Van een VBI die garant moet staan voor kwaliteitsoordelen, mag geëist worden dat zij over een effectief kwaliteitssysteem beschikt. Dat wil zeggen dat het proces van visitatie, van beoordeling en van rapportage structureel wordt geëvalueerd en kan worden bijgesteld. De VBI moet inzicht geven in het gebruikte kwaliteitssysteem. Onderdeel van het kwaliteitssysteem is de bewaking van de visitatiedeskundigheid van het panel. p 3

4 e. Beoordelingsprotocol De VBI beschikt over een beoordelingsprotocol, dat in ieder geval bevat: operationalisering criteria accreditatiekader - operationalisering beslisregels (inclusief beoordelingsschaal) - werkwijze bij visitaties - wijze waarop vergelijkingen tussen opleidingen worden gemaakt - wijze waarop bijzondere kwaliteitskenmerken worden getoetst - wijze waarop de rapportage plaatsvindt. Het accreditatiekader dat door de NAO is opgesteld is met opzet globaal gehouden. De NAO wil daarmee zowel ruimte geven aan het eigen-meesterschap van de instellingen van Hoger Onderwijs als aan de professionaliteit van de VBI s. De VBI moet dus in staat zijn om het accreditatiekader te vertalen in operationele criteria. De VBI geeft tevens aan hoe de visitaties verlopen (tijdschema, gesprekspartners, voorbereidingen), op welke wijze de beslisregels zullen worden toegepast en hoe de rapportage plaatsvindt. Onderdeel van de werkwijze is de noodzaak om separate oordelen te geven over de verschillende vormen van de opleiding (voltijd, deeltijd, duaal of andere vormen) en over de verschillende vestigingsplaatsen. In de accreditatiewetgeving is voorgeschreven dat in het visitatierapport vergelijkingen met andere opleidingen (kunnen) worden gemaakt, zo mogelijk in internationaal perspectief. Nu niet langer voorgeschreven is dat visitaties per discipline moeten plaatsvinden, maar dat elke opleiding op het door haar gewenste ogenblik het proces om tot accreditatie te komen, in gang kan zetten, moet de VBI zorg dragen voor een beoordeling van een opleiding in de context van de discipline. Worden méér opleidingen in één keer gevisiteerd dan wordt de omvang van het probleem geringer; in alle gevallen moet echter gezorgd worden voor adequate vergelijkingen: dat kan door benchmarking, door de samenstelling van het panel, of door samenwerking te zoeken met andere VBI s. De hier boven beschreven elementen vormen samen het beoordelingsprotocol. De VBI legt dit beoordelingsprotocol voor aan de NAO. f. Referentiekader De VBI beschikt over een beschrijving over de wijze waarop tot een domeinspecifiek referentiekader wordt gekomen. Naast de algemene kwaliteitskenmerken die onderdeel uitmaken van het beoordelingsprotocol geldt voor elke soort opleiding dat zichtbaar moet worden gemaakt op welke wijze de domeinspecifieke kwaliteitseisen worden gedefinieerd, geoperationaliseerd en getoetst. De VBI moet waarborgen dat dit domeinspecifieke referentiekader op een zorgvuldige en adequate wijze tot stand komt. Daarbij wordt in elk geval aangesloten bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk aan een opleiding in het betreffende domein worden gesteld. Belangrijke ankerpunten kunnen zijn: eerdere visitatie en de daarbij gebruikte referentiekaders, raamplannen (zie b.v. geneeskunde), beroepsprofielen, competentiecatalogi, wettelijke eisen voor beschermde beroepen e.d. p 4

5 2.2 Ervaringen van/met VBI s De Nederlandse wetgever heeft het accreditatiestelsel open gemaakt. De markt voor opleidingen is open, omdat het Hoger Onderwijs-bestel is gedeïnstitutionaliseerd: in beginsel moet een instelling aangevenof men accreditatie op bachelor- of masterniveau wil en of men een WO- of HBO-oriëntatie nastreeft. De markt voor VBI s is eveneens open: in beginsel heeft elke instelling de keuzevrijheid om met een Nederlandse of een buitenlandse VBI in zee te gaan. De NAO kan dus geconfronteerd worden met verschillende werkwijzen, ervaringen en kwaliteiten. De door de NAO op te stellen lijst is dus een hulpmiddel voor de instellingen, maar meer ook niet. De status van de lijst zal de komende jaren echter aan gewicht winnen doordat de ervaringen met de VBI s een rol zullen spelen bij de beoordeling. Zowel negatieve ervaringen met bestaande VBI s als positieve ervaringen met nieuwe kunnen invloed hebben op de lijst. Voor degenen die visitaties moeten laten verrichten is de lijst dus een hulpmiddel. Om de waarde van de lijst in dit opzicht nog te vergroten stelt de NAO de VBI s dan ook in de gelegenheid een korte omschrijving te geven van bijzondere kwalificaties of aandachtsgebieden. De NAO zal deze omschrijving opnemen in de door haar te publiceren lijst. 2.3 Werkwijze bij plaatsing op de lijst In paragraaf 2.1 is in extenso aangegeven welke documentatie een VBI moet voorleggen aan de NAO om op de VBI-lijst geplaatst te kunnen worden. De NAO vraagt dus bewijsmateriaal over de onafhankelijkheid van de VBI (2.1.a), de modelonafhankelijkheidsverklaring voor panels (2.1.b), inzicht in de mogelijkheden van de VBI om de panels samen te stellen (2.1.c), het door de VBI gebruikte kwaliteitszorgsysteem (2.1.d), het beoordelingsprotocol (2.1.e) en de door de VBI te gebruiken werkwijze om tot een domeinspecifiek referentiekader te komen. De NAO voert met de VBI een gesprek op basis van de voorgelegde documentatie, waarbij in latere jaren ook de ervaring van de NAO met de betreffende VBI aan de orde wordt gesteld. De NAO geeft vooraf de agenda van dit gesprek aan en geeft aan met welke functionarissen zij wil spreken. In het gesprek komen in ieder geval aan de orde - de onafhankelijkheid waarbij ook aan de orde wordt gesteld, indien van toepassing, de wijze waarop de VBI beoordelingsprocessen en advieswerkzaamheden scheidt; - de wijze waarop de VBI het beoordelingsproces vormgeeft, en met name hoe wordt gewaarborgd dat de lat op de juiste hoogte wordt gelegd; - het kwaliteitssysteem van de VBI, waarbij onder andere protocollen, referentiekaders en het archiefsysteem aan de orde is. De lijst wordt jaarlijks opgesteld. De datum voor publicatie is 1 september. De documentatie van de VBI dient vóór 1 juni ingeleverd te worden 1. Bij de eerste beoordeling dient de documentatie in extenso te worden voorgelegd. Bij latere beoordelingen kan met een notitie over veranderingen worden volstaan. Het bestuur van de NAO beslist over het verzoek tot opneming op de lijst. Tegen afwijzing van het verzoek staan wettelijke mogelijkheden voor bezwaar en beroep open. 1 Voor 2003 wordt ernaar gestreefd die lijst al op 1 juli beschikbaar te hebben. p 5

6 3 De beoordeling van visitatierapporten Voor de NAO geldt uiteraard dat the proof of the pudding is in the eating : niet alleen de plaatsing van de VBI op de lijst is belangrijk, maar vooral de wijze waarop onder regie van een VBI de visitaties plaatsvinden. De NAO moet op grond van de rapportage tot een eigenstandig oordeel over al dan niet accreditatie kunnen komen. Ook hier gaat het dus om het toetsen van inhoudelijke en procedurele zorgvuldigheid en juistheid. a. Onafhankelijkheid panel Het panel verklaart dat de visitatie en het beoordelingsproces in volstrekte onafhankelijkheid hebben plaatsgevonden. Uit verklaringen van het panel moet duidelijk zijn dat het oordeel van het panel over de betreffende opleiding in volstrekte onafhankelijkheid tot stand is gekomen. De leden van het panel moeten verklaren dat de visitatie en het beoordelingsproces onafhankelijk hebben plaatsgevonden, dat wil zeggen zonder beïnvloeding van de betrokken instelling, de opleiding of andere belanghebbenden. De ondertekende verklaringen van alle leden zijn in het rapport opgenomen. b. Samenstelling panel De samenstelling en de werkwijze van het panel hebben conform de voorschriften van de NAO plaatsgevonden. Uit het rapport moet blijken dat de samenstelling van het panel de garantie biedt voor de benodigde onafhankelijkheid, gezag en deskundigheid. De in het panel aanwezige deskundigheid moet de hele breedte van de opleiding omvatten. Deze garantie blijkt onder andere uit de curricula vitae van de panelleden die in het rapport zijn opgenomen. In panels moet in principe een student zijn opgenomen. Indien bij de samenstelling van het panel niet wordt voldaan aan de eisen van onderwijs(des)kundigheid, auditdeskundigheid, deskundigheid over de internationale ontwikkeling van de discipline, of de aanwezigheid van een student, wordt daarvan gemotiveerd melding gemaakt en wordt duidelijk gemaakt op welke wijze het panel de ontbrekende deskundigheid in haar oordeel heeft betrokken. In het rapport wordt duidelijk gemaakt op welke wijze het adequaat functioneren van het panel is gegarandeerd. c. Beoordelingsprotocol Het panel verklaart dat de visitatie heeft plaatsgevonden op basis van en conform het beoordelingsprotocol. Uit het visitatierapport blijkt dat het panel het beoordelingsprotocol heeft gevolgd. Eventuele afwijkingen daarvan worden in het rapport expliciet vermeld. Uit het rapport wordt tevens duidelijk dat het panel zich over alle operationele criteria een oordeel heeft gevormd. Voor de NAO is de argumentatie van het panel om tot een oordeel te komen, van vitale betekenis. Het panel geeft op grond van de in het rapport opgenomen oordelen over de facetten een gemotiveerd en beargumenteerd oordeel over de zes door de NAO gedefinieerde onderwerpen. Tenslotte geeft het panel een gemotiveerd en beargumenteerd eindoordeel over de basiskwaliteit van de opleiding. Indien een instelling heeft gevraagd om bijzondere kwaliteitskenmerken te beoordelen, wordt in het p 6

7 visitatierapport melding gemaakt van de wijze waarop het panel tot een oordeel hierover is gekomen. Onderdeel van deze beschrijving is de wijze waarop het panel de te beoordelen bijzondere kwaliteitskenmerken heeft geoperationaliseerd en op welke wijze deze operationele criteria zijn getoetst. Uit het rapport blijkt tevens dat het panel de voor het beoordelen van de bijzondere kwaliteitskenmerken benodigde expertise bezat. In het rapport is een vergelijking gemaakt tussen de beoordeelde opleiding en andere, vergelijkbare opleidingen. Aangegeven wordt op welke wijze deze vergelijking tot stand is gekomen. Conform het voorschrift in het accreditatiekader verklaart het panel of de zelfevaluatie een voldoende basis bood voor de visitatie en dus voldoende zelfkritisch was. d. Referentiekader Het panel verklaart dat de visitatie heeft plaatsgevonden op basis van en conform het domeinspecifieke referentiekader. In het visitatierapport is het domeinspecifieke referentiekader opgenomen. Tevens wordt aangegeven op welke wijze het referentiekader tot stand is gekomen. Uit het rapport wordt duidelijk dat het panel zich over alle (operationele) criteria van het referentiekader een oordeel heeft gevormd. Het panel geeft gemotiveerd en beargumenteerd aan op welke wijze de domeinspecificiteit is betrokken in de oordelen per onderwerp en in het eindoordeel. 4. Evaluatie van dit protocol Met behulp van dit protocol beoogt de NAO de kwaliteit van het visitatie en beoordelingsproces te waarborgen en te verbeteren. Kritisch is dat dit proces in onafhankelijkheid kan plaatsvinden. Op basis van ervaringen met het accreditatiesysteem in de praktijk zal dit protocol worden geëvalueerd en bijgesteld. p 7