Decretale evaluatie van het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs

Transcriptie

1 Decretale evaluatie van het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs November

2 Inhoud Afkortingen... 4 I. Inleiding Situering Opbouw evaluatierapport Historiek: kwaliteitszorg en accreditatie in Vlaanderen Eerste-generatie kwaliteitszorgsysteem: Opleidingsvisitaties Visitatie en accreditatie Nieuw Accreditatiestelsel in het hoger onderwijs in Vlaanderen Autonomie en verantwoordelijkheid Samenvattend Instellingsreview in internationaal perspectief Pilootfase: Regie van de borging van de kwaliteit van de opleidingen binnen de instellingsreview II. Decretale evaluatie Plan van aanpak en methodologie Evaluatiegroep Resonantiegroep Evaluatievragen Methodologie en informatiebronnen voor de evaluatie Resultaten van de survey in het kader van de evaluatie van de instellingsreview Vraagstelling, doelgroepen en responsgraad Belangrijkste bevindingen Bijkomende informatieverzameling Focusgesprekken met reviewcommissieleden Focusgesprekken met vertegenwoordigers van de instellingen (SAMENaries) Input buitenlandse stakeholders Overzichtsrapportage NVAO: resultaten van de eerste ronde instellingsreviews met inbegrip van de regie van de borging van de kwaliteit van de opleidingen a. Proces instellingsreviews b. Resultaten van de evaluatierapporten van de instellingsreviews c. Resultaten van de adviesrapporten van de regie van de borging van de kwaliteit van de opleidingen Antwoorden op de evaluatievragen en reflectie van de evaluatiegroep...38 III. Beleidsaanbevelingen Systeem decretaal verankeren Succesfactoren bewaken

3 2.1 Performantie en robuustheid Transparantie Autonomie en planlast Bijlagen

4 Afkortingen - Codex Hoger Onderwijs: Besluit van de Vlaamse Regering ter codificatie van de decretale bepalingen betreffende het hoger onderwijs van 11 oktober ESG: Standards and Guidelines for Quality Assurance in the European Higher Education Area - Hogescholendecreet: decreet van 13 juli 1994 betreffende de hogescholen in de Vlaamse Gemeenschap - NAS-decreet: decreet van 6 juli 2012 tot wijziging van het decreet van 4 april 2003 betreffende de herstructurering van het hoger onderwijs in Vlaanderen, wat het stelsel van kwaliteitszorg en accreditatie betreft - NVAO: Nederlands-Vlaamse Accreditatieorganisatie - Overgangsdecreet: decreet van 19 juni 2015 houdende wijziging van de Codex Hoger Onderwijs met betrekking tot het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs - Structuurdecreet: decreet van 4 april 2003 betreffende de herstructurering van het hoger onderwijs in Vlaanderen - Universiteitendecreet: decreet van 12 juni 1991 betreffende de universiteiten in de Vlaamse Gemeenschap - VLHORA: Vlaamse Hogescholenraad - VLIR: Vlaamse Interuniversitaire Raad 4

5 I. Inleiding 1. Situering Op 19 juni 2015 keurde de Vlaamse Regering de wijziging van de Codex Hoger Onderwijs met betrekking tot het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs goed. In dit gewijzigde stelsel krijgen hogeronderwijsinstellingen meer autonomie en verantwoordelijkheid voor het kwaliteitsbeleid. Daarnaast wordt er ook naar gestreefd om het stelsel te vereenvoudigen en de administratieve lasten te verminderen. Het herziene stelsel legt de verantwoordelijkheid voor de kwaliteitsbewaking van de onderwijsactiviteiten bij de instellingen zelf. Interne en externe kwaliteitszorg worden op een geïntegreerde manier benaderd. De instellingen moeten permanent en op eigen initiatief toezien op de kwaliteit en moeten daarbij studenten, alumni, externe deskundigen uit het beroepenveld en internationale deskundigen betrekken. In 2012 werd de instellingsreview ingevoerd die licht moest werpen op de manier waarop een instelling hoger onderwijs haar onderwijstaken op een kwaliteitsvolle manier uitvoert door middel van een beoordeling door een externe commissie van de beleidsprocessen binnen een instelling. Zo werd voor het eerst ook een systeem van externe kwaliteitszorg op instellingsniveau decretaal vastgelegd, terwijl ook de opleidingsvisitaties bleven doorlopen om de kwaliteit van opleidingen te garanderen. Nog voor het ingaan van de eerste ronde instellingsreviews werd met het decreet van 19 juni de keuze gemaakt voor een meer geïntegreerd systeem van kwaliteitszorg en accreditatie. Aan hogeronderwijsinstellingen in Vlaanderen werd de mogelijkheid geboden om ook de verantwoordelijkheid voor de borging van de kwaliteit van hun eigen opleidingen op te nemen en een intern systeem van kwaliteitsborging benoemd als de 'regie van de borging van de kwaliteit van de opleidingen' uit te bouwen die de instelling in staat stelt om zelf in te staan voor de kwaliteit van hun opleidingen. Het decreet bood aan de instellingen de mogelijkheid te kiezen voor een bijkomende advisering van de wijze waarop ze de regie voeren van de borging (en de verbetering) van de kwaliteit van de opleidingen. Die advisering werd meegenomen in de instellingsreview. De eerste ronde instellingsreviews gold als een nulmeting, De bijkomende advisering van de regie gebeurde aan de hand van pilots die binnen de instellingen werden opgezet. De instellingen die ook de regie lieten beoordelen, werden vrijgesteld van het huidige proces van externe kwaliteitsbeoordeling en opleidingsvisitaties met het oog op accreditatie van hun opleidingen. Alle universiteiten en hogescholen hebben geopteerd voor deze bijkomende advisering. Het voorliggend rapport evalueert de werking en impact van het gewijzigde stelsel van accreditatie en instellingsreviews ten behoeve van een nieuw en definitief decretaal stelsel van kwaliteitszorg en accreditatie, zoals bepaald in artikel II.131 van de Codex Hoger Onderwijs. 1 Decreet houdende de wijziging van de Codex Hoger Onderwijs met betrekking tot het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs van 19 juni

6 Codex Hoger Onderwijs: Art. II.131 De Vlaamse Regering zorgt voor de uitvoering van een evaluatie van de eerste instellingsreviews tegen eind juni [...] De Vlaamse Regering zorgt daarnaast ook voor de uitvoering vóór 1 januari 2024 van een algemene evaluatie van de werking en de impact van het stelsel van accreditatie en instellingsreviews. Bij de evaluatie wordt ook nagegaan of de administratieve lastenvermindering zich manifesteert. Overgangsdecreet Opbouw evaluatierapport In onderliggend evaluatierapport wordt eerst de historische en internationale context van het huidige stelsel van kwaliteitszorg en accreditatie geschetst. Daarna wordt de methodologie van de decretale evaluatie beschreven, zoals die werd voorgesteld in een mededeling aan de Vlaamse Regering op 15 april Aansluitend wordt per informatiebron - zijnde de survey, de focusgesprekken en de overzichtsrapportage van de NVAO een overzicht gegeven van de belangrijkste resultaten die daaruit voortkwamen. Vervolgens is er het analyserend gedeelte waarin op basis van de resultaten in de informatiebronnen een antwoord wordt geformuleerd op de evaluatievragen. Daarbij wordt ook telkens een reflectie van de evaluatiegroep gegeven. Ten slotte eindigt het rapport met de beleidsaanbevelingen. 6

7 2. Historiek: kwaliteitszorg en accreditatie in Vlaanderen De stap om vertrouwen en verantwoordelijkheid voor de kwaliteit van de opleidingen te geven aan de instellingen kadert in de historiek van de externe kwaliteitszorg van het hoger onderwijs in Vlaanderen. Sinds de jaren negentig werden interne en externe kwaliteitszorgprocedures op poten gezet die ervoor gezorgd hebben dat ook binnen de instellingen een sterke kwaliteitscultuur is ontstaan. 2.1 Eerste-generatie kwaliteitszorgsysteem: Opleidingsvisitaties Een proces van externe kwaliteitszorg in de vorm van opleidingsvisitaties gaat terug tot het begin van de jaren 90. In het Universiteitendecreet 2 van 1991 werden In ruil voor een ruimere beslissingsbevoegdheid en een grotere bestedingsvrijheid van de toegekende middelen, belangrijke eisen gesteld aan de kwaliteit van het academisch onderwijs en het wetenschappelijk onderzoek. 3 In het Hogescholendecreet 4 van 1994 werden aan de hogescholen dezelfde eisen gesteld: In aansluiting op het bij de universiteiten vigerende systeem wordt geopteerd voor het principe van de visitatiecommissies. 5 In het kwaliteitszorgsysteem dat toen werd ontwikkeld, lag de focus op een interne zelfevaluatie die door een externe visitatiecommissie werd beoordeeld. Dit kwaliteitszorgsysteem was gebaseerd op een verbeterperspectief (het verbeteren van de kwaliteit van de opleidingen stond voorop) enerzijds, en de verantwoordingsfunctie anderzijds. De verantwoordelijkheid en het eigenaarschap van het kwaliteitszorgsysteem legde de Vlaamse overheid volledig bij de instellingen, waarbij de externe visitaties gecoördineerd werden door de VLIR en de VLHORA. 2.2 Visitatie en accreditatie In 2003 werd via het Structuurdecreet 6 een systeem van accreditaties aan de kwaliteitscontrole van de visitatiecommissies gekoppeld. Artikel I.3 van de Codex Hoger Onderwijs definieert opleidingsaccreditatie als de formele erkenning van een opleiding op grond van een beslissing van een onafhankelijk orgaan waarin vastgesteld wordt dat de opleiding voldoet aan vooraf vastgestelde minimale kwaliteits- en niveauvereisten. Aan de accreditatie zijn gevolgen verbonden: de bevoegdheid om decretaal beschermde bachelor- en masterdiploma s af te leveren; de berekening van de werkingsuitkeringen van de instellingen: alleen geaccrediteerde opleidingen komen in aanmerking voor financiering; studiefinanciering voor de studenten die een geaccrediteerde opleiding volgen. 2 Decreet betreffende de hogescholen in de Vlaamse Gemeenschap van 13 juli 1994 (Parl. St. Vl. Parl. 1994, nr.546/1) 3 Memorie van toelichting: Decreet betreffende de universiteiten in de Vlaamse Gemeenschap van 12 juni 1991 (Parl. St. Vl. Parl. 1991, nr.502/1), p.40 4 Decreet betreffende de hogescholen in de Vlaamse Gemeenschap van 13 juli 1994 (Parl. St. Vl. Parl. 1994, nr.546/1) 5 Memorie van toelichting: Decreet betreffende de hogescholen in de Vlaamse Gemeenschap van 13 juli 1994 (Parl. St. Vl. Parl. 1994, nr.546/1), p Decreet betreffende de herstructurering van het hoger onderwijs in Vlaanderen van 4 april 2003 (Parl. St. Vl. Parl. 2003, nr.1571/1) 7

8 Accreditatie voorzag in een toets door een onafhankelijk orgaan dat een eindoordeel uitsprak over de basiskwaliteit van de opleiding. Op 3 september 2003 hebben de Nederlandse en Vlaamse ministers bevoegd voor Onderwijs het Verdrag tussen de Vlaamse Gemeenschap van België en het Koninkrijk der Nederlanden inzake de accreditatie van opleidingen binnen het Vlaamse en Nederlandse hoger onderwijs ondertekend. Daarmee werd de Nederlands-Vlaamse Accreditatieorganisatie (NVAO) als onafhankelijk accreditatieorgaan in Vlaanderen aangeduid. Sinds 1 februari 2005 is de NVAO operationeel in Vlaanderen. 2.3 Nieuw Accreditatiestelsel in het hoger onderwijs in Vlaanderen In 2012 wilde de decreetgever met het Nieuw Accreditatiestelsel (NAS-decreet) 7 tegemoet komen aan een aantal kritieken op het toenmalige stelsel van accreditatie en kwaliteitszorg. Het NASdecreet voorzag een instellingsreview met een stimulerend effect op de kwaliteitscultuur binnen de instelling in combinatie met een opleidingsaccreditatie die enkel nog gericht was op de corebusiness van de opleidingen. Op die manier kon men tegemoet komen aan de hoge planlast dat zijn de bijkomende en als nutteloos ervaren administratieve taken - die gepaard ging met de toenmalige visitatieprocedure. Met de instellingsreview was het mogelijk om met een prospectieve visie te streven naar een hogere kwaliteit, in tegenstelling tot de retrospectieve oordelen over basiskwaliteit die eigen waren aan de visitatieprocedures. De instellingsreview wordt als volgt gedefinieerd: een periodieke evaluatie door een externe commissie van de beleidsprocessen die een instelling opzet om te garanderen dat ze haar kerntaken onderwijs, onderzoek en maatschappelijke dienstverlening op een kwaliteitsvolle manier kan uitvoeren. De focus ligt evenwel op het onderwijsbeleid. Dat wil zeggen dat beleidsprocessen die zijn opgezet op het vlak van onderzoek en maatschappelijke dienstverlening, worden bekeken in relatie tot de ondersteuning van het onderwijs en de kwaliteit die de instelling biedt in haar opleidingen. De instellingsreview biedt instellingen de kans uit te leggen: - welk beleid ze de voorbije zes jaar hebben gevoerd, - welke beleidsdoelstellingen ze daarmee willen bereiken en met welk resultaat, - hoe ze van plan zijn het beleid bij te stellen om de realisatie van de vooropgestelde beleidsdoelstellingen te verbeteren. De instellingsreview is geen beoordeling van de kwaliteit van het onderwijs of het onderzoek, maar specifiek een beoordeling van de interne beleidsprocessen, -procedures en -instrumenten waarmee de instelling haar beleidsdoelstellingen wil realiseren of in de toekomst nog beter wil realiseren. Om het Vlaamse systeem sterker te doen uitstijgen boven de basiskwaliteit (die in de visitatieprocedure aan de orde was), gaat van de instellingsreview een stimulerend effect uit op de kwaliteit in de instelling. Het NAS-decreet bepaalde dat de eerste ronde instellingsreviews in de academiejaren en zouden doorgaan. Die eerste instellingsreviews waren gepland als een nulmeting waaruit elke instelling kon leren wat haar beginsituatie is op elk van de onderwerpen. Elke 7 Decreet tot wijziging van het decreet van 4 april 2003 betreffende de herstructurering van het hoger onderwijs in Vlaanderen, wat het stelsel van kwaliteitszorg en accreditatie betreft van 6 juli 2012 (Parl. St. Vl. Parl., 2012, nr.1606/1) 8

9 instelling zou weten welke beleidsprocessen goed lopen en welke beleidsprocessen nog verbeterd konden worden. Van deze eerste ronde instellingsreviews moet zowel voor de instellingen als voor het systeem een lerend effect uitgaan. De instellingsreviews in deze eerste ronde werden uitgevoerd volgens het vastgelegde kader, maar er zijn verder geen rechtsgevolgen aan verbonden. De tweede ronde instellingsreviews zou plaatsvinden in de academiejaren en , wat ook het eindpunt is van de looptijd van de eerste accreditaties verleend in de tweede accreditatieronde. Op het einde van de tweede ronde instellingsreviews zouden dus ook alle opleidingen aan een nieuwe externe beoordeling onderworpen worden volgens het nieuwe accreditatieregime. De derde ronde opleidingsaccreditaties zou van start gaan met de opleidingen waarvan de duur van de accreditaties verstreek op het einde van het academiejaar Tegelijk met de evaluatie van de eerste ronde instellingsreviews zou de Vlaamse Regering proefprojecten opzetten om de haalbaarheid na te gaan van het verlenen van opleidingsaccreditaties op basis van een opleidingsdossier. Die vereenvoudigde procedure van opleidingsaccreditatie zou dan ingaan tijdens de derde ronde van instellingsreviews. Op die manier beoogde het NAS-decreet om op lange termijn de planlast in het kader van de visitatieprocedures te reduceren en opnieuw meer verantwoordelijkheid te geven aan de instellingen inzake de kwaliteit van hun opleidingen. Codex Hoger Onderwijs: Art. I.3 2 accreditatie en instellingsreview : a) opleidingsaccreditatie: de formele erkenning van een opleiding op grond van een beslissing van een onafhankelijk orgaan waarin vastgesteld wordt dat de opleiding voldoet aan vooraf vastgestelde minimale kwaliteits- en niveauvereisten; b) eerste ronde opleidingsaccreditaties: de accreditaties die zijn verleend vanaf 1 februari 2005 tot en met het einde van het academiejaar ; c) tweede ronde opleidingsaccreditaties: de accreditaties die zijn verleend vanaf het begin van het academiejaar tot en met het einde van het academiejaar ; d) derde ronde opleidingsaccreditaties: de accreditaties die zijn verleend vanaf het begin van het academiejaar tot en met het einde van het academiejaar ; e) instellingsreview: periodieke beoordeling door een externe commissie van de beleidsprocessen die een instelling hoger onderwijs opzet om te garanderen dat ze haar taken op het terrein van het onderwijs op een kwaliteitsvolle manier uitvoert; f) positief besluit instellingsreview: het besluit van de accreditatieorganisatie dat een instellingsreview afrondt en waarin de accreditatieorganisatie bevestigt dat de instelling voldoet aan alle onderwerpen van het beoordelingskader instellingsreview; g) eerste ronde instellingsreviews: de instellingsreviews die worden uitgevoerd vanaf het begin van het academiejaar tot en met het einde van het academiejaar ; h) tweede ronde instellingsreviews: de instellingsreviews die worden uitgevoerd vanaf het begin van het academiejaar tot en met het einde van het academiejaar ; 9

10 i) derde ronde instellingsreviews: de instellingsreviews die worden uitgevoerd vanaf het begin van het academiejaar tot en met het einde van het academiejaar ; j) opleidingsdossier: het dossier dat het instellingsbestuur indient met het oog op het verkrijgen van de opleidingsaccreditatie; k) visitatierapport: de gepubliceerde externe beoordeling uitgevoerd door een visitatiecommissie georganiseerd door een evaluatieorgaan; 2.4 Autonomie en verantwoordelijkheid 8 Zoals gepland volgens het NAS-decreet zouden in 2015 universiteiten en hogescholen de volgende vijf jaar twee instellingsreviews moeten ondergaan terwijl intussen ook de opleidingsaccreditaties zouden blijven lopen. Die opeenstapeling zou voor zo n grote workload zorgen dat de kwaliteitszorg er eerder onder zou lijden dan er beter van worden. Alle actoren hebben daarbij aangegeven dat er ruimte was voor vereenvoudiging. Het onderzoek naar planlastvermindering in het hoger onderwijs uit 2013, in opdracht van de Minister van Onderwijs, Jeugd, Gelijke Kansen en Brussel Pascal Smet, gaf al aan dat wat betreft de planlast het Nieuwe Accreditatiestelsel kritisch onthaald werd bij de instellingen. Het gevaar is vooral groot dat het ene sturingssysteem niet door het andere wordt vervangen. De praktijk van dat soort evoluties wijst uit dat er meestal gewoon verschillende lagen van soorten sturingssystemen over elkaar worden gelegd en dat de aansturing een mix wordt van verschillende sturingsfilosofieën: de klassieke bureaucratische inputsturing met de administratieve last; de huidige dominante sturing op activiteiten en processen en dan daarbovenop nog de sturingsfilosofie gericht op prestaties en effecten. Door dat soort evoluties dreigt het hoger onderwijs niet onder minder maar onder steeds meer planlast gebukt te gaan: er moet dan nog meer worden gerapporteerd en nog meer data moeten worden gegenereerd. Wil de Vlaamse overheid effectief omschakelen naar een andere sturingsfilosofie dan zou die keuze alvast consequent en helder moeten zijn: omschakelen naar beoordeling van prestatie en effecten zou moeten betekenen dat veel regelving moet worden opgegeven die nu stuurt op input en activiteiten. De autonomie en de responsabilisering van de instellingen moet dan zo maximaal mogelijk zijn. 9 Voor de start van de eerste ronde van instellingsreviews werd daarom gewerkt aan een geïntegreerd systeem van externe kwaliteitszorg in het hoger onderwijs met als doel de autonomie van de instellingen fundamenteel te versterken en hen de mogelijkheid te geven om via eigen beleid verantwoordelijkheid op te nemen voor de borging van de kwaliteit. Daaruit vloeide het voorstel voort dat in de toekomst de accreditatie op het niveau van de instellingen zou plaatsvinden. In dit stelsel zouden in de instellingen die de instellingsreview positief doorlopen hadden, de opleidingsaccreditaties verlengd worden op basis van de kwaliteitsborging die de instellingen zelf uitvoeren door middel van een eigen regie. De instellingen 8 Memorie van toelichting, Decreet houdende wijziging van de Codex Hoger Onderwijs met betrekking tot het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs van 19 juni 2015, (Parl. St. Vl. Parl. 2015, nr. 324/1 9 Jolien Dewaele, Filip De Rynck, Ellen Wayenberg & Adelien Decramer, Onderzoek naar planlastvermindering in het hoger onderwijs. ( in opdracht van Minister van Onderwijs, Jeugd, Gelijke Kansen en Brussel Pascal Smet), p

11 krijgen op die manier nog meer verantwoordelijkheid voor het borgen en verbeteren van de kwaliteit van hun opleidingen. Ze nemen daartoe de regie voor deze borging in handen. De regie is het geheel van acties, processen, praktijken, procedures en instrumenten die de instelling in staat stelt de kwaliteit van de opleidingen te borgen. Om een verlenging van de opleidingsaccreditaties te verkrijgen, zou naast de kwaliteit van het onderwijsbeleid, zoals momenteel bepaald voor de instellingsreview, tevens de regie van de borging van de kwaliteit van de opleidingen binnen instellingen beoordeeld worden. Gaandeweg groeide het besef dat een instellingsaccreditatie verkeerdelijk het beeld kan oproepen dat instellingen zelf gemachtigd worden om opleidingen in te richten (programmatierecht) en te accrediteren zodat opleidingsaccreditatie overbodig wordt. Dat is uitdrukkelijk niet de wens van de overheid. Accreditatie op het niveau van de opleiding blijft bestaan, omdat instellingen ten aanzien van studenten, stakeholders en de samenleving als geheel ultiem verantwoording verschuldigd zijn over de kwaliteit van individuele opleidingen. Onder andere het aanbieden van nieuwe opleidingen (erkenning als nieuw), en de eerste accreditatie van opleidingen gebeurt na een beoordeling op opleidingsniveau, maar voor bestaande, reguliere opleidingen die in het verleden een positieve beoordeling en daarbij aansluitende accreditatie kregen, kunnen de accreditatietermijnen verlengd worden op basis van een positieve beoordeling van het onderwijsbeleid en de regie op instellingsniveau. Bij een negatieve beoordeling op instellingsniveau vervalt de verlenging van accreditatietermijnen en gebeurt de borging van de kwaliteit op opleidingsniveau opnieuw door de accreditatieorganisatie. Dit maakt duidelijk dat de opleidingskwaliteit het centrale gegeven blijft in het kwaliteitszorgstelsel. Een negatieve beoordeling geeft aan dat de kwaliteit van de opleidingen door de instelling niet met zekerheid geborgd kan worden. Een negatieve beoordeling van de instellingsreview doet echter geen uitspraak over de kwaliteit van de individuele opleidingen op zich. Een instelling kan slechts onderwijsbevoegdheid verliezen op het niveau van individuele opleidingen, en niet voor het geheel van opleidingen. Daarom ook wordt expliciet gekozen om accreditaties te verlenen op niveau van opleidingen en niet op het niveau van de instelling. Het opleidingsniveau staat nog steeds centraal in het stelsel van kwaliteitszorg en accreditatie in Vlaanderen. Om op basis van onderliggend decretaal evaluatierapport eventuele aanpassingen aan het stelsel nog tijdig te kunnen invoeren, werd met het overgangsdecreet in 2015 de looptijd van de rondes instellingsreviews uitgebreid met een jaar. Daardoor zal de tweede ronde plaatsvinden in de academiejaren en Codex Hoger Onderwijs: Art. II.127 De instellingen, vermeld in artikel II.1, vragen een instellingsreview of een verlenging ervan aan bij de accreditatieorganisatie. De eerste ronde instellingsreviews wordt georganiseerd in de academiejaren en De tweede ronde instellingsreviews vindt plaats in de academiejaren [ en ]. 10 Memorie van toelichting, Decreet houdende wijziging van de Codex Hoger Onderwijs met betrekking tot het stelsel van kwaliteitszorg en accreditatie in het hoger onderwijs van 19 juni 2015, p

12 De accreditatieorganisatie stelt in overleg met de VLUHR het tijdsrooster op van de instellingsreviews in de eerste en tweede ronde en legt voor elke instellingsreview de uiterlijke datum van de aanvraag vast. Overgangsdecreet Samenvattend Zoals bovenstaande historiek aangeeft waren in de jaren 90 de externe visitaties een nieuw gegeven, ondertussen zijn ze een evidentie geworden waarop heel wat interne processen van de universiteiten en hogescholen zich hebben geënt. De afgelopen 25 jaar is dus geleidelijk een echte kwaliteitscultuur ontstaan binnen instellingen die toeliet om verdere stappen te zetten in het responsabiliseren van de instellingen. In het licht daarvan werd met het Overgangsdecreet van 2015 de mogelijkheid gelaten aan de instellingen om de verantwoordelijkheid voor de kwaliteit van hun opleidingen zelf in handen te nemen nadat ze al bijna twee decennia ruim ervaring konden opdoen binnen het kader van de visitaties. 12

13 3. Instellingsreview in internationaal perspectief De ontwikkeling van een interne kwaliteitscultuur binnen instellingen is geen uitsluitend Vlaams fenomeen, maar is zichtbaar in hogeronderwijsinstellingen in de hele European Higher Education Area (EHEA). Daarvan getuigt onder meer het Trends 2010 rapport - A decade of change in European Higher Education. Thus, institutional responses to the Trends 2010 questionnaire revealed that for 60% of HEI s, one of the most important changes in the past ten years has been enhanced internal quality processes 11. In de survey Examining Quality Culture 12 en het meest recente Trends 2015 rapport, werden die bevindingen nogmaals bevestigd it appears that there has been considerable development in internal quality processes across Europe. 13 Daaruit blijkt dat in steeds meer landen en regio s de kwaliteitscontrole en accreditatie op institutioneel niveau plaatsvinden. Most agencies focus on programme evaluation, but a growing number are becoming involved in institutional accreditations or audits. 14 Het tweede ENQArapport Quality procedures in the European Higher Education Area and Beyond uit 2008 constateerde nog dat een meerderheid van de externe kwaliteitszorgprocedures nog gebeurde op programmaniveau. Toch blijkt dat er intussen steeds meer externe kwaliteitszorgprocedures plaatsvinden op institutioneel niveau. 15 Het leggen van de verantwoordelijkheid en autonomie bij de instellingen zelf is dus een breder Europees fenomeen. 16 De overgang naar een systeem van de verlenging van opleidingsaccreditaties via een instellingsreview past binnen deze ontwikkeling. 11 Andrée Sursock & Hanne Smidt, Trends 2010: A decade of change in European Higher Education. (EUA publications, 2010) p. 84 e.v. 12 Tia Loukkola & Thérèse Zhang, Examining Quality Culture: Part I Quality Assurance Processes in Higher Education Institutions. (EUA, 2010); Andrée Sursock, Examining Quality Culture Part II: Processes and Tools Participation, Ownership and Bureaucracy. (EUA, 2011); Oliver Vettori, Examining Quality Culture Part III From self-reflection to enhancement. (EUA, 2012). 13 Andrée Sursock, Trends 2015: Learning and Teaching in European Universities. (EUA, 2015), pp Commission of the European Communities, Report from the Commission to the Council, the European Parliamant, the European Economic and Social Committee and the Committee of the Regions. Report on the progress in quality assurance in higher education. (Brussels, 2009), p. 4. (COM (2009) 487 final) 15 Nathalie Costes, Fiona Crozier, Peter Cullen, Josep Grifoll, e.a. Quality Procedures in the European Higher Education Area and Beyond Second ENQA Survey. (ENQA, 2008), p Spyros Amourgis, Nathalie Costes, Wenshe Froestad, Clas-Uno Frykholm e.a., Programme-oriented and institutional-oriented approaches to quality assurance: new developments and mixed approaches. (ENQA, 2009). 13

14 4. Pilootfase: Regie van de borging van de kwaliteit van de opleidingen binnen de instellingsreview Via het Overgangsdecreet van 2015 werd aan instellingen de mogelijkheid geboden om een eigen regie te ontwikkelen voor de borging van de kwaliteit van hun opleidingen. De instellingen konden hun regie als pilot vormgeven en deze pilot extern laten beoordelen in de geplande instellingsreviews. Het evaluatierapport dat voorligt, moet de pilootfase van instellingsreviews evalueren om te komen tot een definitief stelsel van een verlenging van de opleidingsaccreditaties op basis van een positief doorlopen instellingsreview. Codex Hoger Onderwijs: Art. II De instellingen, vermeld in artikel II.1, zorgen voor de kwaliteitszorg van de onderwijsactiviteiten. Ze zien permanent en op eigen initiatief toe op de kwaliteit van hun onderwijsactiviteiten. Ze betrekken studenten, alumni, externe deskundigen uit het beroepenveld en internationale deskundigen bij de processen van kwaliteitsbewaking. Ze voorzien in een regelmatige beoordeling van de kwaliteit van hun onderwijsactiviteiten. Tot en met het einde van het academiejaar kunnen de instellingen bij wijze van experiment proefprojecten opzetten waarbij zij zelf de regie voeren van de borging van de kwaliteit van hun opleidingen. Overgangsdecreet De instellingen die deze regie via pilots ontwikkelden, werden tijdelijk vrijgesteld van opleidingsvisitaties met het oog op accreditatie. In 2015 kozen alle achttien ambtshalve geregistreerde hogeronderwijsinstellingen voor de bijkomende advisering van de wijze waarop ze de regie voeren van de borging (en de verbetering) van de kwaliteit van hun opleidingen. Zodoende werden de opleidingsaccreditaties van de desbetreffende instellingen, zoals bepaald in artikel II.387/1 van de Codex Hoger Onderwijs, verlengd met acht academiejaren en werden de desbetreffende opleidingen vrijgesteld van visitaties. Codex Hoger Onderwijs: Art. II.387/1. Als een instelling gebruikmaakt van de mogelijkheid, vermeld in artikel II.126, 2, tweede lid, wordt de geldigheidsduur van de accreditatie van haar opleidingen die in het kader van de accreditatieprocedure volgens het visitatierooster dat is vastgelegd door de VLUHR na 16 december 2014 een zelfevaluatierapport, zoals bedoeld in het accreditatiekader, moeten indienen, van rechtswege verlengd met acht academiejaren. Die verlenging is niet van toepassing op de volgende opleidingen : 1 de opleidingen die geaccrediteerd zijn conform artikel II.153, 8; 2 de opleidingen die geaccrediteerd zijn conform artikel II.151, eerste lid; 3 de opleidingen waarvan de geldigheidsduur van de accreditaties beperkt werd met toepassing van artikel II.147, 3. Overgangsdecreet In de periode vonden de instellingsreviews plaats. De achttien hogeronderwijsinstellingen werden ingedeeld in drie clusters waarvan de beoordelingen plaatsvonden in het voorjaar van 2016, het najaar van 2016 en het voorjaar van Na afronding van elk van deze clusters ging de NVAO de consistentie van de beoordelingen na en koppelde ze 14

15 mondeling terug naar de betrokken instellingen. In de zomer van 2017 besliste NVAO over de instellingsreviews en de adviesrapporten aangaande de regie en maakte de NVAO haar besluiten en rapporten van de reviewcommissies over aan de betrokken instellingen. De instellingsreviews waren opgevat als een nulmeting en hebben geen rechtsgevolgen. 17 De nulmeting betrof de vier reeds decretaal bepaalde onderwerpen op het vlak van onderwijs(beleid): - visie en beleid; - beleidsuitvoering; - evaluatie en monitoring; - verbeterbeleid. Naast de vier onderwerpen van de instellingsreview zoals bepaald in het NAS-decreet, werd in 2015 de decretale mogelijkheid gecreëerd om een bijkomende advisering te laten uitvoeren van de manier waarop de instelling via de pilot(s) de regie voert van de borging van de kwaliteit van de eigen opleidingen. Deze advisering van de regie kreeg de vorm van een review trail. Codex Hoger Onderwijs: Art. II De instellingen, vermeld in artikel II.1, zijn vanaf het academiejaar onderworpen aan een instellingsreview. Bij een instellingsreview beoordeelt een externe commissie de beleidsprocessen die een instelling opzet om te garanderen dat ze haar taken op het terrein van het hoger onderwijs op een kwaliteitsvolle wijze uitvoert. De reviewcommissie betrekt daarbij ook de beleidsprocessen die de instelling opzet om het onderwijs dat ze in haar opleidingen aanbiedt te ondersteunen vanuit haar opdrachten op het terrein van onderzoek en maatschappelijke en wetenschappelijke dienstverlening. 2. De reviewcommissie betrekt de volgende onderwerpen in haar beoordeling : 1 de visie van de instelling op hoger onderwijs en de kwaliteit van het hoger onderwijs en het gevoerde beleid, beleidsdoelstellingen en beleidsuitgangspunten op het terrein van het onderwijs alsmede het gevoerde beleid op het terrein van onderzoek en maatschappelijke en wetenschappelijke dienstverlening in relatie met de onderwijskwaliteit; 2 de beleidsacties, processen, procedures, praktijken en instrumenten, die de instelling inzet om haar beleid op een effectieve wijze te realiseren en de kwaliteit van het aangeboden onderwijs te optimaliseren; 3 de feedback- en opvolgsystemen en in het bijzonder de interne systemen van kwaliteitsbewaking die de instelling opzet om de effectiviteit van haar beleidsacties in functie van de onderwijskwaliteit te garanderen; 4 de acties die een instelling onderneemt om de realisatie van haar beleidsdoelstellingen te verbeteren. [Naast de onderwerpen, vermeld in het eerste lid, kan een instelling vragen een bijkomende beoordeling uit te voeren over de manier waarop de instelling de regie voert van de borging van de kwaliteit van haar opleidingen, zoals bedoeld in artikel II.122, 1, tweede lid.] In het kader van de instellingsreviews werd per instelling een reviewcommissie samengesteld door de NVAO van vijf leden: 17 Codex Hoger Onderwijs, Art. II

16 - Een Vlaamse reviewcommissievoorzitter met ruime kennis van het Vlaamse hoger onderwijs en met bestuurlijke ervaring - Een Franstalige Belg (met kennis van de Nederlandse taal) met bestuurlijke ervaring in het hoger onderwijs buiten Vlaanderen - Een Nederlander met bestuurlijke ervaring in het hoger onderwijs buiten Vlaanderen - Een lid vanuit het werkveld met deskundigheid in kwaliteitszorg en kwaliteitsbewaking vanuit andere context dan onderwijs - Een student afgevaardigd door de Vlaamse Vereniging van Studenten (VVS) De reviewcommissies voerden twee locatiebezoeken uit van respectievelijk 2 en (2 of) 3 dagen. Het eerste locatiebezoek was verkennend. Het tweede was verdiepend. Die verdieping gebeurde via het uitvoeren van drie types review trails, elk met een onderscheiden karakter: - Een horizontale review trail focust op een onderwerp, thema of accent waarop de instelling zich profileert. - Een verticale review trail focust op de werkelijke uitvoering van een element van de visie en het onderwijsbeleid binnen twee of meer opleidingen en betreft dus de uitrol van het gekozen model. - De derde review trail focust op de regie van de borging van de kwaliteit van de opleidingen. In het kader van de derde review trail die inzicht bood in de regie van de borging van de kwaliteit van de opleidingen, kreeg elke instelling de mogelijkheid om een pilot of meerdere pilots te ontwikkelen. Die pilot kon zowel op kleinschalige wijze (groep opleidingen, departement/faculteit) als instellingsbreed vormgegeven worden. Op basis van het eigen kwaliteitszorgbeleid konden de instellingen dus zelf de vorm van hun pilot(s) kiezen en bijgevolg ook de betrokken opleidingen. De instellingen die vooraan in de kalender van de instellingsreview werden opgenomen, konden hun pilot kleinschaliger vormgeven. Dit ondermijnt echter niet de waarde van deze pilots en de meerwaarde die de externe beoordeling ervan had. Ten behoeve van het experimentele karakter is het goed dat er verschillende modellen van regie ontwikkeld werden. In alle gevallen diende zichtbaar te worden hoe de regie afgestemd is op de Vlaamse Kwalificatiestructuur en Europese referentiekaders, meer in het bijzonder hoe de aansluiting gebeurt bij de Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Hiertoe werden de elementen uit de ESG die betrekking hebben op kwaliteitszorg en onderwijskwaliteit omgezet in kenmerken van kwaliteitsvolle hogeronderwijsopleidingen, de zogenaamde kwaliteitskenmerken. Daarnaast diende de regie inzichtelijk te maken hoe interne en externe stakeholders en onafhankelijke, externe peers en experten bij de processen betrokken worden om de kwaliteitskenmerken op een gezaghebbende manier aantoonbaar te maken. Tot slot werd van de instellingen gevraagd een strategie te ontwikkelen om resultaten en uitkomsten van hun regie op transparante wijze publiek te maken. Voor de advisering van de regie in de derde review trail werd een kwaliteitscode ontwikkeld. 18 Die kwaliteitscode expliciteert bovenstaande verwachtingen. Naast de aansluiting bij de ESG, voorziet de kwaliteitscode ook de betrokkenheid van interne en externe stakeholders (met de nodige aandacht voor de betrokkenheid van studenten bij de borging van de kwaliteit) en de inzet van experten en/of peers. De kwaliteitscode maakt ook de koppeling met de Vlaamse 18 NVAO, Kwaliteitscode Vlaanderen

17 Kwalificatiestructuur en de Europese kwalificatieraamwerken. Hierbij wordt de link gelegd naar de voorwaarden die gelden voor de toegang tot bepaalde ambten of beroepen. Er moet worden benadrukt dat het dus niet gaat om een beoordelingskader met standaarden, maar om een code die het de instellingen mogelijk maakt de eigen regie te staven. Bij de beoordeling van een instelling kan dan op een meer specifieke en diepgaande wijze de praktijk van de regie in het licht van de kwaliteitscode getoetst worden. Codex Hoger Onderwijs: Art. II.126 [ 5. De beoordeling vermeld in artikel II.126, 2, tweede lid, wordt uitgevoerd in overeenstemming met een Kwaliteitscode. De accreditatieorganisatie legt na overleg met de VLUHR en de studentenkoepelverenigingen deze Kwaliteitscode vast. De Kwaliteitscode bepaalt de algemene uitgangspunten waaraan de regie van de borging van de kwaliteit van de opleidingen moet beantwoorden en hoe de instelling hierover verantwoording moet afleggen. Daarnaast voorziet de Kwaliteitscode aansluiting bij de Standards and Guidelines for Quality Assurance in the European Higher Education Area, de Vlaamse Kwalificatiestructuur en de relevante Europese kwalificatieraamwerken.] Overgangsdecreet De NVAO ontwikkelde voor de instellingsreview de Waarderende Aanpak. Het gaat om een filosofie, een mindset, een stijl of een ingesteldheid die leidend is bij het uitwerken van de methodologie en het vormgeven en uitvoeren van de instellingsreviews. Het vertrekpunt hierbij is de eigen context van de instelling en het door de instelling gekozen model. De standaarden uit het beoordelingskader zijn dit uitdrukkelijk niet. Er wordt dan ook niet beoordeeld of het gekozen model goed is, maar wel of het gekozen model werkt. Daarbij ligt de focus op wat er is en wat er kan en niet op wat er zou moeten of kunnen zijn. Doel is om goedlopende processen binnen de instelling te verankeren en te stimuleren en na te gaan waar (elementen binnen) het onderwijsbeleid nog versterkt kan (kunnen) worden, verder uitgediept of geïntensifieerd. Terzelfdertijd laat de Waarderende Aanpak een beoordeling toe die gebaseerd is op een kritisch onderzoek van de reviewcommissie. Er is ruimte om samen met de instelling ontwikkelpunten vast te stellen. Dit is mogelijk door een continue dialoog tussen commissie en instelling en een grote openheid van beide partijen. Deze openheid vereist dat de instellingsreview plaatsvindt in een sfeer van vertrouwen. Het aanwezige vertrouwen en de bereidheid om zelfkritisch (de instelling) of kritisch onderzoekend naar het (eigen) onderwijsbeleid te kijken, hebben de ontwikkeling van de Waarderende Aanpak mogelijk gemaakt. De Waarderende Aanpak zorgt ervoor dat de vormgeving van de instellingsreviews maximaal focust op respect voor de eigen context en verantwoordelijkheden van de instelling en op wat ze bereikt heeft. Ze probeert vanuit het perspectief van het instellingsbestuur inzicht te verwerven in het functioneren van de instelling. Na de verkennende fase volgt een verdiepende fase waarin de commissie na een kritische doorlichting van het onderwijsbeleidsmodel samen met de instelling inzichten opbouwt, kansen en mogelijkheden teruggeeft, de instelling een spiegel voorhoudt, en via het rapport meerwaarde creëert. De instellingsreviews dragen op die manier bij tot de doorontwikkeling van de in de instelling aanwezige kwaliteitscultuur. 17

18 Zoals decretaal bepaald, blijven de instellingsreviews uit de periode zonder rechtsgevolgen. 19 Echter de instellingsreviews kunnen wel verbetersuggesties opleveren die bij de volgende beoordeling van de instellingen (mét rechtsgevolgen) een rol zullen spelen. Aangezien niet alle verbetersuggesties noodzakelijk gevolgd worden (omdat ze bijvoorbeeld niet passen bij de keuzes van de instelling), kunnen instellingen hier een formeel antwoord op formuleren. Op die manier worden de verbetersuggesties gekaderd in de context van de betrokken instelling en kunnen ze bij de volgende beoordeling van de instelling op adequate wijze een rol spelen. De rapporten van de instellingsreviews zijn openbaar Codex Hoger Onderwijs, Art. II Codex Hoger Onderwijs, Art. II

19 II. Decretale evaluatie Zoals bepaald in artikel II.131 van de Codex Hoger Onderwijs moet het stelsel van instellingsreviews geëvalueerd worden vooraleer een definitief stelsel van opleidingsaccreditatie op basis van de instellingsreview kan worden uitgewerkt. De evaluatie moet de nodige informatie opleveren om de overgang van de pilootfase naar het definitieve stelsel te maken en in het bijzonder de samenhang te evalueren tussen de instellingsreview en de regiefunctie, en na te gaan of de integratie van de regiefunctie in de instellingsreview wenselijk is. Daarnaast moet de evaluatie inzicht geven in de conformiteit van het stelsel met de Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). 1. Plan van aanpak en methodologie In een Mededeling aan de Vlaamse Regering (15 april 2016) opgenomen als bijlage, werd het plan van aanpak voor de decretale evaluatie vastgelegd. Daarin werd een tweeledige evaluatie voorgesteld die door een evaluatiegroep wordt uitgevoerd en door een resonantiegroep wordt gecontroleerd. De evaluatiegroep voert de evaluatie van de werking en de impact van het stelsel van accreditatie en instellingsreviews uit, en is dus ook de auteur van voorliggend evaluatierapport. De resonantiegroep staat in voor de meta-evaluatie, gaat na of de evaluatie correct is verlopen en garandeert op die manier objectiviteit en onafhankelijkheid. 1.1 Evaluatiegroep Het in 2015 gestarte stelsel van kwaliteitszorg en accreditatie is het resultaat van een co-creatie tussen de overheid, NVAO en de verschillende partners uit het hoger onderwijs. In het kader van de gedragenheid, de betrokkenheid en het creëren van eigenaarschap dienen deze partners een cruciale rol te spelen in de evaluatie van het stelsel van kwaliteitszorg en accreditatie. Daartoe werd een evaluatiegroep samengesteld waarin de betrokken partners zetelen en die de werking en de impact van het stelsel van kwaliteitszorg in het hoger onderwijs evalueert. De evaluatiegroep is samengesteld uit een vertegenwoordiger van het kabinet (1), het Departement Onderwijs en Vorming (1), de NVAO (3), de VVS (1), de hogescholen (3) en de universiteiten (3) (via de VLUHR: combinatie rectoren, algemeen directeuren en instellingsexperten kwaliteitszorg). De VLUHR vaardigde een waarnemer af. De evaluatiegroep wordt gecoördineerd door het kabinet en ondersteund door het Departement Onderwijs en Vorming. Vanuit respectievelijk NVAO, VLIR en VLHORA werd telkens maximaal één extra lid toegevoegd in het kader van ondersteuning en brede terugkoppeling. 1.2 Resonantiegroep Om te garanderen dat de evaluatie objectief en onafhankelijk werd uitgevoerd, wordt gewerkt met een resonantiegroep. De resonantiegroep voert een vorm van meta-evaluatie uit en gaat daarbij na of de evaluatiegroep een correcte evaluatie heeft gemaakt en of het rapport in overeenstemming is met de opzet en de vooropgestelde evaluatieaanpak. De resonantiegroep legt 19

20 zijn bevindingen vast in een rapport. De evaluatiegroep kan het finale evaluatierapport nog bijstellen op basis van de bevindingen van de resonantiegroep. De resonantiegroep kwam twee keer samen (installatie en informatiebijeenkomst waarbij de methodologie werd doorgepraat en tweede bijeenkomst voor het uitvoeren van de metaevaluatie). De resonantiegroep is samengesteld uit experts met een achtergrond in inspectie, kwaliteitszorg, bedrijfsleven, onderzoek, Kwinta, etc. Minimaal één lid is internationaal (Europa overstijgend). De resonantiegroep wordt ondersteund door de overheid. 1.3 Evaluatievragen In de Mededeling aan de Vlaamse Regering werden drie elementen naar voor gebracht die in het kader van het nieuwe stelsel van kwaliteitszorg en accreditatie dienden getoetst te worden: Performantie en robuustheid van het stelsel met het oog op de bewaking en verbetering van de onderwijskwaliteit; Betrokkenheid van en de transparantie naar interne en externe stakeholders (zoals personeel, studenten, werkveld en peers) als basis voor maatschappelijk vertrouwen; Draagvlak van het nieuwe stelsel bij de instellingen (instellingsbestuur, personeel en studenten) in het kader van autonomie en planlast. Om deze aspecten te onderzoeken werd door de evaluatiegroep een lijst van evaluatievragen opgesteld die elk van deze elementen ondersteunen. Deze lijst van evaluatievragen vormt het fundament van de decretale evaluatie en bijgevolg ook van dit evaluatierapport. Performantie en robuustheid 1. Biedt de praktijk, zoals die blijkt uit de rapporten, voldoende aanknopingspunten voor de wijze waarop de beoordeling van de regie op een adequate wijze geïntegreerd kan worden in de beoordeling van de instelling? 2. Heeft het stelsel voldoende aandacht voor essentiële componenten van onderwijskwaliteit (leerresultaten, curriculum, leeromgeving en toetsing)? 3. Vormen de vier onderdelen van het stelsel van kwaliteitszorg en accreditatie een alles omvattend stelsel van externe kwaliteitszorg voor het Vlaamse hoger onderwijs? 4. Biedt het kader van de instellingsreview een voldoende houvast voor de evaluatie van de kwaliteit van het onderwijsbeleid van een instelling? Wat kan er verbeterd worden? 5. Blijkt uit de adviesrapporten dat binnen de opzet van de pilots de betrokken kwaliteitskenmerken1 op een gezaghebbende manier aantoonbaar worden gemaakt? 6. Biedt het kwaliteitszorgstelsel voldoende garanties dat interne en externe stakeholders op een kwaliteitsvolle manier worden betrokken? Transparantie 1. Biedt het kwaliteitszorgstelsel voldoende garanties dat interne en externe stakeholders betrouwbare informatie ontvangen over de kwaliteit van de opleidingen? 2. Werden voldoende stappen gezet inzake informatiedeling en publieke informatie over de kwaliteit van de opleidingen? Zijn er nog bijkomende noden en behoeften inzake informatie? 20

21 3. Biedt het kwaliteitszorgstelsel voldoende waarborgen dat de binnenlandse en buitenlandse stakeholders het vertrouwen behouden in de kwaliteit van het Vlaamse hoger onderwijs? Autonomie en planlast 1. Bevordert de Waarderende Aanpak het draagvlak voor het nieuwe stelsel bij de instellingen? 2. Biedt het nieuwe stelsel voldoende ruimte aan de instellingen en de opleidingen om de eigen verantwoordelijkheid inzake kwaliteitszorg ten volle op te nemen? Maken de instellingen gebruik van de autonomie die hen gegeven wordt? 3. Bevordert het kader van de instellingsreview en de kwaliteitscode de verdere ontwikkeling van de kwaliteitscultuur binnen de instelling? 4. Bevordert de Waarderende Aanpak de verdere ontwikkeling van de kwaliteitscultuur binnen de instelling? 5. In welke mate leidt het nieuwe stelsel potentieel tot een vermindering van de planlast? Bevatten de rapporten suggesties voor een vermindering van de (interne) planlast? 1.4 Methodologie en informatiebronnen voor de evaluatie Verder boden ook de belangrijkste informatiebronnen die ten dienste van de decretale evaluatie stonden inkijk in de ervaringen van de verschillende doelgroepen. De belangrijkste gegevens voor het beantwoorden van de evaluatievragen werden voornamelijk aangeleverd door twee informatiebronnen: 1) De resultaten van de evaluatierapporten van de instellingsreviews en de adviesrapporten over de regie van de borging van de kwaliteit; 2) Een survey bij alle betrokkenen over hun ervaringen met het proces van de instellingsreviews. Daarnaast werden nog aanvullend focusgesprekken georganiseerd met bepaalde doelgroepen. Op basis van de evaluatierapporten van de instellingsreviews en de adviesrapporten betreffende de regie van de borging van de kwaliteit die door de reviewcommissies werden opgesteld, heeft de NVAO een overzichtsrapportage opgemaakt met de belangrijkste bevindingen met betrekking tot de instellingsreviews. Door deze overzichtsrapportage krijgen we zicht op de resultaten van de instellingsreviews. De survey, opgesteld door de evaluatiegroep, wilde peilen naar de ervaringen met het proces van de instellingsreview bij de verschillende doelgroepen die betrokken werden bij de decretale evaluatie. Deze survey is geïnspireerd op de evaluatievragen. 21 NVAO zorgde voor de afname van de vragenlijsten, het Departement Onderwijs en Vorming stond in voor de verwerking en analyse. De NVAO organiseerde daarnaast nog intervisies met voorzitters en secretarissen van de reviewcommissies en focusgesprekken met de reviewcommissieleden in mei Daar werden bepaalde aspecten van het proces nog verder besproken en uitgediept. Ook de instellingen werden per cluster uitgenodigd door de NVAO om hun ervaringen met de instellingsreview diepgaander te bespreken. Zo werden drie SAMENaries georganiseerd waar vertegenwoordigers van de 21 Zie bijlage 4 voor het overzicht van de surveyvragen en de doelgroepen van de survey. 21