QANU-KADER. Gids voor de externe kwaliteitsbeoordeling van wetenschappelijke bacheloren masteropleidingen ten behoeve van accreditatie. Versie 3.

Transcriptie

1 QANU-KADER Gids voor de externe kwaliteitsbeoordeling van wetenschappelijke bacheloren masteropleidingen ten behoeve van accreditatie Versie 3.1 QANU Quality Assurance Netherlands Universities

2 QANU (Quality Assurance Netherlands Universities) Leidseveer 35 Postbus RA UTRECHT T F E info@qanu.nl I Pagina 2 van 61 QANU-KADER februari 2004

3 Inhoudsopgave Deel A: QANU-visitaties en NVAO-accreditatie... 4 A.1 Accreditatie in het hoger onderwijs... 5 A.2 QANU als VBI voor wetenschappelijk onderwijs... 5 A.3 Een gids in een overgangssituatie... 6 A.4 Doel van deze gids... 7 A.5 Het proces in het kort... 7 Deel B: Beoordelingskader en richtlijnen zelfevaluatierapport... 9 B.1 Het beoordelingskader Onderwerp 1: Doelstellingen van de opleiding Onderwerp 2: Programma Onderwerp 3: Inzet van personeel, personeelsbeleid Onderwerp 4: Voorzieningen Onderwerp 5: Interne kwaliteitszorg Onderwerp 6: Resultaten B.2 Richtlijnen zelfevaluatierapport B.2.1 Stramien Zelfstudie per opleiding B.2.2 Tabellen, kengetallen en bijlagen per facet B.2.3 Het internationale kader B.2.4 Inleveren zelfevaluatie B.3 Additionele aspecten voor beoordeling B.3.1 Internationalisering en externe contacten B.3.2 Bijzondere kwaliteitskenmerken Deel C: Het zelfevaluatierapport en de werkwijze van de commissie C.1 Het schrijven van het zelfevaluatierapport C.2 De externe beoordeling C.2.1 Het domeinspecifieke referentiekader C.2.2 De beoordelingscommissie C Onafhankelijkheid van de commissie C De samenstelling C Voordracht van de leden C Vergoeding van de commissieleden C.2.3 Werkwijze van de commissie C Voorbereidingen voor de eerste bijeenkomst C De eerste bijeenkomst van de commissie C.2.4 De bezoeken aan de opleidingen C Het programma voor het bezoek C Gebruik van de checklist C Beslisregels bij het vaststellen van het eindoordeel C De opleiding in nationaal en internationaal perspectief C.2.5 Het rapport C Het algemene deel C Het opleidingsdeel C Openbaarheid van het rapport C Aanbevelingen door de commissie C.2.6 Management letter C.2.7 Décharge van de commissie C.2.8 De secretaris Bijlage 1. De Dublin-descriptoren Bijlage 2. Onafhankelijkheid van panelleden Inleiding Algemene waarborgen Specifieke maatregelen Gedragsregels voor commissieleden Onafhankelijkheidsverklaring Lijst met afkortingen Pagina 3 van 61 QANU-KADER februari 2004

4 Deel A: QANU-visitaties en NVAO-accreditatie Pagina 4 van 61 QANU-KADER februari 2004

5 A.1 Accreditatie in het hoger onderwijs Accreditatie is een voorwaarde voor bekostiging van de opleiding door de overheid, voor het recht om erkende diploma s af te geven en voor toekenning van studiefinanciering aan studenten die de opleiding volgen. Accreditatie is, volgens de wet, het keurmerk dat tot uitdrukking brengt dat de kwaliteit van een opleiding positief is beoordeeld. Dat keurmerk wordt verleend door de NVAO, de Nederlands-Vlaamse Accreditatie Organisatie. De kwaliteitsbeoordeling wordt uitgevoerd door een visiterende en beoordelende instantie, een VBI. De VBI stelt daartoe een commissie van onafhankelijke deskundigen in, die zich een oordeel vormt over de te accrediteren opleiding. A.2 QANU als VBI voor wetenschappelijk onderwijs In de wetenschap gelden sterk ontwikkelde kwaliteitsstandaarden, omdat binnen de academische gemeenschap het wetenschappelijk handelen de toets der wetenschappelijke kritiek moet doorstaan. De beoordelingen onder auspiciën van QANU worden daarom uitgevoerd door onafhankelijke commissies van wetenschappers die in het betreffende veld als gezaghebbend worden beschouwd en die worden geselecteerd op hun inhoudelijke deskundigheid en reputatie. De samenstelling van de commissies komt tot stand na consultatie van het veld. De kwaliteit van de samenstelling van de commissies wordt bewaakt door het bestuur van QANU. Bij de kwaliteitsbeoordeling spelen ook didactische kwaliteiten, onderwijsrendementen en op het professionele domein gerichte doelstellingen van het onderwijs een rol. Voorts wordt van een opleiding verwacht dat de onderwijskwaliteit wordt gewaarborgd door een intern kwaliteitszorgsysteem. De commissie wordt zo samengesteld dat ook expertise op deze terreinen is gegarandeerd. Ook waarborgt QANU de deskundigheid van de commissies op het gebied van de methodiek van externe beoordelingen en auditing. Het QANU-beoordelingskader sluit aan bij de systemen van interne kwaliteitszorg waarover instellingen en opleidingen beschikken. De instellingen en opleidingen zijn immers zelf verantwoordelijk voor de kwaliteit van het onderwijs. Het QANU-kader biedt een operationalisering van de normen waaraan een wetenschappelijke opleiding minimaal moet voldoen: de basiskwaliteit. Het kader geeft een concrete invulling van de wetenschappelijke oriëntatie van opleidingen en van het niveau dat wetenschappelijke bachelor- en masteropleidingen geacht worden te bereiken. Met behulp van het kader kunnen de opleidingen aangeven hoe zij onderwijsinnovatie vormgeven en hoe zij het programma afstemmen op veranderende eisen uit de maatschappelijke, de professionele en de wetenschappelijke omgeving. Er is alle ruimte om dit te doen vanuit de specifieke eigen doelstellingen van de opleidingen en vanuit de maatstaven die men hanteert in de interne kwaliteitszorg. Het QANU-kader is bedoeld om een transparante, systematische en betrouwbare beoordeling van wetenschappelijke opleidingen mogelijk te maken, ook in internationaal verband. Het kader sluit daarom aan bij de internationale praktijk van externe kwaliteitsbeoordeling zoals uitgevoerd door leden van INQAAHE en ENQA. QANU streeft ernaar beoordelingen van verwante opleidingen vergelijkend te laten uitvoeren aan de hand van één referentiekader door (deels) gelijk samengestelde panels, hetzij in nationaal verband, hetzij internationaal. Deze vergelijkende beoordelingen bieden de mogelijkheid om de opleidingen uniform te toetsen aan de internationale Pagina 5 van 61 QANU-KADER februari 2004

6 standaarden voor het betreffende domein. Dit draagt bij aan de verbeterfunctie, maar ook aan de verantwoordingsfunctie van de beoordelingen. De verbeterfunctie (het bevorderen van verbetering van de kwaliteit van de opleiding) en de verantwoordingsfunctie (openbaar verantwoording afleggen over de kwaliteit van de opleiding) blijven deel uitmaken van de kwaliteitsbeoordeling. Daaraan wordt de keurmerkfunctie (het uitspreken van een oordeel over de opleiding dat moet leiden tot accreditatie) toegevoegd. De NVAO heeft géén verbeterfunctie. Een accreditatie-uitspraak van de NVAO is een positieve of negatieve uitspraak over de vraag of de opleiding aan de normen voor basiskwaliteit voldoet. De onderbouwde beoordeling van onderwerpen en facetten en het eindoordeel van de commissie leveren hiervoor de argumentatie. Het keurmerk biedt wel een versterking van de verantwoordingsfunctie omdat het oordeel van de commissie wordt gevalideerd. Daarmee wordt vastgelegd dat de opleiding voldoende kwaliteit levert voor bekostiging, diploma-erkenning en studiefinanciering. De instellingen zijn autonoom in het vormgeven van het verbeterbeleid naar aanleiding van een externe beoordeling. De aanbevelingen van de commissie kunnen daarbij een handreiking zijn. QANU ontwikkelt een landelijk rooster voor de beoordelingen van wetenschappelijke opleidingen en zal met name voor de bacheloropleidingen landelijk vergelijkende beoordelingen aanbieden. Bij de beoordeling van masteropleidingen valt te verwachten dat in de nabije toekomst de vergelijkende beoordelingen niet alleen in nationale, maar ook in internationale institutionele of disciplinaire netwerken zullen worden uitgevoerd, eventueel in samenhang met onderzoeksbeoordelingen. De landelijke regie waarin verwante opleidingen op een gelijk tijdstip worden beoordeeld, maakt kruisbestuiving mogelijk tussen deze internationale beoordelingen van masteropleidingen en de bachelorbeoordelingen. Tegelijk verzekert de landelijke regie dat er uniformiteit is tussen de beoordelingen in een visitatiecluster, door het hanteren van één domeinspecifiek referentiekader. A.3 Een gids in een overgangssituatie Deze gids is de eerste gids voor accreditatie in het wetenschappelijk onderwijs. De gids verschijnt op een moment dat de invoering van het bachelor-masterstelsel zorgt voor een ingrijpende herstructurering van de onderwijsprogramma s, terwijl tegelijkertijd de invoering van de accreditatie nieuwe eisen stelt aan de interne en externe kwaliteitszorg. Enerzijds is een zekere continuïteit noodzakelijk om in voldoende mate te kunnen aansluiten op de stand van zaken in de opleidingen en in de interne kwaliteitszorg. Anderzijds moet de externe kwaliteitszorg ook worden aangepast aan de nieuwe ontwikkelingen in het wetenschappelijk onderwijs. Daarom zal deze gids periodiek worden bijgesteld op basis van reacties, ervaringen en evaluaties. Deze gids heeft betrekking op de beoordelingen waarvan de inleverdatum voor de zelfstudie vóór augustus 2005 ligt. In oktober 2004 zal een bijgestelde gids worden uitgebracht voor zelfstudies met een inleverdatum vanaf augustus Pagina 6 van 61 QANU-KADER februari 2004

7 A.4 Doel van deze gids De gids beschrijft de werkwijze van QANU bij het uitvoeren van externe beoordelingen van wetenschappelijke opleidingen voor het verkrijgen van accreditatie. De gids is bedoeld als handleiding voor opleidingen die zich voorbereiden op zo n beoordeling: hij bevat richtlijnen voor het opstellen van een zelfevaluatierapport aan de hand van een beoordelingskader. Dat rapport vormt de basis voor de externe beoordeling van de opleiding. De gids is ook bedoeld voor de onafhankelijke deskundigen die een oordeel over de opleiding uitspreken. Het beoordelingskader biedt dus niet alleen een kader voor het uitvoeren van een zelfevaluatie, het biedt tevens de criteria voor het beoordelen van de opleiding. A.5 Het proces in het kort Het initiatief voor accreditatie ligt bij de instelling: volgens de wet dient een instelling één jaar voor het vervallen van de accreditatie van een opleiding een aanvraag voor hernieuwde accreditatie in bij de NVAO. In die aanvraag beschrijft de instelling een aantal kenmerken van de opleiding, waaronder het niveau (bachelor of master) en de oriëntatie (HBO of WO). Zo n aanvraag dient vergezeld te gaan van een beoordelingsrapport dat is opgesteld door een VBI. Ruim voor het moment waarop de accreditatie verloopt, benadert de instelling een VBI met het verzoek een externe beoordeling van de opleiding uit te voeren. De NVAO accrediteert een opleiding op basis van deze externe beoordeling. Deze accreditatie geschiedt met inachtneming van het Accreditatiekader bestaande opleidingen hoger onderwijs, dat bestaat uit een beoordelingskader, beslisregels, criteria voor het beoordelen van de werkwijze en het rapport van de VBI en een beschrijving van de werkwijze bij accreditatie. Voor iedere bachelor- of masteropleiding 1 moet afzonderlijk accreditatie worden aangevraagd. Per opleiding zal een beoordelingsrapport door een VBI moeten worden overlegd. In het proces dat uiteindelijk moet leiden tot accreditatie worden de volgende stappen onderscheiden: Een instelling maakt afspraken met een VBI over de uitvoering van de externe beoordeling van de opleiding. De VBI stelt een beoordelingscommissie in. De te beoordelen opleiding voert een zelfevaluatie uit aan de hand van het beoordelingskader van de VBI. In de zelfevaluatie worden de resultaten van een planmatige interne kwaliteitszorg vastgelegd in een rapport dat naar de VBI wordt verstuurd. De VBI beoordeelt of het zelfevaluatierapport voldoende expliciet en informatief is om een beoordeling uit te voeren die voldoet aan de eisen van de NVAO. Op basis van het zelfevaluatierapport en de tijdens een bezoek aan de opleiding gevoerde gesprekken, beoordeelt de beoordelingscommissie de kwaliteit van de opleiding en stelt vast of de opleiding voldoet aan de criteria voor accreditatie. Het oordeel van de beoordelingscommissie wordt vastgelegd in een rapport, dat door de VBI aan de instelling wordt aangeboden. Uiterlijk een jaar voor het vervallen van de accreditatie van de opleiding, dient de instelling een aanvraag voor het hernieuwen van de accreditatie in bij de NVAO. Het rapport van de beoordelingscommissie wordt bij deze aanvraag gevoegd. De 1 Daarnaast ook voor ongedeelde opleidingen die NIET in afbouw zijn. Dat betreft slechts enkele WO-opleidingen. Dit Kader heeft alleen betrekking op de bachelor- en masteropleidingen. Pagina 7 van 61 QANU-KADER februari 2004

8 beoordeling moet betrekking hebben op de situatie van maximaal één jaar voor het indienen van de aanvraag. De NVAO beoordeelt het rapport dat is opgesteld door de VBI en het daarin vastgelegde integrale oordeel over de opleiding en toetst het aan het accreditatiekader. De NVAO neemt binnen drie maanden na ontvangst van de accreditatieaanvraag een besluit over het hernieuwen van de accreditatie. De opleiding wordt voor een periode van zes jaar geaccrediteerd met ingang van de datum waarop de accreditatie afloopt, wanneer het besluit van de NVAO positief is. Beoordelingsrooster en beoordelingen op maat Op basis van de overgangsregeling tussen NVAO en VSNU, die in essentie neerkomt op het continueren van het bestaande beoordelingsrooster van de VSNU, heeft QANU een beoordelingsrooster opgesteld van visitatieclusters van verwante opleidingen. QANU biedt volgens dat rooster landelijk vergelijkende beoordelingen aan. Het rooster laat onverlet dat binnen of buiten de clusters maatwerk mogelijk is, bijvoorbeeld in het kader van internationaal vergelijkende beoordelingen van (research)masteropleidingen. QANU onderhoudt contacten met de instellingen om maatwerk aan te bieden. Het tijdschema Voor de periode waarin de overgangsregeling van kracht is, geldt in principe het beoordelingsrooster van de VSNU, inclusief de in het kader daarvan gemaakte afspraken. In de periode daarna hanteert QANU als uitgangspunt voor een landelijke beoordeling van verwante opleidingen een tijdschema, waarin de voorbereidingen voor het hernieuwen van de accreditatie beginnen 36 maanden voordat de accreditatie vervalt. Het tijdschema kan als volgt worden samengevat: TIJDSCHEMA LANDELIJKE BEOORDELING periode activiteit 36 maanden voor QANU kondigt de beoordeling aan en vraagt de betreffende vervallen van instellingen of zij willen deelnemen aan de beoordeling. accreditatie QANU en de deelnemende instellingen maken formele afspraken over de uitvoering van de beoordeling. 24 tot 34 maanden voor vervallen van accreditatie 12 tot 24 maanden voor vervallen van accreditatie uiterlijk 12 maanden voor vervallen van accreditatie QANU stelt de externe beoordelingscommissie in. De te beoordelen opleiding voert een zelfevaluatie uit en doet daarvan verslag in een zelfevaluatierapport. De externe beoordelingscommissie voert de beoordeling van de betrokken opleidingen uit en brengt verslag uit van haar bevindingen. De rapporten worden verstuurd naar de betreffende instellingen. De betrokken instellingen dienen de accreditatieaanvraag, vergezeld van het rapport van de beoordelingscommissie, in bij de NVAO. Het tijdschema voor de beoordeling van individuele opleidingen of van een aantal opleidingen binnen één en dezelfde instelling, wordt in overleg tussen QANU en de instelling vastgesteld. Gezien het tijdpad is het wenselijk dat zeer tijdig tussen instelling en QANU afspraken worden gemaakt. Bij voorkeur neemt een instelling al drie jaar voordat de accreditatie van de betreffende opleiding(en) vervalt, contact op met QANU om te komen tot nadere afspraken over de beoordeling. Pagina 8 van 61 QANU-KADER februari 2004

9 Deel B: Beoordelingskader en richtlijnen zelfevaluatierapport Naast het QANU-Kader is het document 'Beknopte instructies voor het schrijven van een zelfevaluatierapport basiskwaliteit' uitgebracht. Deel B van dit kader is daarin vertaald naar korte instructies voor het schrijven van een zelfevaluatierapport. Pagina 9 van 61 QANU-KADER februari 2004

10 B.1 Het beoordelingskader De wet schrijft voor aan welke aspecten van kwaliteit aandacht moet worden besteed in een beoordeling van een opleiding in het hoger onderwijs, die moet leiden tot het verkrijgen van accreditatie (WHW, art. 5a8). Het wetsartikel is door de NVAO verder uitgewerkt in een beoordelingskader, dat deel uitmaakt van het Accreditatiekader bestaande opleidingen hoger onderwijs. In dat beoordelingskader worden verschillende kwaliteitsaspecten onderscheiden, die door de NVAO onderwerpen worden genoemd. De onderwerpen aan de hand waarvan de NVAO een opleiding beoordeelt zijn: 1. Doelstellingen van de opleiding 2. Programma 3. Inzet van personeel 4. Voorzieningen 5. Interne kwaliteitszorg 6. Resultaten Deze onderwerpen zijn verder onderverdeeld in wat de NVAO noemt facetten, die beoordeeld moeten worden aan de hand van criteria. De NVAO beschrijft de beslisregels op grond waarvan de commissie komt tot een positief of negatief eindoordeel over de kwaliteit van de opleiding. Daarmee liggen de contouren van een beoordelingskader van een VBI vast. Een VBI heeft echter ruimte voor een eigen invulling van het beoordelingskader: Het NAO-kader is globaal geformuleerd en laat ruimte voor eigen keuzes van de instellingen en voor een eigen uitwerking door de VBI (Accreditatiekader bestaande opleidingen hoger onderwijs, p. 14). Het QANU-beoordelingskader Het hiernavolgende beoordelingskader van QANU is een uitwerking van het kader van de NVAO. Alle onderwerpen, facetten en criteria uit het NVAO-beoordelingskader zijn hierin opgenomen. Aan elk onderwerp uit het NVAO-kader is een paragraaf gewijd. Ook de facetten die bij de onderwerpen horen en de beoordelingscriteria worden opgesomd. QANU heeft de NVAO-criteria geëxpliciteerd en verder uitgewerkt in zogenaamde toetspunten. Deze toetspunten geven een nadere concretisering ten behoeve van de onderbouwing in het zelfevaluatierapport en de beoordeling door commissies. Het QANU-kader is onderdeel geweest van de toetsing van QANU als VBI door de NVAO. Het QANU-kader voldoet aan de eisen die de NVAO stelt. Varianten van de opleidingen en verschillende locaties De NVAO schrijft voor dat wanneer een opleiding in verschillende varianten wordt aangeboden (voltijd, deeltijd, duaal) daar waar relevant in de beoordeling duidelijk wordt dat voor elke variant afzonderlijk de basiskwaliteit volgens het beoordelingskader is gewaarborgd. Daar waar relevant schenkt de opleiding in de zelfstudie aandacht aan de verschillen tussen de varianten. In ieder geval worden bij de onderwerpen Programma en Resultaten de verschillen besproken. Wanneer opleidingen op verschillende locaties worden aangeboden, moet worden aangetoond dat op ieder van die locaties de basiskwaliteit is gegarandeerd. Pagina 10 van 61 QANU-KADER februari 2004

11 Onderwerp 1: Doelstellingen van de opleiding Facet 1: Criterium: Domeinspecifieke eisen De eindkwalificaties van de opleiding sluiten aan bij de eisen die door (buitenlandse) vakgenoten en de beroepspraktijk gesteld worden aan een opleiding in het betreffende domein (vakgebied en/of beroepspraktijk) Toetspunten: De doelstellingen van de opleiding voldoen aan (internationale) academische en professionele maatstaven. De eindtermen van de opleiding, die beschrijven welke kwalificaties een afgestudeerde moet hebben verworven, zijn afgeleid van de doelstellingen. De eindtermen van de opleiding voldoen aan (internationale) domeinspecifieke maatstaven. De eindtermen van de opleiding sluiten aan bij de eisen van de beroepspraktijk. Facet 2: Criterium: Niveau De eindkwalificaties van de opleiding sluiten aan bij algemene, internationaal geaccepteerde beschrijvingen van de kwalificaties van een bachelor of een master. Toetspunten: Het niveau dat de eindtermen definiëren, komt overeen met de Dublin-descriptoren voor het niveau (bachelor of master) van de opleiding (eventueel andere internationaal erkende beschrijvingen van niveau). Facet 3: Criterium: Oriëntatie De eindkwalificaties zijn ontleend aan eisen vanuit de wetenschappelijke discipline, de internationale wetenschapsbeoefening en voor daarvoor in aanmerking komende opleidingen de relevante praktijk in het toekomstige beroepenveld. Een WO-bachelor heeft de kwalificaties voor toegang tot ten minste één verdere WO-studie op masterniveau en eventueel voor het betreden van de arbeidsmarkt. Een WO-master heeft de kwalificaties om zelfstandig wetenschappelijk onderzoek te verrichten of multi- en interdisciplinaire vraagstukken op te lossen in een beroepspraktijk waarvoor een WO-opleiding vereist is of dienstig is. Toetspunten: De eindkwalificaties van een wetenschappelijke bacheloropleiding komen overeen met de toegangsvereisten van ten minste één wetenschappelijke masteropleiding en eventueel startcompetenties op de arbeidsmarkt. De eindkwalificaties van de wetenschappelijke masteropleiding omvatten het zelfstandig verrichten van wetenschappelijk onderzoek of het oplossen van multi- of interdisciplinaire problemen in een beroepspraktijk waarvoor een academische opleiding vereist of dienstig is. De eindtermen van de opleiding besteden voldoende aandacht aan algemene kenmerken van wetenschappelijke vorming. Pagina 11 van 61 QANU-KADER februari 2004

12 Toelichting Doelstellingen en eindkwalificaties De doelstellingen van een opleiding beschrijven in algemene termen het doel van de opleiding, dat wil zeggen datgene wat de opleiding wil bereiken. Uit de doelstellingen moet blijken hoe de opleiding zich verhoudt tot andere, (deels) vergelijkbare opleidingen in binnen- of buitenland. Een wetenschappelijke opleiding behoort doelstellingen te hanteren die aansluiten bij de eisen van de beroepspraktijk en het (internationale) wetenschappelijke domein waarbinnen zij opereert. De eindkwalificaties van een opleiding omschrijven de kennis, de vaardigheden en de attitude waarover een afgestudeerde dient te beschikken. De eindkwalificaties (ook wel eindtermen genoemd) zijn een operationalisering van de doelstellingen. De eindkwalificaties moeten toetsbaar zijn, hetgeen betekent dat ze zo moeten zijn geformuleerd dat het mogelijk is vast te stellen of een afgestudeerde een bepaalde kwalificatie daadwerkelijk heeft verworven. De eindkwalificaties moeten bovendien een vergelijking met andere opleidingen mogelijk maken. In de doelstellingen van een opleiding is vastgelegd wat het niveau (bachelor of master) en de oriëntatie (HBO of WO) van de opleiding is. Het niveau en de oriëntatie komen vervolgens tot uitdrukking in de eindkwalificaties en, nog een stap verder, in het programma van de opleiding. Een instelling dient in de aanvraag voor accreditatie expliciet aan te geven waarvoor accreditatie wordt aangevraagd: voor welk niveau (bachelor of master) en voor welke oriëntatie (HBO of WO). Deze claim dient in het zelfevaluatierapport van de opleiding duidelijk gemotiveerd en onderbouwd te worden. De beoordelingscommissie beoordeelt of de claim in voldoende mate hard wordt gemaakt. Tevens wordt de volledige beschrijving van de doelstellingen en de eindkwalificaties opgenomen in een bijlage bij het zelfevaluatierapport. De doelstellingen en de eindkwalificaties van een opleiding kunnen worden onderverdeeld in domeinspecifieke doelstellingen en eindkwalificaties enerzijds en algemene doelstellingen en eindkwalificaties anderzijds. Afgestudeerden beschikken dus niet alleen over domeinspecifieke, maar ook over meer algemene kennis en vaardigheden. De algemene kennis en vaardigheden zijn gerelateerd aan de oriëntatie van de opleiding. Domeinspecifieke eisen De domeinspecifieke doelstellingen en eindkwalificaties hebben betrekking op de inhoudelijke positionering van een opleiding: ze geven aan op welk wetenschappelijk domein of discipline een opleiding zich baseert. Hieruit vloeien inhoudelijke eisen voort waaraan de opleiding zal moeten voldoen. Deze domeinspecifieke eisen maken deel uit van het referentiekader dat de beoordelingscommissie als uitgangspunt van haar beoordeling gebruikt. Voor een aantal disciplines (zoals de geneeskunde) bestaat reeds een landelijk referentiekader waarin de eindkwalificaties van de opleidingen binnen die discipline nader worden gespecificeerd. Voor andere disciplines geldt dat de domeinspecifieke eisen moeten worden opgesteld vanuit de discipline. In hoofdstuk 4 wordt ingegaan op de systematiek die wordt gehanteerd bij het formuleren van de domeinspecifieke eisen. Pagina 12 van 61 QANU-KADER februari 2004

13 Voorbeelden van domein- of disciplinespecifieke kennis, vaardigheden en attitudes: doelstellingen, veronderstellingen en waarden van wetenschappelijke kennisontwikkeling in het domein; resultaten, argumentatie en probleemstelling kritisch beoordelen vanuit in het domein geaccepteerde inzichten; de gezichtspunten op wetenschaps- en technologieontwikkeling die vanuit het domein van belang zijn; relevante kennisdomeinen en perspectieven; relevante wijzen van kennis- en expertiseontwikkeling; relevante analysetechnieken en methoden; domeinspecifieke vormen van vertaling van kennis en expertise naar maatschappelijke, professionele en economische contexten; overzicht van het (internationale) wetenschapsbedrijf in het betreffende domein; specifieke vaardigheden, behorend bij het domein; specifieke academische houding en attitude zoals die binnen het/de betreffende domein(en) verwacht en geëist worden. Niveau Bij het beschrijven en het beoordelen van het niveau van de opleiding dient gebruik te worden gemaakt van de zogeheten Dublin-descriptoren (zie bijlage 1), een verzameling descriptoren voor bachelor- en masteropleidingen, ontwikkeld door een groep internationale deskundigen en overgenomen door de NVAO. De opleiding wordt gevraagd aan te tonen dat de eindtermen een niveau definiëren dat overeenkomt met de betreffende Dublin-descriptoren. Oriëntatie Bij het beschrijven en beoordelen van de oriëntatie van de opleiding gaat het om de vraag of de doelstellingen en de eindkwalificaties van de opleiding een wetenschappelijke oriëntatie hebben. Deels wordt dat ook beantwoord bij het facet domeinspecifieke eisen. Daarnaast wordt de wetenschappelijke oriëntatie in de doelstellingen en eindtermen verankerd door aandacht voor algemene wetenschappelijke kwalificaties. Voorbeelden van algemene wetenschappelijke kwalificaties: het wetenschappelijk behandelen van problemen; een wetenschappelijk betoog kritisch op waarde schatten; logisch redeneren en analytisch en kritisch denken; zelfstandig bijhouden van ontwikkelingen op wetenschappelijk gebied; vakoverstijgend wetenschappelijk samenwerken (inter/multi/transdisciplinair); vertalen van wetenschappelijke kennis en expertise naar sociale, professionele en economische contexten; communicatieve vaardigheden die verband houden met de wetenschappelijke oriëntatie; reflectie op het eigen denken en werken en dit daarmee bijsturen; bekend zijn met standaarden voor de toets der wetenschappelijke kritiek; ethische, normatieve en maatschappelijke consequenties van wetenschaps- en technologieontwikkeling overzien. Pagina 13 van 61 QANU-KADER februari 2004

14 Onderwerp 2: Programma Facet 4: Algemene eisen van het wetenschappelijk onderwijs Criteria: 1. Kennisontwikkeling door studenten vindt plaats in interactie tussen het onderwijs en het wetenschappelijk onderzoek binnen relevante disciplines. 2. Het programma sluit aan bij ontwikkelingen in de relevante wetenschappelijke discipline(s) door aantoonbare verbanden met actuele wetenschappelijke theorieën. 3. Het programma waarborgt de ontwikkeling van vaardigheden op het gebied van wetenschappelijk onderzoek. 4. Bij daarvoor in aanmerking komende opleidingen heeft het programma aantoonbare verbanden met de actuele praktijk van de relevante beroepen. Toetspunten: In het onderwijs is er interactie met kennis-/wetenschapsontwikkeling. In het onderwijs komen de domeinspecifieke en generieke kenmerken van wetenschappelijk onderwijs die in de vorige paragraaf zijn opgesomd voldoende en op het niveau van de opleiding aan de orde. Het programma sluit aan op de voor de opleiding relevante beroepspraktijk. Facet 5: Relatie tussen de doelstellingen en de inhoud van het programma Criteria: 1. Het programma is een adequate concretisering van de eindkwalificaties, qua niveau, oriëntatie en domeinspecifieke eisen. 2. De eindkwalificaties zijn adequaat vertaald in leerdoelen van (onderdelen van) het programma. 3. De inhoud van het programma biedt studenten de mogelijkheid om de geformuleerde eindkwalificaties te bereiken. Toetspunten: De eindtermen van de opleiding zijn in voldoende mate gedekt door de leerdoelen van de programmaonderdelen. De inhoud en opbouw van het curriculum zijn doeltreffend om de beoogde eindkwalificaties ook daadwerkelijk te verwerven. o het niveau van de inhoud is in overeenstemming met fase van de opleiding; o het programma bevordert academische en intellectuele groei. Bij flexibele programma s, waarbij de student zijn/haar eigen leerweg kiest, wordt gewaarborgd dat het gevolgde curriculum doeltreffend is om de beoogde kwalificaties te realiseren; criteria voor goedkeuring door de examencommissie zijn concreet en helder. Facet 6: Criterium: Samenhang programma Studenten volgen een inhoudelijk samenhangend studieprogramma. Toetspunten: De programmaonderdelen van het curriculum zijn inhoudelijk op elkaar afgestemd. Er wordt op verworven kennis en vaardigheden voortgebouwd en de programmaonderdelen kennen geen onnodige overlap of herhalingen. Pagina 14 van 61 QANU-KADER februari 2004

15 Facet 7: Criterium: Studeerbaarheid en studielast Het programma is studeerbaar doordat factoren, die betrekking hebben op dat programma en die de studievoortgang belemmeren, zo veel mogelijk worden weggenomen. Toetspunten: De geprogrammeerde studielast komt voldoende overeen met de gerealiseerde studielast en is evenwichtig verdeeld over het programma. Het programma kent geen onnodige struikelblokken en geen factoren die de studievoortgang nodeloos belemmeren. Facet 8: Instroom (* Criterium: Het programma sluit qua vorm en inhoud aan bij de kwalificaties van de instromende studenten: WO-bachelor: VWO, HBO-propedeuse of daarmee vergelijkbare kwalificaties, blijkend uit toelatingsonderzoek; WO-master: bachelor en eventueel (inhoudelijke) selectie. *) Voor de Open Universiteit zijn deze instroomeisen niet van toepassing. Toetspunten: Voor alle groepen instromende studenten bestaan geschikte toelatingsvereisten en wordt nagegaan of zij aan de toelatingsvereisten voldoen. Instromende studenten hebben in het algemeen geen problemen met de aansluiting. In de voorlichting wordt een adequaat en realistisch beeld gegeven van de opleiding en de loopbaanperspectieven na het afstuderen. Facet 9: Criterium: Omvang van het programma De opleiding voldoet aan formele eisen m.b.t. de omvang van het curriculum: WO-bachelor: in de regel 180 studiepunten; WO-master: minimaal zestig studiepunten, afhankelijk van de opleiding. Toetspunten: voor bacheloropleidingen: het programma van de opleiding telt in de regel 180 studiepunten; voor masteropleidingen: het programma van de opleiding telt minimaal zestig studiepunten. Facet 10: Criteria: Afstemming tussen vormgeving en inhoud Het didactisch concept is in lijn met de doelstellingen. De werkvormen sluiten aan bij het didactisch concept. Toetspunten: De opleiding heeft een didactisch concept dat aansluit bij de doelstellingen en richtinggevend is bij de vormgeving van het programma, de inrichting van het leerproces en de keuze van de werkvormen. Het didactisch concept wordt in het programma gerealiseerd. De verhouding tussen contacturen, zelfstudie en andere studieactiviteiten is optimaal. Pagina 15 van 61 QANU-KADER februari 2004

16 De plaats, de functie en de kwaliteit van de stage (wanneer van toepassing) en een integrerende afsluitende proeve van bekwaamheid worden gewaarborgd. Facet 11: Criteria: Toetsing en beoordeling Door de beoordelingen, toetsingen en examens wordt adequaat getoetst of de studenten de leerdoelen van (onderdelen van) het programma hebben gerealiseerd. Toetspunten: Het geheel van toetsen, beoordelingen en examens evalueert in voldoende mate dat de beoogde eindkwalificaties van de opleiding ook zijn gerealiseerd. De toetsing sluit aan op en past bij de inhoud en de leerdoelen van de verschillende programmaonderdelen. De opleiding geeft individuele studenten een inhoudelijke motivering van de mate waarin aan de verschillende leerdoelen is voldaan (feedback). De opleiding zorgt ervoor dat de beoordelingen voldoende consistent worden uitgevoerd. De organisatie van de toetsing is voldoende (herkansingen, bekendmaken van de uitslag, compensatieregelingen et cetera). De examencommissie functioneert adequaat en in overeenstemming met haar wettelijke taken. Toelichting Algemene eisen van het wetenschappelijk onderwijs De criteria voor het beschrijven en het beoordelen van het wetenschappelijk karakter van een opleiding gelden voor alle wetenschappelijke opleidingen. De manier waarop invulling wordt gegeven aan de verschillende criteria verschilt echter per type opleiding. De wisselwerking tussen onderwijs en onderzoek zal bijvoorbeeld in een masteropleiding sterker en intensiever zijn dan in een bacheloropleiding. Datzelfde geldt voor het behandelen van de meest recente ontwikkelingen in het relevante domein. Kenmerkend voor het wetenschappelijke onderwijs is de duidelijke verwevenheid van onderwijs en onderzoek. Een wetenschappelijke opleiding is gebaseerd op en wordt gevoed vanuit wetenschappelijk onderzoek. Op deze wijze leert een student wetenschappelijk te handelen. Wetenschappelijk handelen gaat echter verder dan interactie met het onderzoek. De generieke kenmerken van wetenschappelijk onderwijs (zie de toelichting bij de vorige paragraaf) schetsen een breed scala van kenmerken dat daarbij aan de orde is. De mate waarin deze kenmerken aan de orde zijn, verschilt per type opleiding. In een bacheloropleiding zal een student een eerste overzicht verwerven, besef krijgen, een standpunt kunnen innemen, et cetera. In de masteropleiding gaat het om toepassen, integreren, in twijfel trekken, op waarde schatten, vertrouwd zijn met de nieuwste ontwikkelingen binnen het betreffende domein, et cetera. Relatie tussen de doelstellingen en de inhoud van het programma De doelstellingen van de opleiding moeten worden omgezet in eindkwalificaties voor de opleiding als geheel en vervolgens in leerdoelen voor de diverse programmaonderdelen. De inhoud van het programma weerspiegelt op die manier de doelstellingen van de opleiding. Pagina 16 van 61 QANU-KADER februari 2004

17 De inhoud en opbouw van het curriculum moeten tevens doeltreffend zijn om de beoogde eindkwalificaties te verwerven. Er moet bijvoorbeeld een duidelijke toename zijn in de moeilijkheidsgraad van de inhoud van het programma, dat op die manier de academische en intellectuele groei van studenten moet bevorderen. Samenhang van het programma Bij het beoordelen van de organisatie van het programma zal er in ieder geval gekeken moeten worden naar de samenhang tussen de verschillende programmaonderdelen. Is er een inhoudelijke samenhang tussen de programmaonderdelen? Is er een goede aansluiting tussen de onderdelen? Is de voor het onderdeel noodzakelijke voorkennis al eerder verworven? Is er geen onnodige redundantie? Is er sprake van een toenemende complexiteit? Sluiten theorie en praktijk goed op elkaar aan? Hoe is de verhouding tussen verplichte onderdelen en keuzevakken? Bij het beoordelen van de criteria met betrekking tot de samenhang zullen er verschillende invalshoeken zijn voor de verschillende typen opleidingen. Er zullen helder gestructureerde programma s zijn met vaste onderdelen voor alle studenten, maar ook programma s waarbij de studenten een keuze kunnen maken uit een breed aanbod (brede bachelors). In het laatste geval zal het bewaken van de samenhang van de individuele leerwegen een belangrijke taak zijn voor de examencommissie, die goedkeuring moet verlenen. De criteria voor de goedkeuring moeten helder en duidelijk zijn. Studielast, studieduur en studeerbaarheid Voor QANU betekent het begrip studeerbaarheid de mate waarin studenten in staat worden gesteld de opleiding zonder onnodige belemmeringen binnen de daarvoor gestelde tijd te voltooien. Bij het wegnemen van de belemmeringen dient te worden gekeken naar de programmering van de studieonderdelen (spreiding en aansluiting), naar de verhouding tussen geplande en feitelijke studielast, en naar de spreiding van tentamens en mogelijkheden tot herkansing. Ook kan worden bezien hoe het beleid bij specifieke struikelvakken is. Instroom Met betrekking tot de criteria voor de instroom moet er onderscheid gemaakt worden tussen de instroom van de bacheloropleiding en die van de masteropleiding. Bij de bacheloropleiding gaat het om de vraag of men door middel van goede voorlichting de juiste studenten weet aan te trekken. Heeft de opleiding ook duidelijk aandacht voor de afstemming VWO-WO? Bij de instroom voor de masteropleiding zal in de eerste plaats duidelijk moeten zijn wat het toelatingsbeleid is. Welke eisen worden er gesteld voor toelating tot de masteropleiding? Indien er selectie wordt toegepast, zal duidelijk moeten zijn op welke gronden men selecteert en of de selectie ook inderdaad effectief is. Duur Het gaat bij het beoordelen van de duur van de opleiding om het voldoen aan de formele eisen: een bacheloropleiding telt 180 ECTS-studiepunten, een masteropleiding minimaal zestig ECTS-studiepunten. Pagina 17 van 61 QANU-KADER februari 2004

18 Bij het beoordelen van de duur geldt dat er niet alleen naar het voldoen aan de formele eisen hoeft te worden gekeken. Ook kan worden bekeken of de omvang van de opleiding adequaat is en vergelijkbaar met gelijksoortige opleidingen in het buitenland. Vormgeving en inhoud De opleiding moet worden aangeboden in een leeromgeving die op de doelstellingen van de opleiding en de inhoud van het programma is afgestemd. In bepaalde gevallen is een programma expliciet gebaseerd op een duidelijk didactisch concept (bijvoorbeeld het concept van probleemgestuurd onderwijs), in andere gevallen is het didactisch concept meer impliciet aanwezig. Ook in dat laatste geval moet een opleiding zich afvragen of de (impliciete) didactische benadering en de gebruikte werkvormen bevorderen dat de doelstellingen en het bereiken van de eindkwalificaties worden gerealiseerd. Een evenwichtige keuze van didactische benaderingen en werkvormen maakt een doelgerichte, gestructureerde en efficiënte manier van studeren mogelijk. Daartoe dragen ook bij een passende indeling in de tijd en een evenwichtige verdeling van de studielast. Niet in alle gevallen zal er in een programma een stage zijn opgenomen. Voor zover dit wel het geval is, zal er duidelijkheid moeten zijn over de leerdoelen van de stage. Bij de waarborging van leerdoelen en functie speelt de begeleiding een belangrijke rol. Een belangrijke plaats in de opleiding wordt ingenomen door een integrerende afsluitende proeve van bekwaamheid (meestal een afstudeeropdracht). De vorm van de afstudeeropdracht kan uiteenlopen. Het kan een traditionele scriptie zijn, maar ook bijvoorbeeld een ontwerpopdracht. Aard en karakter van de afstudeeropdracht verschilt ook tussen de bachelor- en de masteropleiding. In beide gevallen biedt de afstudeeropdracht de student de gelegenheid te laten zien welke kennis en vaardigheden hij heeft verworven en hoe hij de nieuwe kennis kan toepassen. Belangrijk bij de afstudeeropdracht is de begeleiding en de wijze van beoordeling. Bij een wetenschappelijke opleiding behoort de begeleiding plaats te vinden door docenten die zelf wetenschappelijk onderzoek uitvoeren. Beoordeling en toetsing Adequate doelstellingen en de vertaalslag ervan in het programma hebben alleen zin als er ook een adequate systematiek van beoordeling en toetsing is om na te gaan of de studenten inderdaad geleerd hebben wat van hen verwacht wordt. In het bijzonder verdienen de beoordelingscriteria en de consistentie in de beoordeling van stages en eindwerkstukken aandacht. Bij beoordeling en toetsing wordt in ieder geval aandacht besteed aan: aansluiting van de inhoud van de beoordeling bij de onderwijsinhoud; inhoudelijke feedback naar de student; uniformiteit en consistentie van de beoordeling; de kwaliteitswaarborg van de beoordeling en de rol van de examencommissie; organisatie van de beoordelingen. Pagina 18 van 61 QANU-KADER februari 2004

19 Onderwerp 3: Inzet van personeel, personeelsbeleid Facet 12: Criterium: Eisen wetenschappelijk onderwijs Het onderwijs wordt voor een belangrijk deel verzorgd door onderzoekers die een bijdrage leveren aan de ontwikkeling van het vakgebied. Toetspunten: Het onderwijs wordt in belangrijke mate verzorgd en/of ontwikkeld door docenten die actief betrokken zijn bij wetenschappelijk onderzoek van erkende kwaliteit. Vanaf het begin van de opleiding krijgen studenten onderwijs van onderzoekers en/of docenten die binnen het domein van de opleiding gezichtsbepalend zijn*). *) Bij afstandsonderwijs is dit rolmodel op enigerlei wijze in het materiaal aanwezig. De docenten en/of ontwikkelaars leggen in voldoende mate een verbinding met de professionele praktijk waarvoor wordt opgeleid. Facet 13: Criterium: Kwantiteit personeel Er wordt voldoende personeel ingezet om de opleiding met de gewenste kwaliteit te verzorgen. Toetspunten: De voor het uitvoeren van het onderwijs beschikbare menskracht is voldoende om alle onderwijs- en begeleidingstaken uit te voeren. Facet 14: Criterium: Kwaliteit personeel Het personeel is gekwalificeerd voor de inhoudelijke, onderwijskundige en organisatorische realisatie van het programma. Toetspunten: De onderwijskundige kwaliteiten van de docenten zijn adequaat en toereikend voor het uitvoeren van het programma en didactisch concept. De inhoudelijke expertise van de docenten sluit aan bij de doelstellingen en eindkwalificaties van het programma. Het personeels- en scholingsbeleid bewaakt en bevordert de didactische kwaliteiten en de onderwijsprestaties van de individuele docenten. Toelichting In het NVAO-kader wordt gesproken over inzet personeel, waarbij alleen wordt ingegaan op de kwaliteit en kwantiteit van het personeel. Wel wordt de kwaliteit van het personeel gezien als een discriminerende factor voor onderscheid tussen een HBO-opleiding en een WO-opleiding, omdat bij een WO-opleiding het onderwijs voor een belangrijk deel verzorgd wordt door onderzoekers die een bijdrage leveren aan de ontwikkeling van het vakgebied. In het QANU-beoordelingskader wordt inzet van personeel in een breder kader geplaatst. Personeel, personeelsbeleid en organisatie worden in samenhang beoordeeld. Pagina 19 van 61 QANU-KADER februari 2004

20 Eisen wetenschappelijk onderwijs Wetenschappelijk onderwijs moet in voldoende mate worden verzorgd door onderzoekers die onderzoek uitvoeren waarvan de kwaliteit wordt erkend, bijvoorbeeld omdat de onderzoeksaanstelling is ondergebracht in een door de ECOS erkende onderzoeksschool of omdat het onderzoeksprogramma waaraan wordt meegewerkt als van voldoende wetenschappelijke kwaliteit is beoordeeld bij landelijke VSNU-beoordelingen of door een onafhankelijke externe beoordelingscommissie die heeft gewerkt volgens het Standard Evaluation Protocol (KNAW, NWO, VSNU). Andere indicaties van wetenschappelijke erkenning: het begeleiden van promovendi, promotiegraad, externe financiering van het onderzoek, enzovoorts. De mate waarin actieve betrokkenheid van docenten bij het onderwijs wenselijk is, varieert met de doelstellingen. Het is evident dat een research master in belangrijke mate in een onderzoeksomgeving door onderzoekers moet worden verzorgd. Bij een brede bachelor kan de betrokkenheid van onderzoekers bij het onderwijs beperkter zijn. Bij sommige aanbiedingsvormen waarbij het face-to-face contact minder relevant is, zoals in een elektronische leeromgeving, schriftelijk onderwijs of andere vormen van afstandsonderwijs, moet het wetenschappelijk gehalte ten minste worden gewaarborgd in het ontwikkeltraject van het onderwijs en in de inhoud. Voor het wetenschappelijke onderwijs is het belangrijk dat studenten vanaf het begin van de studie kennismaken met gezichtbepalende onderzoekers. In het algemeen zullen dat de hoogleraren zijn. Wetenschappelijk onderwijs leidt, meer of minder expliciet, op voor professionele praktijken waarvoor een wetenschappelijke opleiding noodzakelijk is. De docenten van de opleiding moeten in voldoende mate een verband leggen met deze professies. Anders dan in het HBO kunnen dat meer indirecte verbanden zijn, bijvoorbeeld door bijdragen aan professionele kennis, discussie of gerichte professionele scholing. Omvang van het personeel Een voldoende omvang van het personeel is een primaire voorwaarde voor het adequaat uitvoeren van het onderwijs. Daarbij gaat het erom dat uitvoering van alle aspecten van het onderwijsprogramma is verzekerd, waarbij de grootte van de studentenpopulatie in relatie tot de omvang van het onderwijzend personeel een behoorlijk studentdocentcontact niet in de weg mag staan. De kwaliteit van het personeel De kwaliteit van het personeel heeft betrekking op de spreiding van de inhoudelijke expertise en de didactische vaardigheden van de docenten. Bij het uitvoeren van het onderwijs is het tevens van belang dat docenten enthousiast zijn over het onderwijsprogramma en het didactisch concept. De kwaliteit van het personeel moet worden gewaarborgd door een structureel personeelsbeleid. Het gaat onder meer om de wijze waarop promovendi in het onderwijs worden ingezet, de didactische scholing van de staf (inclusief promovendi), de begeleiding van junior stafleden en het regelmatig houden van functioneringsgesprekken. Een belangrijk punt is de verhouding tussen onderwijs- en onderzoeksinspanningen in het carrièrepad van de stafleden. Speelt onderwijservaring naast onderzoeksexpertise een rol bij het benoemingsbeleid? Pagina 20 van 61 QANU-KADER februari 2004

21 Onderwerp 4: Voorzieningen Facet 15: Criterium: Materiële voorzieningen De huisvesting en materiële voorzieningen zijn toereikend om het programma te realiseren. Toetspunten: De onderwijsvoorzieningen waarover de opleiding beschikt zijn toereikend om het programma uit te voeren, ze maken het mogelijk de gekozen werkvormen daadwerkelijk te gebruiken. De voorzieningen op het gebied van de ICT zijn adequaat en toereikend. Facet 16: Criteria: Studiebegeleiding De studiebegeleiding en de informatievoorziening aan studenten zijn adequaat met het oog op studievoortgang. De studiebegeleiding en de informatievoorziening aan studenten sluiten aan bij de behoefte van studenten. Toetspunten: Het studievoortgangsregistratiesysteem is effectief en informatief; studenten zijn tijdig geïnformeerd over de eigen studievoortgang. In de studiebegeleiding wordt voldoende aandacht besteed aan de studievoortgang. In het eerste jaar van de bacheloropleiding wordt invulling gegeven aan de selecterende en verwijzende functie van dat jaar; de opleiding brengt een (bindend) studieadvies uit. De studiebegeleiding en de informatievoorziening sluiten aan bij de behoefte van de studenten. Toelichting Materiële voorzieningen De onderwijsvoorzieningen verschillen van opleiding tot opleiding. In het criterium wordt daarom niet nader gespecificeerd om welke voorzieningen het gaat. Bij on-campus onderwijs zullen in de eerste plaats de onderwijsruimtes moeten voldoen aan de eisen die het programma stelt. Bij experimentele vakgebieden zullen geschikte laboratoria of practicaruimten beschikbaar moeten zijn. Wanneer nieuwe aanbiedingsvormen worden gebruikt, wordt juist de elektronische leeromgeving betrokken bij de beoordeling. Gaat het om afstandsonderwijs dan kunnen studiecentra een belangrijke rol in het onderwijs spelen. Het schriftelijk studiemateriaal valt tevens onder de voorzieningen voor het onderwijs. Bibliotheekvoorzieningen kunnen uiteenlopen van een centrale bibliotheek tot een bibliotheek op het niveau van de faculteit of een afdeling. Het is belangrijk dat de bibliotheek beschikt over veel gebruikte handboeken voor de studenten en dat de bereikbaarheid en de openingstijden toereikend zijn. De computervoorzieningen moeten toereikend zijn voor de studenten. Het aantal computers waarvan studenten gebruik kunnen maken moet voldoende zijn, er moeten Pagina 21 van 61 QANU-KADER februari 2004

22 goede voorzieningen voor het gebruik van internet zijn. Ook de mate waarin een opleiding gebruik maakt van ICT kan van belang zijn. Studiebegeleiding Studiebegeleiding en studieadvisering moeten voldoen aan de behoeften van de studenten. Het oordeel van de studenten over deze voorzieningen zal dus een belangrijke rol spelen in de beoordeling. Ook de manier waarop de opleiding invulling geeft aan het studieadvies in het eerste jaar wordt in de beoordeling betrokken. Pagina 22 van 61 QANU-KADER februari 2004

23 Onderwerp 5: Interne kwaliteitszorg Facet 17: Criterium: Evaluatie van resultaten De opleiding wordt periodiek geëvalueerd, mede aan de hand van toetsbare streefdoelen. Toetspunten: De opleiding voert een periodieke monitoring uit van het onderwijsproces en de veranderingen in de onderwijsomgeving. Bij het monitoren van het onderwijsproces wordt gebruikgemaakt van criteria aan de hand waarvan kan worden vastgesteld of beoogde resultaten zijn bereikt. Facet 18: Criterium: Maatregelen tot verbetering De uitkomsten van deze evaluatie vormen de basis voor aantoonbare verbetermaatregelen die bijdragen aan realisatie van de streefdoelen. Toetspunten: De monitoring leidt tot daadwerkelijke afstemming van het onderwijssysteem op de uitkomsten van die monitoring. Wanneer de beoogde resultaten niet zijn bereikt, worden daadwerkelijk verbeteringen ingezet. Facet 19: Criterium: Betrekken van studenten, alumni en beroepenveld Bij de interne kwaliteitszorg zijn medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding actief betrokken. Toetspunten: Bij de monitoring van het onderwijsproces en de veranderingen in de onderwijsomgeving zijn de relevante belanghebbenden betrokken: medewerkers, studenten, alumni en het afnemend beroepenveld van de opleiding. De opleidingscommissie functioneert adequaat en in overeenstemming met haar wettelijke taken. Toelichting Interne kwaliteitszorg is voor de NVAO een belangrijk onderwerp binnen het beoordelingskader. De opleiding moet aantonen dat de kwaliteit van het onderwijs structureel en systematisch wordt bewaakt en waar nodig verbeterd. De opleiding moet daartoe over een systeem voor de interne kwaliteitszorg beschikken dat recht doet aan het cyclische karakter van kwaliteitszorg. Van de opleiding wordt gevraagd om aan te tonen dat de stappen Plan, Do, Check, Act cyclisch worden doorlopen (zie: paragraaf Onderbouwing vanuit het interne kwaliteitszorgsysteem ). In het Plan-stadium worden daartoe criteria geformuleerd aan de hand waarvan kan worden nagegaan of de beoogde resultaten zijn bereikt. In het Check-stadium wordt aan de hand van deze criteria vastgesteld of dat het geval is. Wanneer dat niet het geval is, worden verbeterplannen opgesteld: Act/Plan. Pagina 23 van 61 QANU-KADER februari 2004

24 Concrete en toetsbare criteria kunnen voor verschillende aspecten worden gedefinieerd: doelstellingen van de opleiding; specifieke strategieën (bijvoorbeeld meer allochtonen, meer vrouwen); te behalen onderwijsrendementen; beoordeling van het onderwijs door studenten; beoordeling van de afgestudeerden door werkgevers; beoordeling van de opleiding door afgestudeerden. Een belangrijk onderdeel van de interne kwaliteitszorg is de zorgvuldigheid waarmee de uitkomsten van de evaluaties worden omgezet in maatregelen. In het kader van de interne kwaliteitszorg zijn onder andere de volgende actoren en instrumenten van belang: personeelsbeleid van de opleiding; opleidingscommissie; examencommissie; studievoortgangsregistratiesysteem; evaluatie van het onderwijs door studenten; feedback van de docenten; feedback vanuit de beroepspraktijk / de arbeidsmarkt; feedback van de alumni. Pagina 24 van 61 QANU-KADER februari 2004

25 Onderwerp 6: Resultaten Facet 20: Criterium: Gerealiseerd niveau De gerealiseerde eindkwalificaties zijn in overeenstemming met de nagestreefde eindkwalificaties qua inhoud, niveau, oriëntatie en domeinspecifieke eisen Toetspunten: De eindkwalificaties die de afgestudeerden verworven hebben, komen overeen met de beoogde eindkwalificaties van de opleiding. De inhoud en het niveau van de afstudeerwerken komen overeen met de graad die wordt verleend. Afgestudeerden zijn in voldoende mate in staat om zich te positioneren binnen het domein waarvoor zij zijn opgeleid. Facet 21: Criterium: Onderwijsrendement Voor het onderwijsrendement zijn streefcijfers geformuleerd in vergelijking met relevante andere opleidingen. Het onderwijsrendement voldoet aan deze streefcijfers. Toetspunten: De opleiding heeft streefcijfers voor de onderwijsrendementen en de studieduur opgesteld in vergelijking met andere relevante opleidingen. Het onderwijsrendement voldoet aan de streefcijfers van de opleiding. Toelichting Gerealiseerd niveau of de kwaliteit van de afgestudeerden Bij dit facet staat de vraag centraal of de opleiding studenten aflevert die de bachelor- of mastertitel hebben verdiend. Van de opleiding mag verwacht worden dat zij systematisch gegevens verzamelt om vast te stellen of de studenten voldoen aan de eisen van het vervolgonderwijs en de functies waarvoor wordt opgeleid. Indicaties kunnen ontleend worden aan alumnionderzoek, enquêtes in het afnemend veld, waardering van de afgestudeerden op de arbeidsmarkt, enzovoorts. Aan de hand van dergelijke indicatoren onderbouwt de opleiding de kwaliteit van de afgestudeerden. Daarnaast wordt daaruit duidelijk of de opleiding in voldoende mate een vakinhoudelijke identiteit heeft aangebracht. In het geval van een bacheloropleiding zal de commissie in haar oordeel ook gegevens betrekken over het doorstromen van de studenten van die opleiding: aan welke masteropleiding beginnen zij en sluiten zij die opleiding met succes af? Voor het bepalen van het gerealiseerde niveau van een masteropleiding zijn onder andere de aard en het niveau van een eventuele stage van belang. Ook andere gegevens, zoals de WO-monitor en andere alumnionderzoeken en gegevens over de waardering vanuit de arbeidsmarkt, zijn relevant. De beoordelingscommissie zal ook kijken naar de mate waarin de door de opleiding beoogde arbeidsmarktperspectieven daadwerkelijk worden gerealiseerd. De kwaliteit van de afgestudeerden is zo cruciaal dat de beoordelingscommissie hiernaar een eigen onderzoek uitvoert. De commissie bepaalt het gerealiseerde niveau van de Pagina 25 van 61 QANU-KADER februari 2004

26 opleiding aan de hand van een beoordeling van de inhoud en het niveau van het afstudeerwerk dat door studenten van de opleiding wordt vervaardigd aan het einde van hun studie. De afstudeeropdracht zal in de meeste gevallen een scriptie zijn, maar kan bijvoorbeeld ook een onderzoek- of ontwerpopdracht zijn. De commissie zal een aantal afstudeerproducten uit de te beoordelen periode bestuderen en het niveau van die opdrachten toetsen aan haar eigen normen. Van de opleiding wordt gevraagd ook te beschrijven hoe zij zich ervan verzekert dat alle afgestudeerden de eindkwalificaties hebben gerealiseerd. Daarbij kan verwezen worden naar relevante criteria onder programma en toetsing. Onderwijsrendement Het onderwijsrendement bevat informatie over het aantal en het percentage studenten dat met succes een (fase van de) opleiding afsluit. Er bestaan geen objectieve criteria voor het onderwijsrendement. Daarom zal de beoordelingscommissie het rendement toetsen aan de streefcijfers van een opleiding en aan de rendementen van andere opleidingen in hetzelfde of in een verwant domein. De commissie kijkt niet alleen naar het onderwijsrendement, maar ook naar de gemiddelde studieduur van de afgestudeerden. Onderwijsrendementen worden berekend per cohort. Een cohort bestaat uit alle studenten die zich in een bepaald studiejaar als eerstejaarsstudent inschrijven voor een bepaalde studie. De cohorten worden door de jaren gevolgd. Het propedeuserendement van een cohort is het percentage van dat cohort dat na één of meer jaren het propedeusediploma heeft gehaald. Het studierendement van een cohort is het percentage van dat cohort dat na één of meer jaren de studie succesvol heeft afgesloten en het diploma heeft behaald. Bij de berekening van de relevante indicatoren wordt in ieder geval gebruik gemaakt van de Kengetallen Universitair Onderwijs van de VSNU, de zogenaamde KUO-cijfers. Wanneer een afwijkende samenstelling van cohorten dat noodzakelijk maakt, kunnen de effecten daarvan op de rendementen en studieduur aanvullend op de analyses met de KUO-cijfers worden gepresenteerd. Pagina 26 van 61 QANU-KADER februari 2004

27 B.2 Richtlijnen zelfevaluatierapport Het zelfevaluatierapport van de opleiding moet aan de volgende eisen voldoen: Het zelfevaluatierapport behandelt alle onderwerpen en facetten die deel uitmaken van het beoordelingskader dat in hoofdstuk 2 van deze gids werd beschreven. Onderwerpen zijn als hoofdstukken en alle facetten als kopjes en afzonderlijke paragraaf opgenomen. De onderbouwing van de kwaliteit wordt per onderwerp afgesloten met een opsomming van sterke en zwakke punten. Het zelfevaluatierapport geeft op basis van feiten en analyse een onderbouwing van de wijze waarop de opleiding aan de criteria voldoet. De commissie zal deze beschrijving verifiëren en op grond van haar deskundigheid tot een oordeel komen of daarmee aan de criteria is voldaan. Het zelfevaluatierapport is een open en analytisch document. Bij de onderbouwing zijn vier typen informatie te onderscheiden, die kunnen worden aangedragen. a. richtinggevende informatie (doelstellingen) b. feitelijke informatie (maatregelen) c. evaluatieve informatie (welke resultaten zijn vastgesteld) d. analytische informatie (wat zijn oorzaken van resultaten, zijn er maatregelen ter verbetering?) Het object van beoordeling is de afzonderlijke bachelor- of masteropleiding zoals ingeschreven in het CROHO. In principe wordt per opleiding de kwaliteit afzonderlijk beschreven. Ook de bachelor- en masteropleiding worden elk afzonderlijk beschreven. Tevens is de kwaliteit van varianten en locaties apart zichtbaar. Wanneer een aantal opleidingen binnen één instituut/faculteit gezamenlijk door één commissie worden beoordeeld, kan bij een aantal onderwerpen één algemene beschrijving worden gegeven. Deze beschrijvingen worden dan in een algemeen deel opgenomen. Hieraan is wel de voorwaarde verbonden dat in de zelfstudie per opleiding onder het aangaande facet een duidelijke verwijzing is opgenomen naar de desbetreffende passage in de algemene beschrijving. Aanvullend wordt beschreven hoe het beleid dat in het algemene deel is beschreven wordt gewaarborgd en gerealiseerd bij de opleiding. Bundeling ligt voor de hand bij Personeelsbeleid, Voorzieningen en Interne Kwaliteitszorg. Deze bundeling is niet voorgeschreven, er mag ook worden gekozen voor een herhaling per opleiding. De ongedeelde opleidingen worden in de marge van de beoordeling meegenomen. In de zelfstudie wordt de stand van zaken van de afbouw kort beschreven. De periode van beoordeling: omdat de BaMa-opleidingen het object van beoordeling zijn, die deels nog niet operationeel zijn, gaat het in belangrijke mate om een planbeoordeling. Vanzelfsprekend hangt het vertrouwen in de kwaliteit van de BaMaopleidingen samen met de kwaliteit die in het verleden met de ongedeelde opleiding werd gerealiseerd. Bij de meeste onderwerpen is het relevant om de ontwikkelingsgang van de opleidingen te beschrijven. De informatie die per facet moet worden aangeleverd geeft daarvoor voldoende ruimte. Bij het onderwerp Resultaten zullen, wanneer er nog geen (of niet voldoende) afgestudeerden zijn in de BaMa-opleidingen, de resultaten van de ongedeelde opleidingen worden beoordeeld. Bij de voorgeschreven standaardinformatie (kengetallen) worden peilperiodes aangegeven. Pagina 27 van 61 QANU-KADER februari 2004

28 B.2.1 Stramien Zelfstudie per opleiding Bij een landelijke visitatie van gelijksoortige opleidingen dient het zelfevaluatierapport per opleiding volgens een vast stramien te worden opgesteld om het werk van de externe commissie te vergemakkelijken. Bij een gebundelde beschrijving gaat aan het opleidingsrapport een algemeen deel vooraf waarin een aantal onderwerpen en facetten kunnen worden besproken. Per opleiding worden alle hoofdstukken opgenomen, eventueel wordt naar het algemeen deel verwezen. De kwaliteit van varianten en locaties wordt afzonderlijk zichtbaar gemaakt. Zelfstudie per opleiding 0. Administratieve gegevens: - naam van de opleiding; nummer in het CROHO; vervaldatum accreditatie; varianten en locaties; claim niveau en oriëntatie; contactpersoon. 1. Ongedeelde opleiding: - naam ongedeelde opleiding waaruit de opleiding is voortgekomen; CROHOnummer; - einddatum afbouw; - beknopte beschrijving stand van zaken afbouw: aantal actieve studenten; overzicht operationeel deel oude curriculum; overgangsregeling; sterke en zwakke kanten. 2. De wijze waarop de zelfevaluatie tot stand is gekomen: - eventueel verwijzing naar het algemeen deel onder toevoeging van opleidingsspecifieke uitvoering en resultaten. 3. Een schets van de organisatorische plaats van de opleiding binnen de instelling: - beschrijving van de eenheid, verantwoordelijk voor de opleiding; beeld van de structuur van de organisatie; - eventueel verwijzing naar het algemeen deel onder toevoeging van opleidingsspecifieke uitvoering en resultaten. 4. Behandeling van de onderwerpen uit het beoordelingskader, waarbij ieder facet als kopje herkenbaar voorkomt en wordt onderbouwd. Ieder onderwerp wordt afgesloten met een sterkte-zwakteanalyse. (Zie toelichting beoordelingskader hierna.) 4.1 doelstellingen van de opleiding 4.2 programma 4.3 inzet van personeel 4.4 voorzieningen 4.5 interne kwaliteitszorg 4.6 resultaten facultatief onderwerp: (4.7 internationalisering) 5. Samenvatting van sterke en zwakke punten Bijlagen: De opleiding beperkt het aantal bijlagen bij het zelfevaluatierapport zoveel mogelijk, maar voegt in elk geval de volgende informatie bij: a) De volledige doelstellingen en eindkwalificaties van de opleiding. b) Een lijst met de namen van het wetenschappelijk personeel, kwalificaties/specialisatie, wanneer van toepassing: belangrijkste onderzoeksprogramma( s) waarin onderzoek wordt uitgevoerd. c) Een lijst van de 25 meest recente afstudeeropdrachten (of van de laatste vijf jaar, wanneer in die periode minder dan 25 afstudeeropdrachten beschikbaar zijn) met vermelding van: naam auteur, titel, specialisatie/afstudeerrichting, jaar beoordeling, eindcijfer. Deze eis geldt ook voor bacheloropleidingen. Onder Pagina 28 van 61 QANU-KADER februari 2004

29 afstudeeropdracht wordt een integrerend beoordelingsmoment verstaan, dat kan ook aan de hand van bijvoorbeeld een portfolio. Een visitatiecommissie moet in beginsel inzage krijgen in alle afstudeerwerken om na te kunnen gaan of het eindniveau van de opleiding voldoende wordt bewaakt. Als er afstudeeropdrachten zijn die als vertrouwelijk moeten worden beschouwd, dan wordt dit op de lijst vermeld. Voor deze afstudeerwerken kan een aparte procedure worden afgesproken om enerzijds het vertrouwelijk karakter zoveel mogelijk te respecteren en anderzijds de commissie de gelegenheid te geven het afstudeerwerk te beoordelen. Als er bezwaar bestaat tegen het vermelden van cijfers in het zelfevaluatierapport, dan kunnen deze op een aparte lijst worden vermeld. Deze lijst is alleen voor gebruik door de commissie. d) Een lijst met belangrijke stukken die betrekking hebben op de opleiding (zoals onderwijsverslagen, ontwikkelingsplannen, evaluatierapporten, onderwijsbeleidsplannen), zodat de beoordelingscommissie deze ter inzage kan vragen. De documenten liggen in ieder geval ter inzage tijdens het bezoek van de commissie. e) Het onderwijs- en examenreglement (OER) van de opleiding, wanneer de tekst van dit reglement niet in de studiegids is opgenomen. f) Tien exemplaren van de meest recente studiegids. De omvang van het zelfevaluatierapport is maximaal vijftig pagina s A4-formaat, exclusief de bijlagen. Het zelfevaluatierapport wordt in tienvoud gedrukt op papier aangeleverd én digitaal op CD-ROM. Voor de bijlagen kan desgewenst worden volstaan met digitale aanlevering (op CD-ROM). Toegang tot de informatie De commissie krijgt toegang tot alle relevante informatie die nodig is voor een goede uitvoering van de werkzaamheden. De commissie kan vragen nadere informatie toe te sturen of deze ter inzage te geven tijdens het bezoek. Een commissielid gebruikt informatie die in het kader van de visitatie en de beoordeling is vergaard, niet voor persoonlijke doeleinden. Eventuele vertrouwelijke informatie wordt op gepaste wijze behandeld. B.2.2 Tabellen, kengetallen en bijlagen per facet Bij het opstellen van de zelfevaluatie moet het beoordelingskader worden gevolgd en moet door middel van feiten en analyse een onderbouwing worden gegeven van de wijze waarop de opleiding aan de criteria voldoet. Soms is er voor de beoordeling door de externe commissie specifieke informatie nodig. Hieronder worden een aantal richtlijnen gegeven voor informatie die standaard in het zelfevaluatierapport beschikbaar moet zijn: Bij het onderwerp Doelstellingen: In bijlage A is een volledige beschrijving van de doelstellingen en eindkwalificaties opgenomen. Bij het onderwerp Programma: Een schematisch overzicht van de programmaonderdelen waarin is opgenomen: studiejaar, verplicht/keuze, (korte) benaming studieonderdeel, studiepunten, werkvormen, toetsvorm. Pagina 29 van 61 QANU-KADER februari 2004

30 Bij het onderwerp Programma, facet Instroom: tabellen waarin de instroom wordt gespecificeerd: a) van de ongedeelde opleiding voor de periode beginnend vijf jaar voor het inleveren van de zelfstudie tot aan het moment dat de instroom van eerstejaars is gestaakt (opleiding in afbouw); b) van de bachelor- of masteropleiding vanaf de start van deze opleiding tot het meest recente jaar waarvoor de gegevens beschikbaar zijn. Daarbij wordt voor zover mogelijk gebruik gemaakt van de zogenaamde KUO-cijfers. Uit KUO tabel 2.2: Ingeschrevenen naar onderwijsvorm en geslacht (eerstejaars opleiding-instelling propedeutische fase), zoals in het zogenaamde KUO-visitatieproduct (*) gespecificeerd in de kolommen: Ingeschrevenen; Voltijdopleiding; Deeltijdopleiding; Extraneus, ieder verdeeld over totaal en mannen en vrouwen. Uit KUO tabel 2.1: Ingeschrevenen naar onderwijsvorm en geslacht (Alle ingeschrevenen), zoals in het zogenaamde KUO visitatieproduct (*) gespecificeerd in de kolommen: Ingeschrevenen; Voltijdopleiding; Deeltijdopleiding; Extraneus, ieder verdeeld over totaal en mannen en vrouwen. *) Het KUO-visitatieproduct is binnen de instelling bij de KUO contactpersoon beschikbaar; de QANU kan de naam van deze contactpersoon verschaffen. Het staat de opleiding vrij om een beeld van het verloop van de instroom te reconstrueren voor het geheel van de opleidingen die uit elkaar zijn voortgekomen. Het spreekt voor zich dat een opleiding niet kan volstaan met het aanleveren van kwantitatieve gegevens, maar deze ook aan een nadere analyse dient te onderwerpen. Bij het onderwerp Programma, facet Afstemming tussen vorm en inhoud: Een tabel waarin de studielast wordt gespecificeerd voor de jaren van de studie gebaseerd op een analyse van de werkvormen die voor de verschillende programmaonderdelen worden gebruikt. Er dient in ieder geval een onderscheid te worden gemaakt tussen grootschalig en kleinschalig onderwijs. Binnen die twee categorieën kunnen verdere verfijningen worden aangebracht. Studiepaden variëren soms, daarbij kunnen minimum en maximum aantallen studie-uren worden vermeld. Een voorbeeld van hoe de tabel voor een bacheloropleiding eruit zou kunnen zien, volgt hieronder: jaar hoorcolleges werkgroepen PGO-groepen scriptie zelfstudie totaal Bij het onderwerp Inzet van personeel: een tabel waarin de menskracht die beschikbaar is voor het verzorgen van het onderwijs in mensen en f.t.e. s (onderwijsinzet) wordt verdeeld over: a) de wetenschappelijke functies: hoogleraar, UHD, UD, promovendi, overig WP; b) de geslachten man/vrouw. Definities en grondslagen van de getallen kort toelichten. Peildatum: 1 december van het meest recente jaar. Bij voorkeur op het niveau van de opleiding, wanneer dat niet mogelijk is op een hoger aggregatieniveau Pagina 30 van 61 QANU-KADER februari 2004

31 (faculteit, onderwijsinstituut). Daarbij wordt aangegeven hoe de inzet van personeel uitwerkt voor de individuele opleiding. categorie HL UHD UD promovendi docenten studentassistenten overig WP totaal m v totaal aantal fte s aantal fte s aantal fte's percentage gepromoveerden n.v.t. Bij het onderwerp Inzet van personeel, facet Kwantiteit personeel: Een tabel waarin ten minste voor de afgelopen drie jaar de studenten-docentenratio wordt gespecificeerd. Bij voorkeur op het niveau van de opleiding, wanneer dat niet mogelijk is op een hoger aggregatieniveau (faculteit, onderwijsinstituut). Daarbij wordt aangegeven hoe de docent-studentratio uitwerkt voor de individuele opleiding. jaar aantal fte onderwijs aantal ingeschreven studenten aantal diploma's aantal studenten per fteonderwijs aantal afgestudeerden per fteonderwijs jaar = visitatiejaar -1 jaar = visitatiejaar -2 jaar = visitatiejaar -3 Daarnaast ook informatie over de manier waarop de onderwijsondersteuning is georganiseerd: beschikbare functies (bijv. studieadviseur, coördinator internationalisering), organisatie (bijv. per opleiding, per faculteit) en omvang (aantal fte). Bij het onderwerp Resultaten, facet Gerealiseerd niveau: Een beknopte samenvatting van het meest recente alumnionderzoek. In bijlage C: een lijst van de 25 meest recente afstudeeropdrachten (uiterlijk tot vijf jaar terug wanneer in die periode minder dan 25 afstudeeropdrachten beschikbaar zijn) met vermelding van: naam auteur, titel, specialisatie/afstudeerrichting, jaar beoordeling, eindcijfer. Deze eis geldt ook voor bacheloropleidingen. Onder afstudeeropdracht wordt een integrerend beoordelingsmoment verstaan, dat kan ook aan de hand van bijvoorbeeld een portfolio. Bij het onderwerp Resultaten, facet Onderwijsrendement: Tabellen waarin de rendementen van de ongedeelde opleiding waaruit de beoordeelde opleiding is voortgekomen over ten minste de afgelopen acht instroomcohorten Pagina 31 van 61 QANU-KADER februari 2004

32 worden gespecificeerd; hierbij wordt gebruik gemaakt van de KUO-cijfers. Daarnaast geeft de opleiding zo goed mogelijk inzicht in het verloop van de rendementen sinds de invoering van het BaMa-stelsel. Bij zowel de bachelor- als de masteropleiding worden de propedeuse- en postpropedeuserendementen van de ongedeelde opleiding waaruit ze zijn voortgekomen gepresenteerd: Propedeuserendementen: KUO-tabel 3.1; Post-propedeuserendementen: KUO-tabel 4.1. Voor het rendement van de propedeuse of het eerste jaar van de bacheloropleiding wordt in VSNU-verband een nieuwe KUO-indicator ontwikkeld. Tot het moment dat deze indicator beschikbaar is, kunnen voor eerstejaarsrendementen eigen cijfers worden gepresenteerd. Wanneer er inmiddels afstudeerders zijn voor de bachelor, worden eigen cijfers gepresenteerd die een beeld geven van het rendement van de gehele opleiding (percentage afstudeerders per jaar van cohort). Voor de masteropleiding worden rendementscijfers voor de gehele opleiding gepresenteerd (percentage afstudeerders per jaar van cohort). B.2.3 Het internationale kader Bij verschillende onderdelen in het beoordelingskader wordt gevraagd naar internationale benchmarking van de opleiding. De doelstellingen en de kwalificaties moeten sporen met de eisen die (buitenlandse) vakgenoten stellen en met de eisen van de internationale wetenschapsbeoefening. De externe beoordelingscommissie moet volgens de wet en het NVAO-kader de opleiding met gelijksoortige opleidingen, liefst internationaal, vergelijken. Het is in eerste instantie de opleiding die de belangrijkste informatie moet aandragen om de opleiding in een internationaal kader te kunnen plaatsen. Het is daarom van belang in de zelfevaluatie bij de betreffende punten aan te geven: De internationale bronnen en/of opleidingen die gebruikt zijn om de eigen doelstellingen te formuleren. De internationale benchmarking die men gedaan heeft en de uitkomsten ervan. De positionering van de opleiding in het internationale kader, zoals men die ziet. De contacten met gelijksoortige opleidingen in het buitenland. Wat is het niveau van de contacten en wat is het niveau van de partneropleidingen? B.2.4 Inleveren zelfevaluatie De instelling draagt er zorg voor dat tien exemplaren van het zelfevaluatierapport en de gevraagde bijlagen bij QANU worden ingeleverd vóór de afgesproken datum. Niet tijdig inleveren kan het beoordelingsproces vertragen. Het zelfevaluatierapport wordt in tienvoud gedrukt op papier aangeleverd én digitaal op CD-ROM. Voor de bijlagen kan desgewenst worden volstaan met digitale aanlevering (op CD-ROM). QANU toetst de zelfevaluatie aan de volgende eisen: Zijn alle onderwerpen, facetten en criteria behandeld? Bevat de zelfevaluatie de noodzakelijke informatie? Pagina 32 van 61 QANU-KADER februari 2004

33 Is de zelfevaluatie voldoende analytisch en kritisch? Is er voldoende evidentie aanwezig voor de beoordeling van niveau en oriëntatie? Als het zelfevaluatierapport niet aan de eisen voldoet, zal QANU om aanvullende informatie vragen en in het uiterste geval weigeren het rapport in behandeling te nemen. Het zelfevaluatierapport wordt door de QANU behandeld als een vertrouwelijk document dat alleen door de externe beoordelingscommissie gebruikt wordt bij het beoordelen van de opleiding. De QANU stelt het zelfevaluatierapport niet ter beschikking aan de NVAO. De NVAO kan wel aan de opleiding aanvullende informatie vragen, maar vraagt niet het zelfevaluatierapport op. Pagina 33 van 61 QANU-KADER februari 2004

34 B.3 Additionele aspecten voor beoordeling QANU heeft één facultatief onderwerp aan het kader toegevoegd dat een specifiek kenmerk is van wetenschappelijke opleidingen: internationalisering. Instellingen zijn vrij om aan dit punt separaat aandacht te besteden in de zelfstudies. Wanneer informatie is opgenomen wordt dat onderwerp door de commissie beoordeeld, het oordeel weegt echter nooit mee in het eindoordeel voor accreditatie. Bij de start van de visitatie worden hierover afspraken gemaakt met de instellingen. Naast deze facultatieve behandeling als apart onderwerp wordt internationalisering waar relevant meegenomen in het domeinspecifieke referentiekader en is het langs die weg onderwerp van beoordeling. Een tweede mogelijkheid om eigen accenten te leggen in de beoordeling wordt geboden door bijzondere kenmerken van kwaliteit waarvan in het NVAO-beoordelingskader sprake is. Voor erkenning van de bijzondere kwaliteitskenmerken door de NVAO moet aan een aantal voorwaarden worden voldaan die in paragraaf 4.2 worden toegelicht. B.3.1 Internationalisering en externe contacten Internationalisering is een facultatief onderwerp, het maakt geen deel uit van het beoordelingskader van de NVAO. QANU heeft het onderwerp optioneel toegevoegd vanwege het grote (en toenemende) belang van internationalisering voor de wetenschappelijke opleidingen, met name als onderdeel van het Bologna-proces. Dit onderwerp wordt niet meegewogen bij het eindoordeel ten behoeve van accreditatie. Opleidingen geven ruim voor de visitatie aan of gebruik gemaakt zal worden van dit onderwerp. Criteria: 1. De opleiding beschikt over een internationaliseringsbeleid dat gerelateerd is aan de algemene doelstellingen van de opleiding en samenhangt met het beleid op andere terreinen. 2. Het profiel van de opleiding en de eindkwalificaties in termen van kennis, vaardigheden en attitude zijn internationaal afgestemd, zodat verschillen en overeenkomsten met opleidingen in het buitenland transparant zijn. 3. De opleiding gebruikt het European Credit Transfer System (ECTS) en heeft adequate regelingen om in het buitenland verworven competenties in het individuele studieprogramma op te nemen. 4. Internationale studenten- en docentenmobiliteit (in- en uitgaand) heeft de beoogde omvang en wordt reëel bevorderd en ondersteund. 5. Internationalisering heeft duidelijk een plaats in het curriculum en het onderwijs. 6. De opleiding heeft een internationaal institutioneel netwerk op het gebied van onderwijsactiviteiten van goede kwaliteit. 7. Er is deelname aan relevante internationale activiteiten (netwerken, projecten, congressen) te realiseren. Toetspunten: De opleiding beschikt over een beleid op het gebied van internationalisering, tot uitdrukking komend in een beleidsplan of ander officieel document, dat rechtstreeks gerelateerd is aan de doelstellingen van de opleiding. Er is een duidelijk aantoonbare samenhang tussen het beleid op het gebied van internationalisering en het beleid op andere terreinen. De eindkwalificaties van de opleiding zijn internationaal afgestemd. De opleiding beschikt over heldere procedures voor het volgen van studieonderdelen in het buitenland en voor de erkenning van in het buitenland behaalde studiepunten. Het aantal inkomende en uitgaande studenten en docenten (absoluut en relatief) komt overeen met het streefcijfer van de opleiding. Pagina 34 van 61 QANU-KADER februari 2004

35 De opleiding beschikt over faciliteiten en regelingen voor inkomende en uitgaande studenten en docenten (financieel, administratief, maar ook op het gebied van opvang, begeleiding en huisvesting). De opleiding beschikt over duidelijk en actueel informatiemateriaal, zowel voor studenten als voor docenten, waarin ook de van toepassing zijnde voorwaarden en regelingen worden beschreven. De opleiding biedt uitgaande studenten een mogelijkheid voor het volgen van een cursus in de taal en cultuur van het land waar de student naartoe gaat. De studiepunten die in het kader van zo n cursus worden behaald kunnen worden meegeteld in het programma dat de student volgt. De opleiding biedt onderdelen aan die in het bijzonder geschikt zijn voor inkomende studenten (bijvoorbeeld omdat ze in een andere taal worden verzorgd), zoals summer schools of master classes. De opleiding neemt deel aan internationale projecten op het gebied van onderwijs, zoals uitwisselingsprogramma s. Toelichting Internationalisering is in toenemende mate een integraal onderdeel van het wetenschappelijk onderwijs. Wetenschap is van nature internationaal, de domeinen die worden bestudeerd zijn niet geografisch begrensd en samenwerking met buitenlandse collega s wordt als vanzelfsprekend beschouwd. Internationalisering heeft een nieuwe impuls gekregen door de Verklaring van Bologna, waarin wordt gesteld dat universiteiten een centrale rol spelen in het ontwikkelen van de culturele dimensies van het Europa van de toekomst. Eén van de expliciete doelstellingen van de Verklaring van Bologna is het bevorderen van de mobiliteit van zowel studenten als docenten. Universiteiten leiden bovendien in toenemende mate op voor een internationale arbeidsmarkt. Zij richten zich ook nadrukkelijk op nieuwe doelgroepen, zoals buitenlandse studenten, en moeten zich daartoe positioneren en profileren ten opzichte van andere opleidingen, niet alleen in het binnenland, maar zeker ook in het buitenland. Bij de beoordeling van de internationalisering van een opleiding kijkt een commissie zowel naar het beleid op dit terrein als naar de mate waarin de opleiding erin slaagt het beleid te realiseren. Het uitgangspunt is dat internationalisering geïntegreerd dient te zijn in de opleiding. Dit betekent dat de internationale oriëntatie van de opleiding reeds tot uitdrukking komt in de missie en de doelstellingen van de opleiding en vervolgens zowel in de inhoud als in de organisatie van de opleiding prominent aanwezig is. In het internationaliseringsbeleid worden de positionering en profilering van een opleiding in een internationale context aan de orde gesteld: waar staat zij en waar wil zij staan? De doelen die een opleiding zichzelf stelt kunnen betrekking hebben op verschillende aspecten van internationalisering: de uitwisseling van studenten en docenten, de internationalisering van het programma, de deelname aan internationale projecten en netwerken. Bij uitwisselingen gaat het niet alleen om uitgaande studenten en docenten, maar ook om inkomende. Een opleiding dient voor beide groepen regelingen en voorzieningen te treffen die ervoor zorgen dat zowel docenten als studenten optimaal gebruik maken van de mogelijkheden die hen geboden worden. Daarbij kan gedacht worden aan regelingen voor het erkennen van in het buitenland behaalde studiepunten, maar ook aan voorzieningen op het gebied van huisvesting van inkomende docenten en studenten. In dit kader is het van belang dat uitgaande docenten en studenten voor hun vertrek naar het buitenland in de gelegenheid worden gesteld om vertrouwd te raken met de taal en cultuur van het land van bestemming. Een opleiding geeft aan internationalisering Pagina 35 van 61 QANU-KADER februari 2004

36 serieus te nemen wanneer zij de studiepunten die in het kader van een taalcursus worden behaald, erkent en dus mee laat tellen voor het bachelor- of masterdiploma. Er zijn verschillende manieren waarop de internationalisering van een opleidingsprogramma vorm kan krijgen. Een opleiding kan ervoor kiezen bepaalde onderdelen zo op te zetten dat ze goed toegankelijk zijn voor buitenlandse studenten. De toegankelijkheid wordt vergroot door het onderwijs te verzorgen in een taal die zowel de eigen als de buitenlandse studenten voldoende beheersen (vaak, maar zeker niet altijd het Engels), maar ook door de ingangseisen zo op te stellen dat studenten van buiten de opleiding er eenvoudiger aan kunnen voldoen (geen te specialistische voorkennis vooronderstellen, geen formele eisen zoals het met goed gevolg afgelegd hebben van een ander onderdeel binnen de opleiding). Ook het ontwikkelen en aanbieden van onderdelen die specifiek gericht zijn op buitenlandse studenten (summer courses of schools bijvoorbeeld) behoort tot de mogelijkheden. Een opleiding heeft aan de andere kant de mogelijkheid om onderdelen zo in te richten dat zij relatief eenvoudig kunnen worden vervangen door onderdelen die aan een instelling in het buitenland zijn gevolgd. Het is bijna vanzelfsprekend dat een opleiding met een duidelijke internationale oriëntatie actief zal zijn in relevante netwerken en projecten, zoals Europese beroepsverenigingen of Thematische Netwerk Projecten, en dat de docenten van die opleiding in het kader daarvan bijvoorbeeld lezingen of presentaties verzorgen of bijdragen aan rapporten of nota s die het onderwijs vanuit een internationaal perspectief benaderen. In het zelfevaluatierapport voorgeschreven informatie bij het onderwerp Internationalisering: Studenten van de opleiding, studerende aan een buitenlandse instelling en buitenlandse studenten bij de opleiding in aantallen en studiepunten. Lijst van universitaire samenwerking in het kader van ERASMUS/SOCRATES en andere institutionele samenwerking met buitenlandse universiteiten op het gebied van onderwijs. B.3.2 Bijzondere kwaliteitskenmerken Conform het NVAO-beoordelingskader kan een instelling een aanvraag voor een bijzonder kwaliteitskenmerk doen. In deze gevallen moet vroegtijdig met QANU contact worden opgenomen zodat een op dat aspect toegesneden beoordelingskader kan worden ontwikkeld. In de komende tijd verwacht QANU (mede in samenwerking met betreffende stakeholders) standaard beoordelingskaders voor bijzondere kwaliteitskenmerken te ontwikkelen voor Studentenaspecten; het afnemend veld; duurzaam hoger onderwijs; de BaMa-transitie. Bij studentenaspecten wordt bijvoorbeeld de studentgecentreerdheid van de opleiding geëvalueerd. Bij het afnemend veld gaat het bijvoorbeeld om aansluiting bij de eisen van werkgevers. De BaMa-transitie legt de nadruk op de curriculumvernieuwing bij de introductie van het bachelor-masterstelsel. Volgens het accreditatiekader van de NVAO dienen de bijzondere kenmerken te voldoen aan de volgende criteria: Pagina 36 van 61 QANU-KADER februari 2004

37 EISEN AAN BIJZONDERE KWALITEITSKENMERKEN facetten criteria differentiatie en profilering Het kenmerk levert een betekenisvolle bijdrage aan de differentiatie en profilering in het hoger onderwijs. kwaliteit Het kenmerk leidt tot een bijzondere kwaliteit van de opleiding. concretisering De gevolgen van het kenmerk voor de kwaliteit van het onderwijs (instroom, onderwijsprogramma, onderwijsproces, output, voorzieningen, kwaliteit staf) zijn geoperationaliseerd. onderscheidend karakter Het kenmerk is onderscheidend voor de opleiding in relatie tot relevante opleidingen in het Nederlandse hoger onderwijs. Bijzondere kwaliteitskenmerken stellen de opleidingen/instellingen in de gelegenheid om de agenda voor de externe kwaliteitszorg deels zelf te bepalen. Door, in samenspraak met stakeholders van de opleiding, eigen aandachtspunten neer te leggen in het beoordelingsproces neemt de relevantie van de beoordeling voor de betrokkenen toe. Dit heeft een positief effect op het gebruik van de resultaten en het leereffect in de organisatie. Dus zelfs zonder dat het wordt meegenomen in een NVAOaccreditatieprocedure is het aan te bevelen om dergelijke accenten in de beoordeling te leggen. Pagina 37 van 61 QANU-KADER februari 2004

38 Deel C: Het zelfevaluatierapport en de werkwijze van de commissie Pagina 38 van 61 QANU-KADER februari 2004

39 C.1 Het schrijven van het zelfevaluatierapport De externe kwaliteitsbeoordeling is gebaseerd op een zelfevaluatie van de opleiding. Ook in het NVAO-kader wordt ervan uitgegaan dat een opleiding een zelfevaluatie inlevert: De instelling voert een zelfevaluatie uit. Het zelfevaluatierapport geeft een beschrijving en een evaluatie van de opleiding aan de hand van ten minste de onderwerpen, facetten en criteria uit dit accreditatiekader. Daarbij worden de verschillende varianten van de opleiding (voltijd, deeltijd en/of duaal) apart beschreven en geëvalueerd. In de zelfevaluatie wordt verder aangegeven wat volgens de instelling het niveau (bachelor of master) en de oriëntatie (HBO of WO) van de opleiding is. Dit wordt duidelijk beargumenteerd. Tevens wordt aangegeven of het een initiële dan wel een postinitiële opleiding betreft. Een zelfevaluatierapport heeft twee belangrijke functies: 1. Het schrijven van een zelfevaluatierapport stimuleert om systematisch na te denken over de kwaliteit van de studiemogelijkheden die aan studenten worden geboden en over het niveau dat zij bereiken. 2. Het zelfevaluatierapport levert de basis voor de beoordeling door de commissie, die de uitspraken die door de opleiding worden gedaan, toetst en verifieert. Zelfevaluatie = zelfanalyse Het schrijven van het zelfevaluatierapport is een moment waarop de opleiding systematisch reflecteert op de vragen: wat doen we?', 'waarom doen we het?' en 'waarom doen we het op de manier zoals we het doen?'. Daarbij hoort een sterktezwakteanalyse waarbij de opleiding de beweringen zo goed mogelijk staaft met feiten. Het document beschrijft tevens welke veranderingen hebben plaatsgevonden sinds de voorgaande externe beoordeling. Wanneer zwakke punten worden onderkend, ligt het voor de hand dat de opleiding concreet beleid ter verbetering formuleert. Een groot deel van de informatie dat voor het schrijven van een zelfevaluatierapport noodzakelijk is, zal bij een goed functionerend systeem van interne kwaliteitszorg onmiddellijk beschikbaar zijn. De criteria in het QANU-beoordelingskader geven ruimte om bij het uitvoeren van een zelfevaluatie zoveel mogelijk bij het functionerende kwaliteitszorgstelsel aan te sluiten en gebruik te maken van de uitkomsten. Zelfevaluatie = informatie voor de externe commissie Voor de externe beoordelingscommissie is het zelfevaluatierapport met zijn sterktezwakteanalyse het uitgangspunt bij het beoordelen van de opleiding. Een heldere sterkte-zwakteanalyse en een duidelijke onderbouwing van de criteria bieden de commissie de gelegenheid met de faculteit als peers over de kwaliteit van het onderwijs te discussiëren. De externe commissie beschouwt de zelfevaluatie als het basisdocument van de hele opleiding, en voert vanuit die gedachte de gesprekken met de verschillende groeperingen. Het is daarom van belang dat iedereen die bij de opleiding betrokken is (staf en studenten) op de hoogte is van de inhoud van de zelfevaluatie, en het rapport (h)erkent als een document van de eigen opleiding. Pagina 39 van 61 QANU-KADER februari 2004

40 Opleiding als object van beoordeling, herkenbaarheid van varianten en locaties Accreditatie vindt per opleiding plaats. Voor iedere opleiding (bachelor en master) zal een afzonderlijke analyse en rapportage moeten plaatsvinden. Bij sommige onderwerpen ligt het echter voor de hand om niet voor iedere opleiding een aparte beschrijving te geven. In het WO zijn uit één ongedeelde opleiding vaak verschillende bachelor- en masteropleidingen voortgekomen. Verder worden diverse onderwerpen uit het beoordelingskader niet op het niveau van de opleiding maar voor een onderwijsinstituut of faculteit als geheel uitgevoerd. Wanneer een aantal opleidingen binnen één instituut/faculteit gezamenlijk wordt beoordeeld, is bij die onderwerpen een beschrijving op een hoger aggregatieniveau mogelijk, dit echter onder de voorwaarde dat ook wordt beschreven hoe de kwaliteit voor ieder van de beoordeelde opleidingen is verzekerd. Deze bundeling van de beoordelingen ligt voor de hand bij de onderwerpen Personeelsbeleid, Voorzieningen en Interne Kwaliteitszorg. Bij deze gebundelde aanpak wordt in de zelfstudie het voorgeschreven sjabloon gehandhaafd. Wanneer beschrijvingen voor onderwerpen en facetten elders zijn te vinden, wordt nauwgezet verwezen naar de relevante tekstpassage(s). Wanneer er sprake is van verschillende varianten van een opleiding (voltijd, deeltijd, duaal) zal uit de beoordelingen moeten blijken dat voor elke variant de basiskwaliteit is gewaarborgd. In de zelfstudie zullen de verschillen tussen de varianten duidelijk zichtbaar moeten worden gemaakt. Tijdens het bezoek zal de commissie beoordelen of de verschillen adequaat zijn weergegeven. Ook verschillende locaties van de opleiding worden op deze wijze behandeld. Onderbouwing vanuit het interne kwaliteitszorgsysteem Het zelfevaluatierapport vormt het scharnier tussen de interne en de externe kwaliteitszorg. Het wetenschappelijk domein kent sterk ontwikkelde standaarden voor kwaliteit. De kern van wetenschappelijk handelen is immers dat het de toets der wetenschappelijke kritiek moet kunnen doorstaan. Wetenschappelijke kennis wordt gecertificeerd in een proces van toetsing door vakbeoefenaars. Ook wetenschappelijke reputatie en gezag worden verworven in dit proces van beoordeling door vakbeoefenaars. Wetenschappelijk onderwijs kwalificeert de afgestudeerden in de eerste plaats om zich op een bepaald niveau te kunnen verhouden tot deze wetenschappelijke standaarden. Op het eindniveau zal de afgestudeerde als wetenschappelijk gevormde moeten kunnen functioneren in het wetenschappelijk domein. Het ligt dan ook voor de hand om de wetenschappelijke standaarden een belangrijke rol te geven in het beoordelingsproces. Dat gebeurt door het instellen van commissies van vooraanstaande wetenschappers en door het hanteren van het domeinspecifieke referentiekader. Het wetenschappelijk onderwijs functioneert evenzeer in een bredere context waarin ook sociaal-economische doelstellingen belangrijk zijn. Daarom is het noodzakelijk dat een opleiding een samenhangend systeem kent om te toetsen of het onderwijs voldoende is afgestemd op de veranderende eisen vanuit de wetenschappelijke en sociaaleconomische omgeving. Dat systeem van interne kwaliteitszorg zal moeten waarborgen dat die eisen worden vertaald naar eindkwalificaties en dat die op hun beurt weer op een consequente en efficiënte wijze worden gerealiseerd in het programma. Bij het schrijven van het zelfevaluatierapport kan een opleiding in belangrijke mate gebruikmaken van de informatie die binnen het systeem van interne kwaliteitszorg wordt verzameld om vast te stellen of de doelstellingen van de opleiding voldoende zijn afgestemd op de context en of de eindresultaten overeenkomen met de doelstellingen. Op basis van die informatie kan een opleiding beleid formuleren. Pagina 40 van 61 QANU-KADER februari 2004

41 Een kwaliteitszorgsysteem heeft een cyclisch karakter. Een organisatie stelt zich een doel en formuleert maatregelen voor het bereiken van dat doel (Plan). De maatregelen worden vervolgens uitgevoerd (Do). De organisatie controleert of de bereikte resultaten in overeenstemming zijn met de oorspronkelijke doelstellingen (Check). Op grond van de resultaten worden de plannen gefinaliseerd of bijgesteld (Act). Eventueel worden er nieuwe doelen gesteld, waarmee het cyclische karakter voltooid is. De kwaliteit van een opleiding hangt dus niet alleen samen met de adequaatheid van processen, maar ook met de sturing van die processen op grond van resultaten. Het bekende INK-model (INK staat voor Instituut Nederlandse Kwaliteit) bestaat uit negen aandachtsgebieden die zijn onderverdeeld in resultaat- en organisatiegebieden en een 'feedback-lus' van resultaten naar organisatie waarin leren en verbeteren zijn opgenomen. Schematisch is dit als volgt weer te geven. Onderbouwing van de criteria vindt in het algemeen zowel vanuit de resultaatgebieden als vanuit de organisatiegebieden plaats. In het zelfevaluatierapport geeft de opleiding antwoord op de vraag hoe realisering van het criterium wordt gemeten, of, in andere woorden, welke indicatoren in de interne kwaliteitszorg worden gebruikt om resultaten expliciet te maken. In de resultaatgebieden worden indicatoren ( streefdoelen ) geformuleerd die kwantitatief dan wel kwalitatief worden gemeten om vast te stellen of de eigen doelstellingen zijn gerealiseerd. Dit leidt vervolgens al of niet tot het bijstellen van de plannen. Meten kan hier vele vormen aannemen: kengetallen, enquêtes, panelgesprekken, benchmarking, peer review. Maar ook meer informele kwalitatieve vormen als intercollegiale toetsing of gesprekken met buitenlandse collega s kunnen resultaten expliciet maken. De resultaatcriteria leggen de nadruk op de Check- en de Act-stappen van de kwaliteitscyclus. De kwaliteit van het onderwijs hangt ook samen met de kwaliteit van processen. Daar gaat het om strategie, planning en beleid. De opleiding onderbouwt kwaliteit vanuit de organisatiegebieden aan de hand van een analyse van maatregelen die zijn genomen om een doel te bereiken, zoals kwaliteitsborgingssystemen, didactische scholing, toelatingsbeleid, middelen en materialen. Hier wordt de nadruk gelegd op de Plan- en Do-stappen in de kwaliteitscyclus en de organisatiegebieden in het schema. Pagina 41 van 61 QANU-KADER februari 2004