NOTITIE INTERNE AUDIT OPLEIDINGEN HVA

NOTITIE INTERNE AUDIT OPLEIDINGEN HVA STATUS: DEFINITIEF VERSIE: 3.0 DATUM: 1 SEPTEMBER 2013 HERZIENINGSDATUM: 1 september 2014 O2 KWALITEIT EN ACCREDITATIE 1

Inhoud Voorwoord... 3 1. Inleiding... 4 2. De rol van de audit in het kwaliteitszorgsysteem van de HvA... 6 3. Beoordelingskader voor de audit... 8 4. Doel en functie van de audit... 10 5. De onderdelen van de audit... 10 5.1 Voorbereidingsfase... 11 5.2 Documentenonderzoek... 12 5.3 Bezoekdag... 14 5.4 Rapportage... 15 6. Processtappen audit... 16 7. Van basiskwaliteit naar verbeteren van kwaliteit... 17 8. Resultaten van de audit... 18 9. Betekenis voor de opleiding... 20 10. Generiek en specifiek deel... 20 11. Samenstelling panel... 21 12. Wie is waarvoor verantwoordelijk?... 22 13. Kosten van de audit... 22 14. Evaluatie audit... 23 Bijlage 1 Referentielijst documenten voor het documentenonderzoek... 24 Bijlage 2 Voorbeeld programma interne audit... 26 Bijlage 3 Gedragscode auditoren... 28 Bijlage 4 Hulpmiddel beoordeling afstudeerwerken audit HvA... 29 Bijlage 5 Format brief bevestigen afspraken interne audit... 32 2

Voorwoord De afdeling Kwaliteit en Accreditatie (K&A) van de stafafdeling Onderwijs en Onderzoek (O2) heeft met ingang van het studiejaar 2011-2012 de auditsystematiek geactualiseerd. Dit is gebeurd naar aanleiding van de wijzigingen in het accreditatiestelsel voor het hoger onderwijs per 1 januari 2011. De wijzigingen in de accreditatiewetgeving zijn aangegrepen om de interne auditsystematiek van de HvA te verbeteren. Met als belangrijkste resultaat een audit die beter aansluit bij de doelstellingen en behoeften van de opleidingen. De audit geeft namelijk meer dan voorheen ruimte om dilemma s, ambities en vragen van de opleiders aan het panel voor te leggen. Dit geeft het panel de mogelijkheid naar meer te kijken dan alleen de basiskwaliteit, zoals geformuleerd door de Nederlands Vlaamse Accreditatie Organisatie (NVAO). In de eerste accreditatiecyclus van zes jaar hebben de opleidingen van de HvA aangetoond dat zij tenminste voldoen aan de basiskwaliteit. Zij beschikken over het keurmerk geaccrediteerde opleiding. De beginsituatie die het panel in ogenschouw neemt, is die van een opleiding die beschikt over het accreditatiekeurmerk. Het panel benadert de opleiding vanuit het vertrouwen dat de basiskwaliteit van de opleiding in orde is. Waar de audit in de voormalige auditsystematiek een momentopname was, gericht op het toetsen van de basiskwaliteit, neemt het panel in de huidige werkwijze het toekomstperspectief en verbeterbeleid van de opleiding explicieter mee. Idealiter is de audit niet alleen een scherpe foto van het kwaliteitsniveau op een bepaald moment, maar vooral een scene in een film met als scenario de plan, do, check, act cyclus (PDCA-cyclus volgens Deming). Het panel biedt handvatten voor het verbeterbeleid van de opleiding door aandachtspunten aan te reiken en aanbevelingen te geven. Deze notitie heeft als doel om iedereen te informeren die bij een audit is betrokken. In afstemming met de domeinvoorzitter en/of de kwaliteitszorgmedewerker(s) van het domein, formuleert het opleidingsmanagement met de secretaris van het panel samen de opdracht. Indien nodig formuleren zij ook een aanvullend beoordelingskader met bijbehorende beoordelingscriteria. Zij bespreken de samenstelling van het panel en stellen vast welke documentatie de opleiding levert om de audit goed te kunnen uitvoeren. Om de opleiders te ondersteunen bij de audit, beschrijft deze notitie de auditsystematiek van de HvA. Een eerste versie van deze notitie is in gebruik genomen in september 2011. Jaarlijks wordt de notitie geactualiseerd. In de 3.0 versie, die nu voor u ligt, zijn de interne en externe evaluatieve opmerkingen, verworven in studiejaar 2012-2013, verwerkt. Team van O2 Kwaliteit en Accreditatie 3

1. Inleiding Van verantwoorden naar verbeteren Per 1 januari 2011 is de wetgeving over de kwaliteitsborging van opleidingen ingrijpend gewijzigd. De NVAO heeft gelijktijdig het oude accreditatiestelsel vervangen door een nieuw stelsel met gewijzigde beoordelingskaders. De nadruk is verschoven van het verantwoorden van de basiskwaliteit naar verbeteren van de (onderwijs)kwaliteit. De NVAO hanteert een ruime definiëring voor basiskwaliteit: De kwaliteit die in internationaal perspectief redelijkerwijs verwacht mag worden van een bachelor- of masteropleiding binnen het hoger onderwijs. Het nieuwe stelsel heeft als nadrukkelijk nevendoel dat het gesprek wordt gevoerd tussen vakgenoten over de inhoud en koers van de opleiding. Het is er op gericht discussies tussen peers en docenten over de kwaliteit van het onderwijs te stimuleren. Dit levert een bijdrage aan het verbeteren van de kwaliteitscultuur binnen hogeronderwijsinstellingen. Stand van zaken kwaliteitsborging hoger beroepsonderwijs Met de wijzigingen in het accreditatiestelsel heeft de NVAO de intentie de balans tussen verantwoorden en verbeteren te herstellen, meer aandacht te geven aan de inhoud van het onderwijs en meer nadruk te leggen op resultaten en niveau van de opleiding. Met behulp van drie standaarden, door de NVAO ruim geformuleerd en niet geoperationaliseerd, krijgen opleidingen de vrijheid om zelfbewust hun eigen verhaal te vertellen. In reactie op incidenten in het hbo enige tijd geleden is geconcludeerd dat op brede schaal de naleving van de wet moet worden verbeterd. De incidenten worden gezien als wake-up call voor het hoger onderwijs. Aanscherping van wetgeving is in voorbereiding. Hoofddoel is het huidige stelsel van hoger onderwijs zo aan te passen dat het risico op misstanden met negatieve consequenties voor de waarde van diploma s en voor het maatschappelijk vertrouwen in het hoger onderwijs (inclusief de kwaliteitszorg) zoveel mogelijk wordt beperkt. Het gaat daarbij om een afweging van het belang om het stelsel te optimaliseren en zwakheden te herstellen ten opzichte van proportionaliteit en effectiviteit van de voorgestelde maatregelen. Naar verwachting wordt het wetsvoorstel in september 2013 aan het parlement aangeboden. Op dat moment zijn ook de onderzoeken ter evaluatie van het accreditatiestelsel afgerond. Onderzoek wordt/is verricht door de Algemene Rekenkamer, de Wetenschappelijke Raad voor het Regeringsbeleid (WRR), de Inspectie van het Onderwijs en ook door de NVAO zelf. De richting van de inhoudelijke aanpassing in de regelgeving is al wel bekend. Dat maakt het mogelijk om er in deze nota op te anticiperen. Dat gebeurt bijvoorbeeld ten aanzien van de verscherpte eisen bij de beoordeling van de eindwerken en de scheiding tussen toetsing en examinering en gerealiseerd eindniveau in de beoordeling ten behoeve van de opleidingsaccreditatie. De huidige inrichting van de auditsystematiek bij de HvA is gebaseerd op de NVAO kaders van 22 november 2011. 4

Interne audit volgt externe kwaliteitswaarborgen In navolging van het vernieuwde stelsel actualiseerde de HvA haar kwaliteitsbeleid 1. De wijze waarop de audit wordt uitgevoerd is met ingang van 2011-2012 gewijzigd en sindsdien geactualiseerd. Voorheen beoordeelde het panel alleen de basiskwaliteit van een opleiding. Nog steeds toetst het panel in de audit of de opleiding het accreditatiekeurmerk heeft kunnen consolideren maar er is ook gelegenheid om in de audit specifiek in te gaan op doelstellingen die de opleiding zelf aandraagt. Indien de opleiding hier gebruik van wil maken, geeft zij het panel een aanvullende opdracht mee. Essentie van de verandering is: meer maatwerk in opdracht en beoordelingskader, expliciete aandacht voor toekomstperspectief en verbeterfunctie van de opleiding en een objectiever en meer gewogen en gemotiveerd oordeel door het panel. De nadruk is verschoven van (be)oordelen naar inzicht geven in de verbeterpotentie van de opleiding en in de kwaliteit van de reeds getroffen of te treffen verbetermaatregelen. De verantwoordelijkheid van de opleiding voor wat de audit oplevert, is versterkt en een nieuwe procedure stimuleert de opleiding gestructureerd na te denken over de consequenties van de audit. Met ingang van het studiejaar 2013-2014 verwacht het College van Bestuur inzicht in de voortgang van een verbeterplan van de opleiding naar aanleiding van de resultaten van de audit. Doelgroep notitie Deze notitie is bedoeld voor domeinvoorzitters, kwaliteitszorgmedewerkers, panelleden en vooral voor de opleidingsmanagers en teamleiders, omdat zij verantwoordelijk zijn voor het goed verlopen van een audit en als eerste baat hebben bij het resultaat van de audit. Doel notitie Doel van deze notitie is enerzijds betrokkenen te informeren over de audit en de lezer mee te nemen in de keuzes die zijn gemaakt bij het wijzigen en actualiseren van de auditsystematiek. Anderzijds is zij bedoeld om opleidingsmanagers vanaf het voorbereidingproces actief te betrekken bij de audit. Door tijdig en adequaat te beslissen over doel en invulling van de audit, kunnen zij deze optimaal benutten. Zo kan het opleidingsmanagement een audit gebruiken om van in het gesprek met peers, respons te krijgen op vraagstukken of dilemma s die binnen de opleiding spelen. Juist de verschuiving in het accreditatiestelsel - van het toetsen van reeds bewezen basiskwaliteit naar het kijken naar de verbeterfunctie van een opleiding - geeft aan hoe belangrijk het is voor een opleiding om een goede toekomstvisie te hebben en te (laten) toetsen. 1 Een herijking van het kwaliteitsbeleid is verwoord in de notitie Kwaliteit Onderwijs en Onderzoek in de HvA, versie 0.7 d.d. 01-07-2012. 5

2. De rol van de audit in het kwaliteitszorgsysteem van de HvA Kwaliteit bij de HvA De notitie Kwaliteitszorg Onderwijs en Onderzoek HvA beschrijft de drie concepten van kwaliteit die de HvA actief benut. Twee richten zich op het product onderwijs en onderzoek (basiskwaliteit en bijzondere kwaliteit) en één op de dynamiek van dit product (kwaliteit als transformatie). Basiskwaliteit In Nederland en Vlaanderen worden sinds de invoering van het accreditatiestelsel in 2002 de accreditatie-eisen gezien als formele standaarden voor basiskwaliteit. Het beoordelingskader van de NVAO is in de HvA leidraad bij audit en accreditatie. Bij basiskwaliteit staat centraal: het blijvend aantoonbaar voldoen aan de eisen van het NVAO-beoordelingskader 2011 dat is vastgelegd in de Wet op het Hoger en Wetenschappelijk Onderwijs 2. Bijzondere kwaliteit Elke opleiding staat garant voor het bachelorniveau en waar van toepassing masterniveau - van de afgestudeerden en verhoudt zich met het HvA profiel. De HvA beoogt onderwijs dat boven de vereiste basiskwaliteit uit stijgt door in elke bachelor te streven naar goede en excellente waarderingen. Zo mogelijk zetten opleidingen of onderdelen daarvan (bijv. minoren) in op het verwerven van een NVAO- bijzonder kenmerk. Voorbeelden daarvan in de HvA zijn topsportgerichtheid, ondernemen, internationalisering. Kwaliteit als transformatie In de periode 2004-2010 hebben alle HvA opleidingen een eerste ronde van accreditatie volgens het beoordelingskader van de NVAO doorlopen. Daarmee zijn alle opleidingen in het bezit van het accreditatiekeurmerk. Het fundament van aangetoonde basiskwaliteit is een solide basis voor verbeteringen die leiden tot (meer) excellente opleidingen. Bij kwaliteit in de zin van transformatie staat het bepalen en implementeren van adequate verbetermaatregelen centraal. Kwaliteitscycli HvA Het kwaliteitsbeleid van de HvA is gericht op het continu ontwikkelen, borgen en aantoonbaar maken van de accreditatiewaardigheid en kwaliteit van opleidingen. De HvA hecht aan solide interne kwaliteitszorg. De HvA werkt planmatig aan het behouden van de goede kwaliteit van het onderwijs en brengt, waar nodig, verbeteringen aan. Als methodiek wordt daarbij de Deming cirkel - plan, do, check, act - gebruikt. Het kwaliteitssysteem is opgebouwd uit samenhangende kwaliteitscycli met elk een eigen (sub)doel en dynamiek: - De cyclus van accreditatie en interne audits (integrale kwaliteit); - De planning- en control cyclus (managementsturing); - De cyclus van evaluatie van het primaire proces (monitoring van onderwijskwaliteit vanuit het perspectief van de belanghebbenden met behulp van instrumentarium uit het Onderzoekshuis). 2 WHW, hoofdstuk 5a Accreditatie in het hoger onderwijs 6

De sturingsinformatie wordt geanalyseerd en hieraan wordt vervolgens betekenis gegeven. De interne en externe beoordeling van de integrale onderwijskwaliteit van een opleiding wisselen elkaar af. De eerste heeft een andere functie dan de tweede. De interne audit is inzichtgevend en gericht op verbeteren. Een positieve externe beoordeling eens in de zes jaar door een visitatiepanel is voorwaarde voor een accreditatieaanvraag bij de NVAO. Omdat de audit de functie heeft van een midterm review, wordt deze uitgevoerd in het midden van de accreditatiecyclus van zes jaar. Dit geeft de opleiding de tijd om verbeterbeleid in te zetten mede op basis van de bevindingen en aanbevelingen van het panel en de gegevens van het Onderzoekshuis. Om te waarborgen dat er voldoende tijd is om verbetermaatregelen te bepalen en te realiseren, is uitstel van een audit geen optie. Instellingstoets Uit de Beoordelingskaders accreditatiestelsel hoger onderwijs van 22 november 2011: Accreditatie vindt plaats op het niveau van de opleiding. De kwaliteit van individuele opleidingen staat daarmee onverminderd centraal in het accreditatiestelsel. Een instelling kan daarnaast een zogeheten instellingstoets kwaliteitszorg laten verrichten door de NVAO. Wanneer door de NVAO bij een dergelijke grondige doorlichting is vastgesteld dat de kwaliteitszorg van een instelling zó goed op orde is dat de kwaliteit van de opleidingen stelselmatig en waar nodig verbeterd wordt, komt de instelling in een ander accreditatieregime terecht. In een dergelijk regime geschiedt de accreditatie van opleidingen op een andere wijze dan wanneer er geen positieve instellingstoets kwaliteitszorg is. In dit regime beoordeelt een visitatiepanel van onafhankelijke deskundigen een opleiding op een klein aantal standaarden die het hart van de onderwijskwaliteit betreffen, en accrediteert de NVAO op basis daarvan al dan niet een opleiding. De docenten kunnen hun aandacht en energie steken in verbetersuggesties van deskundigen die over de kern van hun onderwijs gaan en hoeven zich minder bezig te houden met randvoorwaardelijke facetten die meer op het niveau van de instelling liggen. Op instellingsniveau is immers al aangetoond dat een instelling voor die onderwerpen vertrouwen verdient. Het is een stelsel waarin: a. door de instellingstoets kwaliteitszorg de interne kwaliteitscultuur instellingsbreed een impuls krijgt; b. bij de opleidingsaccreditatie de aandacht ligt bij de essentie van het onderwijs: (verbetering van) de inhoudelijke kwaliteit; c. een goede balans ontstaat tussen de maat nemen van opleidingen enerzijds en de verbeterfunctie anderzijds. De HvA heeft ervoor gekozen zich als instelling te laten toetsen en heeft in de periode april juni 2013 het NVAO-panel Instellingstoets Kwaliteitszorg ontvangen. Uit de mondelinge terugkoppeling van het panel na afloop van de bezoekdagen weet de HvA dat het panel een positief advies uitbrengt aan het bestuur van de NVAO. De HvA is in afwachting van eindrapportage en een definitief besluit. Er mag van worden uitgegaan dat, gelet op 7

deelname aan de instellingstoets en het verloop daarvan, alle HvA opleidingen worden beoordeeld op basis van het beperkte beoordelingskader van de NVAO. Op de verschillende kaders van de NVAO en het kader voor de audit wordt in het volgende hoofdstuk ingegaan. De kern van het nieuwe stelsel blijft dat alle opleidingen eens in de zes jaar worden beoordeeld door een panel van onafhankelijke deskundigen. Zoals in de inleiding vermeld, is er nieuwe wetgeving in de maak. Intern heeft de HvA nog nadrukkelijker dan voorheen oog voor mogelijke risico s en maatregelen die de risico s zoveel mogelijk beperken. De audit, die wordt uitgevoerd op croho-niveau, speelt hier een belangrijke rol in want heeft als doel het beperken van het risico van de opdrachtgever door kennis toe te voegen. 3. Beoordelingskader voor de audit NVAO toetsingskaders Het nieuwe stelsel maakt onderscheid tussen een toets op instellingsniveau en een beoordeling op opleidingsniveau. Er zijn daarom meerdere NVAO kaders. Eén kader dient voor het toetsen van de kwaliteitszorg op instellingsniveau. Daarnaast zijn er twee kaders voor de beoordeling van opleidingen te weten het beperkte en het uitgebreide beoordelingskader. Vanwege de overgangsregeling waarbij voor de opleidingen van de HvA het beperkte beoordelingskader geldt, laten we in deze notitie het uitgebreide beoordelingskader buiten beschouwing. Beperkte beoordelingskader NVAO De beoordeling komt tot stand op basis van een discussie met peers over de inhoud en kwaliteit van de opleiding en is gericht op drie vragen: 1. Wat beoogt de opleiding? 2. Hoe realiseert de opleiding dit? 3. Worden de doelstellingen bereikt? Deze vragen zijn door de NVAO vertaald in respectievelijk de volgende standaarden 3 : 1. De beoogde eindkwalificaties van de opleiding zijn wat betreft inhoud, niveau en oriëntatie geconcretiseerd en voldoen aan internationale eisen. 2. Het programma, het personeel en de opleidingsspecifieke voorzieningen maken het voor de instromende studenten mogelijk de beoogde eindkwalificaties te realiseren. 3a. De opleiding beschikt over een adequaat systeem van toetsing en 4 ; 3b. Toont aan dat de beoogde eindkwalificaties worden gerealiseerd. Over de drie standaarden geeft een visitatiepanel een gemotiveerd oordeel op een vierpuntsschaal: onvoldoende, voldoende, goed of excellent. Vervolgens geeft dit panel een gemotiveerd eindoordeel over de kwaliteit van de opleiding als geheel, ook op de vierpuntsschaal. De door de NVAO gehanteerde definities van de oordelen zijn integraal 3 http://www.nvao.net/page/downloads/definitieve_kaders_22_november_2011.pdf 4 In het formele kader is van een splitsing van standaard 3 nog geen sprake. In anticipatie op aanscherping in de regelgeving gaat deze nota uit van een scheiding tussen toetsing en gerealiseerd eindniveau. 8

opgenomen in de auditsystematiek van de HvA. Zie het hoofdstuk Resultaat van de audit voor de definities. N.B. Het beoordelingskader van de NVAO en in lijn daarmee ook het beoordelingskader van de HvA geldt voor zowel de beoordeling van bachelor- als masteropleidingen. Echter bij een master ligt er een zwaarder accent op onderzoek. De oriëntatie van het programma dient de ontwikkeling van vaardigheden op het gebied van wetenschappelijk onderzoek te waarborgen. Beoordelingskader HvA De NVAO standaarden zijn ruim te interpreteren en zijn daarom geoperationaliseerd voor de onderwijspraktijk in de HvA. Anders gezegd: de drie standaarden van het beperkte beoordelingskader NVAO zijn omgezet naar een HvA beoordelingskader dat een objectieve beoordeling door het panel op de drie standaarden borgt. Hoofdvragen in het beoordelingskader van de HvA zijn: Standaard 1 Beoogde eindkwalificaties Voldoet het opleidingsprofiel? Is het niveau voldoende? Is er sprake van goede validatie? Standaard 2 Onderwijsleeromgeving Is de inhoud van het programma adequaat? Is het programma goed vormgegeven? Voldoet het instroombeleid? Is sprake van een goede studeerbaarheid? Is de studieloopbaanbegeleiding adequaat? Is er een goede samenhang in het onderwijsprogramma? Voldoet het personeelsbeleid? Is er sprake van goede voorzieningen? Standaard 3A Toetsing Is er goed toetsbeleid? Heeft de opleiding toetsplan, toetsprogramma en toetsplanning overeenkomstig HvA beleid? Is sprake van een goede toetskwaliteit? Is de toetsexpertise op orde? Zijn de verantwoordelijkheden in het toetsproces belegd en nemen alle betrokkenen deze verantwoordelijkheden? Standaard 3B Gerealiseerde eindkwalificaties Worden de beoogde eindkwalificaties behaald door alle studenten? Voert de examencommissie haar wettelijke taken uit? Staat de examencommissie aantoonbaar garant voor het eindniveau van de opleiding? Is de archivering van de eindwerken adequaat? 9

In de operationalisering is elke hoofdvraag uitgewerkt in deelvragen die op basis van de door de opleiding geleverde documentatie zo goed mogelijk worden beantwoord. Dat gebeurt in het documentenonderzoek dat als voorbereiding dient voor locatiebezoek. De hoofd- en deelvragen zijn integraal opgenomen in het Format documentenonderzoek dat te vinden is in de DLWO van K&A. Indien een opleiding het panel een aanvullende opdracht geeft, kan het nodig zijn naast het HvA beoordelingskader een aanvullend kader met eigen criteria af te spreken. Zie voor een toelichting en voorbeelden het hoofdstuk Generiek en specifiek deel. 4. Doel en functie van de audit Er zijn vele definities van wat een audit inhoudt. De HvA hanteert de volgende definitie: Een audit is een systematisch onderzoek door een team van onafhankelijke deskundigen (het panel). Dit team stelt het kwaliteitsniveau van een opleiding vast. Dat doet zij aan de hand van het toetsingskader bestaande opleidingen van de NVAO en de door de HvA en opleiding geformuleerde kwaliteitseisen op specifieke aandachtspunten. Wat wordt er in de audit getoetst? - (Basis)kwaliteit van de opleiding - Accrediteerbaarheid van de opleiding - Naleving van (toets)beleid HvA Op basis van bevindingen en overwegingen geeft het panel uiteindelijk in een rapportage haar oordeel over de kwaliteit van de opleiding. Waar mogelijk geeft zij bovendien aanbevelingen om de kwaliteit van de opleiding op accreditatieniveau te brengen dan wel te houden of om de opleiding te helpen van een voldoende beoordeling een goed of excellent te maken. 5. De onderdelen van de audit De audit bestaat uit vier onderdelen: 1. voorbereidingsfase 2. documentenonderzoek 3. bezoekdag 4. oordeelsvorming en rapportage We bespreken deze onderdelen in de volgende paragrafen. 10

5.1 Voorbereidingsfase Conform de kwaliteitszorg systematiek van de HvA wordt drie jaar na de accreditatie de audit uitgevoerd. De planning voor alle audits staat op de DLWO van K&A. In het studiejaar voorafgaand aan de audit neemt K&A in maart/april contact op met het opleidingsmanagement over de komende audit. Deze notitie wordt dan meegestuurd. Ook wordt gevraagd wat het meest geschikte moment is voor de audit. In mei/juni wordt de opleidingsmanager door de beoogd secretaris een beleidsmedewerker K&A - nader geïnformeerd over de planning. Na het vaststellen van de periode van de audit volgt een intake gesprek tussen de opleidingsmanager(s) 5 van een opleiding en de secretaris. Gesprekspunten zijn: het doel van de audit; het beoordelingskader HvA: het beperkte beoordelingskader NVAO geoperationaliseerd door de HvA; mogelijkheid om specifieke aandachtspunten of onderwerpen voor onderzoek in de audit op te nemen; vertrekpunt van de audit nl. de laatste beoordeling accreditatie; de stappen in het traject: vastleggen van afspraken tussen opleidingsmanager(s) en secretaris panel, verzamelen documenten, documentenonderzoek, bezoekdag en eindrapportage; de (beperkte hoeveelheid) documenten die aan het panel ter beschikking worden gesteld (vooraf en ter inzage tijdens de audit); het kritisch reflectiedocument dat aan het panel ter beschikking wordt gesteld; toelichten van de status van het documentenonderzoek en de rapportage van het panel; de kosten van de audit die voor rekening van de opleiding komen van de voorzitter, werkvelddeskundige en eventueel aanvullende deskundige(n); de samenstelling van het panel: a. generiek: onafhankelijke voorzitter met audit deskundigheid, onafhankelijke deskundige onderwijs- en veranderingsprocessen en een werkvelddeskundige 6 (laatste is een door de opleiding aan te leveren externe); b. specifieke deel en/of maatwerk: inzet extra deskundige in overleg met opleidingsmanager; invulling programma bezoekdag (globaal), denk aan: gesprekken met management, docenten, examen- en toetscommissie, lector, studenten, alumni en werkveld; betekenis van de conclusies en aanbevelingen uit de audit voor de opleiding. De secretaris maakt afspraken met de opleidingsmanager, legt deze vast (zie bijlage 5) en stuurt ze ter bevestiging aan de opleidingsmanager met een cc aan de domeinvoorziter. 5 Vanwege de verschillende werkwijzen in de domeinen kunnen de functies waarmee de secretaris het intake gesprek voert en afspraken over de audit maakt, variëren per domein. 6 Uit evaluaties blijkt dat het van groot belang is dat de werkvelddeskundige vroegtijdig wordt betrokken bij de uitvoering van de audit. Last-minute deelname aan het panel werkt contraproductief. 11

Over de volgende punten worden afspraken gemaakt. algemene gegevens - opdrachtgever (domeinvoorzitter) - proceseigenaar (opleidingsmanager) - samenstelling panel planning interne audit - datum aanlevering documenten door de opleiding - data uitvoering documentenonderzoek - datum aanlevering conceptversie documentenonderzoek ter correctie feitelijke onjuistheden en datum om deze door te spreken - voorkeursdata bezoekdag panel - datum aanlevering contactgegevens werkvelddeskundige - datum oplevering rapportage aandachtspunten en/of extra opdrachten bij de interne audit - die binnen het reguliere HvA beoordelingskader worden opgenomen - die een specifieke uitwerking van beoordelingskader en vormgeving audit vereisen naast de basis audit de betekenis die de (uitkomsten van de) audit heeft voor de opleiding afspraken over uitgangspunten en doelstelling audit, te hanteren beoordelingskader, eindrapportage en randvoorwaarden voor zover niet standaard. 5.2 Documentenonderzoek Doel documentenonderzoek Het documentenonderzoek heeft een tweeledig doel: a. een middel om zicht te krijgen op de papieren werkelijkheid van de opleiding, dat pas waarde krijgt als het getoetst is in de gesprekken (bezoekdag) met de opleiding; b. een check van relevante documenten, waarbij als ijkpunt de lijst van de NVAO met vereiste documenten ten behoeve van de accreditatieaanvraag als uitgangspunt wordt gebruikt. Toelichting bij a) Bij het documentenonderzoek is het beoordelingskader HvA de leidraad (zie toelichting hoofdstuk 3). Bij de drie standaarden zijn deelvragen geformuleerd die het mogelijk maken om het documentenonderzoek slagvaardig te kunnen uitvoeren. Deze vragen zijn opgenomen in de losse bijlage Format documentenonderzoek. Toelichting bij b) Het verminderen van de administratieve lastendruk is een serieuze doelstelling van de herziene auditsystematiek. Opleidingen worden uitgenodigd om een beperkt aantal documenten aan te reiken, dat zicht geeft op de opleidingskwaliteit. In bijlage 1 is een lijst met referentiemateriaal opgenomen. 12

Kritisch reflectiedocument In een accreditatietraject schrijft de opleiding een kritische reflectie. Dat reflectiedocument is zoals de NVAO het stelt een handvat om docenten en peers te laten spreken over de inhoud van de opleiding. Het gaat daarbij niet alleen over de in het verleden behaalde resultaten, maar ook over de ambities van de opleiding. Wat zijn de keuzes voor de toekomst, waar wil de opleiding heen? Analoog aan de accreditatiesystematiek schrijft de opleiding ter voorbereiding van de audit een kritische reflectie. Dit maakt echter nog niet overal deel uit van de kwaliteitszorgsystematiek van het domein en/of de opleiding. Vandaar dat K&A minimaal verwacht dat de opleiding een beknopte beschrijving van en reflectie op de stand van zaken en het toekomstperspectief levert (bijv. in de vorm van prioriteiten of in de vorm van een sterkte/zwakte-analyse). Dit op basis van geformuleerde ambities, afspraken en recente resultaten en activiteiten. Dit biedt het panel de mogelijkheid om de uit documenten en gesprekken verworven informatie te plaatsen in de context van waar de opleiding vandaan komt, waar ze nu staat en waar ze naar toe wil. In de inleiding van deze notitie staat aangekondigd dat naar verwachting september 2013 de evaluatie van het accreditatiestelsel is afgerond. Op korte termijn zendt OCW een aantal rapporten naar de Tweede Kamer die betrekking hebben op de evaluatie van (aspecten van) het accreditatiestelsel. O.a. aan de orde komt de administratieve lastendruk die het gevolg is van de huidige gang van zaken rond de accreditatie. Vooruitlopend op de uitkomsten van de evaluaties zijn ontwikkelingen gaande om die administratieve lastendruk te beperken, bijv. het onderzoeken van alternatieven voor de kritische reflectie. Zelf wil K&A ook bijdragen aan het verminderen van de lastendruk voor een opleiding waar een audit wordt uitgevoerd. K&A volgt de ontwikkelingen en evaluaties nauwgezet en zal hier op anticiperen. Format documentenonderzoek Ten behoeve van het documentenonderzoek heeft K&A de hoofdvragen van het beoordelingskader van de HvA uitgewerkt in een set deelvragen die de secretaris gebruikt als middel om het panel vooraf aan de panelgesprekken een helder beeld te geven van de opleiding. Om de juiste betekenis te kunnen geven aan de informatie uit het documentenonderzoek, stelt het panel tijdens de bezoekdag(en) vragen aan delegaties van studenten en medewerkers, alumni en werkgevers. Het panel gaat daarbij uit van maatwerk. Omdat het panel aansluiting zoekt bij het eigen opleidingsverhaal, gebruikt het panel geen gestandaardiseerde vragenlijst. Het format voor het documentenonderzoek is om die reden niet geschikt als checklist voor opleidingen. Bevindingen documentenonderzoek Het documentenonderzoek wordt afgerond met een terugkoppeling van de bevindingen aan de opleidingsmanager. Deze worden als volgt samengevat: Groen betekent Rood betekent Oranje betekent : gedocumenteerd : niet gedocumenteerd : onvolledig gedocumenteerd De consistentie van de inhoud van de documenten is een belangrijk punt. Indien er sprake is van inconsistentie tussen de verschillende documenten zal de secretaris dit onder de rubriek 13

signaal in de uitkomst van het documentenonderzoek aangeven en kort benoemen waar de inconsistentie uit bestaat. Hulpmiddel beoordeling gerealiseerde niveau Naast de deelvragen voor het kunnen uitvoeren van het documentenonderzoek, hanteert het panel tevens een hulpmiddel (zie bijlage 4) om het gerealiseerde niveau te beoordelen op basis van een selectie van afstudeerwerken van de opleiding. Dit hulpmiddel is gebaseerd op het toetsingskader van de NVAO onderzoekscommissie t.b.v. het inspectieonderzoek, versie 2.0 d.d. 22 december 2010. 7 5.3 Bezoekdag Op de bezoekdag voert het panel gesprekken met het management, leden van de examencommissie en toetscommissie, lector en kenniskring en vertegenwoordigingen van docenten, studenten, alumni en werkveld. Belangrijk is dat deze representatief zijn samengesteld. Het panel toetst in de panelgesprekken of de opleiding voldoet aan de drie standaarden van het beoordelingskader van de HvA. Het accent ligt op de verificatie van de bevindingen uit het documentenonderzoek. Het panel gaat na of aantoonbaar is dat de betrokkenen consistent en in samenhang handelen. Aan het eind van de bezoekdag presenteert het panel de belangrijkste bevindingen mondeling aan het management en andere belangstellenden. Een beoordeling spreekt het panel uit in haar eindrapportage. De auditoren krijgen ter voorbereiding op de panelgesprekken tenminste de kritische reflectie, het documentenonderzoek, afstudeerwerkstukken en afstudeerhandleiding, het leer- of opleidingsplan en de studiegids van de opleiding. Zij bestuderen deze documenten individueel. Het panellid dat deskundig is op het gebied van hoger onderwijs en kwaliteitszorg stelt samen met de secretaris een lijst met gesprekspunten/vragen op. Deze lijst wordt een week voor de bezoekdag aan de collega auditoren toegestuurd. Zij formuleren aanvullend hierop vragen. Deze inspanning vooraf bevordert een vlotte voortgang zowel tijdens als na de audit. Het programma voor de bezoekdag wordt in overleg met de opleiders opgesteld. Doorgaans is één dag voldoende voor het voeren van de panelgesprekken. Bij opleidingen met een veelheid aan varianten en/of locaties, kunnen twee bezoekdagen worden ingepland. De secretaris draagt er zorg voor dat de opleiding uiterlijk twee weken voor de bezoekdag beschikt over het definitieve programma. Zie voor een voorbeeldprogramma bijlage 2. De leden van het panel worden op de bezoekdag ontvangen door het opleidingsmanagement. De gehele dag is een contactpersoon bereikbaar voor vragen e.d. Dit kunnen vragen zijn van zowel inhoudelijke als organisatorische aard, bijv. inzage in aanvullende documentatie of zaken die anders lopen dan verwacht en ter plekke opgelost moeten worden. In het programma is tijd gereserveerd voor de pending issues. Het panel kan tijdens dit programmaonderdeel vragen stellen die nog niet beantwoord zijn of op onderdelen zaken verifiëren voordat zij tot haar bevindingen komt. Het is daartoe nodig dat van iedere 7 Evaluatiebureaus als Hobeon, NQA en AeQui verwerken zelf regelmatig hun interpretatie van het NVAO toetsingskader voor zowel bachelor- als masteropleidingen in eigen notities. 14

vertegenwoordiging tenminste één gespreksdeelnemer op dat tijdstip beschikbaar is. Het panel laat via de contactpersoon weten wie zij nog wil spreken. Voorbereiding van de bezoekdag door de opleiding Nadat de opdracht voor de interne audit is bekrachtigd, stelt de opleidingsmanager de medewerkers en studenten in de opleiding (bijv. via de OC) op de hoogte van doel, inhoud en werkwijze bij de interne audit. Hierbij kan gebruik worden gemaakt van een door K&A aan te reiken presentatie met actuele informatie over audit- en accreditatie van opleidingen. Uiterlijk één week voor het bezoek geeft de secretaris van het panel aan welke documenten het panel ter plaatse wil inzien. Dit zijn in ieder geval een aantal stageverslagen en toetsopgaven met uitwerkingen van studenten, inclusief beoordelingscriteria en beoordelingen. Uiterlijk twee weken voor het bezoek geeft de opleiding aan de secretaris door in welke ruimte de audit plaats vindt. Het panel heeft een voorkeur voor één ruimte voor de gehele dag (incl. lunch). De opleiding stelt representatieve vertegenwoordigingen samen. Docenten met verschillende rollen en vakdomeinen, van verschillende leeftijden, recent en langdurig in dienst. Studenten bij voorkeur uit elk leerjaar twee waarbij alle varianten, afstudeerrichtingen en de OC vertegenwoordigd zijn. Indien nodig kunnen studenten ook in meerdere (parallelle) groepen geplaatst worden. De opleiding verzorgt naambordjes voor de gespreksdeelnemers en auditoren. Bij docenten de naam, vakdomein (leerlijn), specifieke taken (bijv. lid examencommissie, coördinator stage, lid kenniskring, etc.) vermelden. Bij studenten de variant (bijv. duaal of voltijd), studiejaar, studiefase vermelden en indien onderwijs in het buitenland is gevolgd dit ook vermelden. Een overzicht van gespreksdeelnemers is bij aanvang van de bezoekdag aanwezig. De opleiding reserveert parkeerplaatsen voor de panelleden en zorgt voor koffie, thee en lunch voor het panel. 5.4 Rapportage In de auditrapportage wordt aangegeven hoe het kwaliteitsniveau op het moment van afname zich verhoudt tot het accreditatieniveau. De audit is een momentopname (foto) in het proces van kwaliteitsverbetering. Het auditrapport geeft inzicht in de stand van zaken en biedt aanbevelingen om de kwaliteit van de opleiding op accreditatieniveau te brengen dan wel te houden of om de opleiding te helpen bij de transitie naar een goed of een excellent (film). Het rapport wordt besproken met het opleidingsmanagement op feitelijke onjuistheden en wordt indien nodig gecorrigeerd. Vervolgens wordt het definitieve rapport aangeboden aan het opleidingsmanagement en aan de gedelegeerde opdrachtgever, de domeinvoorzitter. De laatste deelt de inhoud van het rapport met het College van Bestuur in de persoon van de rector HvA. In het hoofdstuk Resultaat van de audit wordt verder op de rapportage ingegaan. 15

6. Processtappen audit Voor een goede doorloop van het proces is het essentieel dat de betrokkenen secretaris, panelleden en opleidingsmanagement zich aan afspraken en deadlines houden. Het is belangrijk dat vooraf het opleidingsmanagement met de aangewezen werkvelddeskundige(n) afspraken maakt over de te verrichten inspanning en de honorering daarvan. In het schema op de volgende pagina is een voorbeeld van een globale planning van een audittraject opgenomen. Hierbij wordt uitgegaan van een traject van 16 weken, van het eerste intakegesprek tussen secretaris en opleidingsmanagement tot en met het versturen van het auditrapport aan de domeinvoorzitter. Actie Wie Wanneer Intakegesprek Secretaris K&A + T-12 weken Opleidingsmanagement Bevestiging afspraken intake in brief aan Secretaris K&A T-10 opleidingsmanagement (cc domeinvoorzitter) Aanleveren reflectie + documenten (zie bijlage 1) Opleidingsmanagement T-8 1 e concept programma Secretaris K&A + T-4 Opleidingsmanagement Vaststellen samenstelling panel Secretaris K&A + T-4 Opleidingsmanagement Naam doorgeven Opleidingsmanagement T-3 werkvelddeskundige/vakdeskundige(n) voor panel Concept documentenonderzoek Secretaris K&A T-3 Feedback op concept documentenonderzoek Opleidingsmanagement T-2 Definitief documentenonderzoek Secretaris K&A T-2 Toezenden documentenonderzoek en Secretaris K&A T-2 documentatie naar panel Definitief programma bezoekdag Secretaris K&A T-2 Bezoekdag audit Opleiding en panel T Concept rapport audit naar panel Secretaris K&A T+2 Feedback op rapport naar secretaris Panel T+3 Concept rapport audit naar opleiding Secretaris K&A T+3 Feedback feitelijke onjuistheden rapport audit Opleidingsmanagement T+4 Definitief rapport audit Secretaris K&A T+4 16

7. Van basiskwaliteit naar verbeteren van kwaliteit De afgelopen zes jaar hebben de opleidingen van de HvA bewezen dat zij tenminste voldoen aan de basiskwaliteit. Dit geeft het panel nu de mogelijkheid naar meer te kijken dan alleen basiskwaliteit. In lijn met de opleidingsaccreditatie ligt in de audit de aandacht bij de essentie van het onderwijs: (verbetering van) de inhoudelijke kwaliteit. Vertrekpunt van de audit is de meest recente beoordelingsrapportage van het visitatiepanel ten behoeve van de accreditatieaanvraag van de opleiding en het daarop volgende accreditatiebesluit van de NVAO inclusief eventuele side letter. De HvA auditsystematiek biedt ruimte om aandachtspunten van de opleiding mee te nemen en garandeert dat de verbeterpotentie van de opleiding en de effectiviteit van de (ingezette) verbetermaatregelen worden getoetst. Ten behoeve van het documentenonderzoek schrijft de opleiding een beknopte, heldere beschrijving van en reflectie op het eigen toekomstperspectief. Dit geeft het panel meer houvast om te discussiëren over de koers van de opleiding en de ontwikkelingen in de beroepspraktijk en geeft het panel gelegenheid met docenten te reflecteren op de keuzes die de opleiding maakt in vergelijking met haar (inter)nationale collega-opleidingen. Bovendien biedt het schrijven van de kritische reflectie de opleiding een goed moment om samen met alle betrokkenen kritisch naar de sterke en zwakke plekken van de opleiding te kijken en gezamenlijk een verbeterplan op te stellen om de zwakke plekken te versterken. De kritische reflectie heeft daarom een belangrijke plek in de kwaliteitscultuur. De audit besteedt zowel aandacht aan compliance and accountability 8 (kwaliteit is het voldoen aan minimale normen en standaarden) als aan enhancement and improvement (kwaliteit is het versterken en verbeteren). De beoordeling per standaard heeft als doel de opleiding enerzijds zicht te geven op de vraag of het kwaliteitskeurmerk accreditatie wordt geconsolideerd en anderzijds zicht te geven op de verbeterpunten en prioriteiten als handvatten bij het nemen van verbetermaatregelen. Rol opleidingsmanagement Waar in de oude auditsystematiek de opleiding de audit min of meer onderging, wordt nu uitgegaan van een actieve rol in het proces. Om zo goed mogelijk aan te sluiten bij de behoeften van de opleiding, is de inbreng van het opleidingsmanagement essentieel. Het opleidingsmanagement geeft in de voorbereiding van de audit aan waar bijvoorbeeld dilemma s, vragen en sterktes en zwaktes zitten en denkt mee over hoe deze beantwoord, bevestigd of weggenomen kunnen worden. Dit vormt de basis voor opdracht, aanvullend kader en criteria. Bovendien zorgen duidelijke afspraken vooraf voor draagvlak voor de bevindingen van het panel. Draagvlak betekent ook dat de opleiding zich de maat laat nemen door vakgenoten van wie zij kritiek wil accepteren. Het panel dient dan ook een of meer vakgenoten, ook wel peers, te bevatten. Het is raadzaam eerst een profiel op te stellen. De opleiding kan haar netwerk inzetten om geschikte panelleden te vinden: welke vak-/domeindeskundigen hebben een helder en breed zicht op (ontwikkelingen in) de beroepspraktijk, welke peers zitten op één 8 Ontleend aan Kleijnen, J. (2012), Internal quality management and organisational values in higher education. 17

lijn met de opleiding en welke hebben juist (prikkelende) andere ideeën. Om antwoorden te krijgen op zelf ingebrachte aandachtspunten, kan het nodig zijn om naast een werkvelddeskundige nog aanvullende auditoren toe te voegen aan het team. 8. Resultaten van de audit De opleiding ontvangt een rapport ingedeeld naar de drie standaarden. Het rapport bevat een managementsamenvatting en per standaard de belangrijkste bevindingen en overwegingen die tot het oordeel van het panel hebben geleid. Waar goede of excellente praktijken worden geconstateerd, zal daarvan expliciet melding worden gemaakt in het auditrapport. Waar mogelijk zijn concrete verbeteradviezen opgenomen om de kwaliteit van de opleiding verder te verhogen. De door de opleiding geformuleerde specifieke aandachtspunten zullen meegenomen worden bij het oordeel op de drie standaarden. Indien zij niet binnen het standaard kader vallen, geeft het panel in een apart hoofdstuk van het rapport haar adviezen op de specifieke aandachtspunten. De wijze van rapportage wordt vooraf met het opleidingsmanagement besproken. In de auditrapportage wordt per standaard een oordeel uitgesproken in de termen voldoende en onvoldoende. Het oordeel wordt gemotiveerd door een weging van de positieve en kritische elementen uit de bevindingen van het panel. Voldoende staat voor: de opleiding is erin geslaagd te voldoen aan de actuele kwaliteitseisen, waardoor het aannemelijk is dat, zonder specifieke verbetermaatregelen, bij de eerstvolgende accreditatie opnieuw het keurmerk kan worden verworven. Onvoldoende staat voor: de opleiding is er niet in geslaagd aan de (veranderende) eisen van de buitenwereld te voldoen en het eerder verworven keurmerk te consolideren. Specifieke verbetermaatregelen zijn noodzakelijk om bij de eerstvolgende accreditatie opnieuw het keurmerk te kunnen verwerven. Vervolgens formuleert het panel op basis van de beoordelingen van de standaarden een algemeen, gewogen en gemotiveerd totaaloordeel over de opleiding. Hiervoor worden de beslisregels eindbeoordeling beperkte opleidingsbeoordeling van de NVAO gebruikt. Het eindoordeel over een opleiding is in elk geval onvoldoende indien standaard 1 of 3 als onvoldoende beoordeeld wordt 9. Omdat een audit aantoont of een opleiding het keurmerk al dan niet heeft kunnen consolideren, wil het College van Bestuur graag snel op de hoogte worden gesteld van de uitkomsten. Volgens de systematiek van de HvA biedt het panel het rapport aan de domeinvoorzitter aan, in de aanname dat die de inhoud op korte termijn met het College deelt. 9 Ter informatie: een onvoldoende voor standaard 1 kan niet leiden tot het toekennen van een herstelperiode door de NVAO. 18

In aansluiting op het oordeel en de bevindingen en adviezen van het panel, stelt de opleiding een verbeterplan op dat is gericht op het (alsnog) consolideren van de basiskwaliteit en het verbeteren van de opleidingskwaliteit. De domeinvoorzitter deelt dit verbeterplan evenals de inhoud van het auditrapport met het College. De resultaten van audit- en accreditatie worden sinds kalenderjaar 2012 op verzoek van het College van Bestuur in kwartaalrapportages van K&A aangereikt. Deze rapportages hebben een signalerende functie. Betekenisgeving in de zin van het bespreken van de consequenties voor de verbeteragenda van de opleiding vindt plaats in werkoverleggen van rector en domeinvoorzitter. Domeinvoorzitters ontvingen tot dusver alleen de kwartaalrapportages van opleidingen in het eigen domein. Per studiejaar 2013/2014 ontvangen zij ook die van de andere domeinen en kunnen voor het leereffect de verbeterplannen uitgewisseld worden. Geordend per domein, wordt op opleidingsniveau melding gemaakt van: sterke punten belangrijkste aanbevelingen aandachtspunten bijzonderheden accreditatievervaldatum visitatiedatum status risico Het risico wordt aangeduid als: volgens norm/planning/verwachting niet volgens norm/planning/verwachting, mogelijk bijsturen niet volgens norm/planning/verwachting, ingrijpen nodig De audituitkomsten worden tevens ingebracht bij de Raad van Toezicht en bij de voorbereidingen van de Periodiek Bestuurlijke Overleggen (PBO). Dat biedt de mogelijkheid om in het PBO nader in te gaan op eventuele risico s als gevolg van het niet (meer) consolideren van de basiskwaliteit (compliance and accountability) als op de wijze waarop de opleidingskwaliteit kan worden versterkt en verbeterd (enhancement and improvement). In het PBO wordt de realisatie van de maatregelen uit het opgestelde verbeterplan besproken. K&A gaat een jaarlijkse meta-evaluatie uitvoeren, voor de eerste maal aan het eind van het studiejaar 2013-2014 (mei 2014) om het College van Bestuur inzicht te geven in de stand van het onderwijs aan de HvA. Mede op basis van resultaten van audits en accreditaties en een vergelijking met andere bronnen over onderwijskwaliteit wordt ingegaan op trends en patronen. Het College is voornemens de uitkomsten van dit nieuwe instrument onder meer te bespreken in de Centrale Medezeggenschap Raad. 19

9. Betekenis voor de opleiding Voorbereiding De audit vraagt van de medewerkers van een opleiding en het opleidingsmanagement in het bijzonder een aantal inspanningen. Ten eerste het formuleren van ambities, dilemma s en vragen ten behoeve van de audit. Ten tweede het invullen van opdracht, kader, criteria en panel. Ten derde het nadenken over en leveren van de juiste documentatie waaronder een kritische reflectie op het toekomstperspectief (zie paragraaf 5.2 voor een toelichting). Tenslotte het organiseren van de bezoekdag waarbij representatieve vertegenwoordigingen van de verschillende belanghebbenden een gesprek zullen voeren met het panel. Effect De managementsamenvatting in het rapport bevat de sterke punten van de opleiding en een aantal aanbevelingen. De opleiding kan de aanbevelingen gebruiken om zaken nog eens nader te onderzoeken, te veranderen of te verbeteren. De opleiding maakt nadrukkelijk zelf keuzes naar aanleiding van het rapport. Vanwege het moment van de audit heeft de opleiding nog voldoende tijd om prioriteiten te stellen en aanbevelingen om te zetten in concrete verbeteractiviteiten voordat het accreditatietraject start. Leden van het panel zijn bereid hierbij te adviseren. Visitatiepanels vragen opleidingen de resultaten van de interne audit mee te nemen in de kritische zelfreflectie en op de ingezette verbetermaatregelen te reflecteren. Uiteraard is het niet verplicht het auditrapport integraal aan te leveren. De opleiding kan daar zelf keuzes in maken en focussen op de stappen die zij na de laatste audit heeft gemaakt. 10. Generiek en specifiek deel Een audit vraagt altijd om maatwerk. Standaard is er een generiek deel. Aanvullend kan er sprake zijn van een specifiek deel. Het specifieke deel kan binnen of buiten het beoordelingskader audit vallen. Bij iedere audit onderzoekt het panel altijd of de opleiding voldoet aan de basiskwaliteit 10. Dit is het generieke deel van een audit. Het beoordelingskader HvA is hierbij het referentiekader. De interne auditsystematiek van de HvA biedt het opleidingsmanagement ruimte om eigen aandachtspunten en/of een aanvullende opdracht aan het panel mee te geven. Specifieke aandachtspunten kunnen om een focus vragen op bepaalde aspecten die vallen binnen het algemene beoordelingskader dat voor de audit wordt gehanteerd (zie voorbeeld 1). Het is ook mogelijk dat de specifieke aandachtspunten vragen om een aanvullende opdracht. Het gaat dan om aspecten die vallen buiten het algemene beoordelingskader dat voor de audit wordt gehanteerd (zie voorbeeld 2). In overleg tussen secretaris en opleidingsmanager wordt separaat van de afspraken met betrekking tot de audit een opdrachtvraag geformuleerd en worden kader, criteria, panelsamenstelling en manier van rapporteren besproken. 10 Basiskwaliteit: de kwaliteit die in internationaal perspectief redelijkerwijs verwacht mag worden van een bachelor- of masteropleiding binnen het hoger onderwijs (NVAO, Beoordelingskaders accreditatiestelsel hoger onderwijs, 22 november 2011) 20

Voorbeeld 1 De opleidingsmanager van opleiding X heeft het panel specifiek verzocht extra focus te leggen op de plannen voor het nieuwe curriculum en de daarmee samenhangende onderzoekscomponent binnen het programma te beoordelen. De opleiding X wil graag zicht krijgen op visies, beelden e.d. die betrokkenen hebben over het nieuwe curriculum dat per september 2012 wordt ingevoerd. De afspraak is dat het panel, waar mogelijk, ook uitspraken doet over weeffouten in het nieuwe curriculum. Deze onderwerpen passen binnen het beoordelingskader beperkte opleidingsbeoordeling van de NVAO. In het documentenonderzoek en in de gesprekken tijdens de auditdag zijn deze onderwerpen expliciet aan de orde gesteld. De bevindingen en aanbevelingen zijn in de rapportage onder de drie standaarden opgenomen. Voorbeeld 2 Er moet sprake zijn van een afwijkend beoordelingskader, waardoor een afwijkende rapportage plaats zal vinden. Het beoordelingskader moet zelf ontwikkeld worden. De domeinvoorzitter heeft K&A verzocht bij de interne audits die staan gepland onderzoek uit te voeren naar de tevredenheid van de verschillende gebruikers en toereikendheid van de voorzieningen (facilitaire dienstverlening, huisvesting en informatievoorzieningen) in relatie tot de doelstellingen van de opleiding (inclusief mediatheek, computervoorzieningen, practicumlokalen, e-learningfaciliteiten, etc.). Het onderzoek moet gezien worden als een nulmeting en is input voor het vaststellen/herijken van opleidingsspecifieke doelstellingen, kwaliteitseisen en inrichting van de bedrijfsprocessen. 11. Samenstelling panel De audit wordt uitgevoerd door het panel. Dit panel bestaat in principe uit vier leden: de voorzitter, de secretaris, deskundige hoger onderwijs en een werkvelddeskundige. De panelleden verbinden zich aan de gedragscode (zie bijlage 3). Afhankelijk van de specifieke aandachtspunten en/of aanvullende opdracht kan de opleiding besluiten panelleden met specifieke expertise toe te voegen aan het panel. De voorzitter is een externe gekwalificeerde senior auditor. Een beleidsmedewerker van K&A fungeert als documentonderzoeker en secretaris. Deze is deskundig op het gebied van kwaliteitszorg binnen het hbo en heeft veel ervaring als rapporteur en adviseur. De deskundige hoger onderwijs heeft expertise op het gebied van onderwijsontwikkeling en uitvoering, leerplanontwikkeling, didactische vormgeving, toetsing etc. Hij kent het beleid dat de HvA hierin voert. De werkvelddeskundige heeft een ruime kennis van het betreffende beroepenveld, de arbeidsmarkt en de ontwikkelingen daarbinnen. De opleidingsmanager draagt de werkveldvertegenwoordiger voor. 21