De Haagse Hogeschool een kennisinstelling voor Beroepsgericht Hoger Onderwijs Centrum voor Lectoraten en onderzoek Kwaliteitszorg voor onderzoek
De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs Kwaliteitszorg voor onderzoek Centrum voor Lectoraten en Onderzoek Mevr. M.S. de Jong, Msc Mevr. Mr. drs. C.M.A. van der Meule Vastgesteld in het College van Bestuur d.d. 7 juli 2009
Inhoud Inleiding 5 1. Kwaliteitszorg voor onderzoek 7 1.1 Wat is kwaliteitszorg en wat is het belang ervan? 7 1.2 Nationale ontwikkelingen 7 1.3 Het interne proces tot nu toe 7 1.4 Kaders en criteria voor de kwaliteitszorg 8 2. Het kwaliteitszorgsysteem 9 2.1 De jaarlijkse monitoring 9 2.1.1 Het model 9 2.1.2 Het proces 10 2.2 Externe onafhankelijke evaluatie van de onderzoekeenheden 11 2.3 Externe validatie van de kwaliteitszorg voor onderzoek 12 3. Organisatie 13 3.1 Organisatie van de kwaliteitszorg 13 3.1.1 Dossiers 13 3.2 Randvoorwaarden en verantwoordelijkheden 13 3.3 Samenhang met de kwaliteitszorgsystematiek onderwijs 14 4. Tot slot 15 Faciliteiten / Standaardformulieren 17 Handreiking externe evaluatie onderzoekseenheden 19 Handreiking Zelfevaluatierapportage 25 Studentenevaluatie Module 31 Congres / Symposium Evaluatie 35 Voorbeeld Afspraken over inzet kenniskringlid 37 Formulier Personele gegevens kenniskringlid 38 Format product registratie 39 2 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
Kwaliteitszorg voor onderzoek De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 3
4 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
Inleiding Zowel in HOP 7 (HHS, 2009) als - nader uitgewerkt - in de Strategienota Onderzoek en Lectoraten (Van der Meule, 2009) wordt het belang voor de hogeschool aangegeven van de ontwikkeling van de kennis- en onderzoeksfunctie. De hogeschool ontwikkelt zich tot een complete kennisinstelling voor Beroepsgericht Hoger Onderwijs. Onderzoek zal hieraan een belangrijke bijdrage leveren. Aandachtspunt bij de ontwikkeling van de kennis- en onderzoeksfunctie van de hogeschool is de kwaliteit. Door zelf hoge eisen te stellen aan de kwaliteit van het onderzoek zullen hogescholen er hopelijk in slagen hun ambities waar te maken en zullen ze de erkenning krijgen als kennisinstelling voor Beroepsgericht Hoger Onderwijs (Van der Meule, 2009). Vanuit deze wetenschap is zowel landelijk als binnen de hogeschool een proces gestart, gericht op de ontwikkeling van een kwaliteitszorgsysteem voor onderzoek en lectoraten dat vanaf 1 januari 2009 operationeel moet zijn (HBO-raad, 2007). De kwaliteitszorg voor onderzoek zal een plaats moeten krijgen binnen het kwaliteitszorgsysteem van de hogeschool op een zodanige wijze dat tevens voldaan wordt aan de landelijke eisen. In onderliggende nota wordt als eerste het belang van kwaliteitszorg voor onderzoek beschreven. Hierbij wordt tevens ingegaan op nationale ontwikkelingen en de interne vertaling hiervan. Vervolgens wordt ingegaan op het kwaliteitszorgsysteem. Vooralsnog is de basis van kwaliteitsborging van het onderzoek een, in de periode juni 2007-juni 2008, door een aantal lectoren ontwikkeld model voor jaarlijkse monitoring van hun activiteiten. Vanaf 2009 werken alle lectoraten met dit model. Daarnaast worden de lectoraten minimaal eens per zes jaar geëvalueerd door een externe onafhankelijke evaluatie commissie en wordt het kwaliteitszorgsysteem eens in de zes jaar geëvalueerd door een landelijke validatiecommissie. Tot slot worden de organisatorische inbedding en de daarbij behorende randvoorwaarden en verantwoordelijkheden geschetst. De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 5
6 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
1. Kwaliteitszorg voor onderzoek 1.1 Wat is kwaliteitszorg en wat is het belang ervan? Om als hogeschool uit te kunnen groeien tot een erkende kennisinstelling voor Beroepsgericht Hoger Onderwijs (Van der Meule, 2009) is het noodzakelijk om de kennis- en onderzoeksfunctie verder te ontwikkelen en er daarbij zorg voor te dragen dat ons onderzoek van kwalitatief hoog niveau is en blijft. Academies en haar medewerkers, het beroepenveld, studenten en de overheid verwachten aantoonbare kwaliteit. Een systeem van verifieerbare en formele kwaliteitsborging van onderzoek is daarom noodzakelijk. Kwaliteitszorg voor onderzoek is een cyclisch systeem van continue zorg en aandacht voor de kwaliteit van het onderzoek (HHS, 2008a). Kwaliteitszorg kent meerdere functies, die vaak gelijktijdig aan de orde kunnen zijn. De belangrijkste functies zijn (HBO-raad, 2007): Borging en verbetering Waaronder begrepen: kwaliteitsverbetering, benchmarking en zelfregulering (o.a. past het onderzoek in de missie?) (Werkgroep Toekomst Kwaliteitszorg, 1997). Voor het waarborgen en verbeteren van kwaliteit in een veranderende context is het nodig blijvend te voldoen aan de zich voortdurend ontwikkelende eisen van belanghebbenden. Transparantie Om het imago en de positie van het onderzoek te versterken is het van belang dat de kwaliteit van het onderzoek doorzichtig is. Verantwoording Gericht op erkenning van het onderzoek, op het genereren van sturingsinformatie voor de hogeschool en de branche en op de verantwoording richting de overheid en maatschappij over de besteding van publieke middelen. Kwaliteitszorg is om een aantal redenen belangrijk voor de hogeschool: Het is de ambitie van de hogeschool om uit te groeien tot een erkende kennisinstelling voor Beroepsgericht Hoger Onderwijs. Dat betekent dat de hogeschool pro-actief wil zijn en een bijdrage wil leveren aan de kennisinfrastructuur. Dit kan alleen als de kwaliteit van het onderwijs en onderzoek van voldoende hoog niveau is. Alleen op die manier krijgt de hogeschool de waardering die nodig is van internen en externen en voldoet ze aan de externe opdracht die ze heeft gekregen. Kwaliteitszorg dient tevens als sturingselement. Enerzijds om een continu proces van verbetering te realiseren en anderzijds om verantwoording af te leggen. Kwaliteitszorg op De Haagse Hogeschool wordt geïnterpreteerd als een proces waarin de professional (lector en docent/onderzoeker) en professionalisering een centrale plek krijgen. De lector en docent/onderzoeker worden daarbij aangesproken op hun eigen kwaliteitsbesef. Hierbij is het van belang dat de individuele beroepstrots van de professional samen gaat met institutionele wensen en belangen van de hogeschool. 1.2 Nationale ontwikkelingen De hogescholen hebben zich gebonden aan het Brancheprotocol Kwaliteitszorg Onderzoek (HBO-raad, 2007) waarin de basis van een landelijk kwaliteitszorgsysteem ten behoeve van onderzoek aan hogescholen gelegd wordt. Hierin zijn kaders voor een landelijk kwaliteitszorgstelsel opgenomen. Voor het kwaliteitszorgstelsel is de volgende overkoepelende missie geformuleerd: Het stelsel draagt bij aan de ontwikkeling en innovatie van de beroepspraktijk, het onderwijs en de samenleving als geheel, door middel van structurele en expliciete aandacht voor de permanente evaluatie en verbetering van de kwaliteit van het onderzoek en hierop gebaseerde kennisontwikkeling, -toepassing en circulatie. De doelstellingen van het stelsel zijn: het borgen en verbeteren van de kwaliteit van het onderzoek en de organisatie eromheen; het versterken van de positie en het imago van het praktijkgerichte onderzoek; het genereren van sturingsinformatie voor de hogeschool en de branche; de verantwoording richting overheid en maatschappij over de besteding van publieke middelen. Het landelijke kwaliteitszorgsysteem bestaat uit drie samenhangende onderdelen: 1. het kwaliteitszorgsysteem, per hogeschool, waarbinnen externe onafhankelijke evaluaties van onderzoekseenheden functioneren; 2. een landelijke validatiecommissie (VKO) die het kwaliteitszorgsysteem zesjaarlijks valideert; 3. jaarlijkse monitoring van de landelijke ontwikkeling van het praktijkgerichte onderzoek via een jaarlijkse brancherapportage. Conform afspraken met OCW zal dit stelsel vanaf januari 2009 operationeel zijn. Kwaliteit van het onderzoek wordt dan niet meer door de Stichting Kennisontwikkeling HBO (SKO) getoetst maar door een eigen kwaliteitszorgsysteem van de hogeschool (HBO-raad, 2008). Elke zes jaar zal de VKO dit kwaliteitszorgsysteem valideren. 1.3 Het interne proces tot nu toe Nationaal is er de afgelopen jaren ruime aandacht voor de kwaliteit van het onderzoek. Met het oog op de wens en de noodzaak om tot een landelijk systeem van kwaliteitsmeting voor lectoraten en onderzoek te komen is De Haagse Hogeschool in oktober 2006 een samenwerkingsverband met Fontys Hogescholen en de Hogeschool Utrecht aange- De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 7
gaan. Binnen dit samenwerkingsverband heeft De Haagse Hogeschool zich gericht op vier lijnen: 1. betekenis van de lectoraten voor het onderwijs; 2. het maatschappelijke effect van de lectoraten; 3. bijdrage van de lectoraten aan de professionalisering van het personeel; 4. verdere professionalisering van de lectoraten. Lijn 1 t/m 3 zijn in 2007 afgerond. Dit heeft onder andere geleid tot het rapport Het maatschappelijke effect van de lectoraten; kwaliteiten benutten (Van Kampen & Van Woerden, 2007) als resultaat van een quick scan door middel van kwalitatieve interviews. Deze methode is, mede door de openheid en bereidwilligheid van de gesprekspartners, een effectieve manier geweest om in een korte tijd veel en gevarieerde informatie te verkrijgen. Vervolgens is in de periode juni 2007 juni 2008 het actieonderzoek Kwaliteitsimpuls lectoraten HHS uitgevoerd. Dit onderzoek had als doel om meer zicht te krijgen op de vraag hoe de bijdrage van lectoraten aan de ontwikkeling van de hogeschool als kennisinstelling versterkt kan worden. Kenmerkend voor de aanpak van het onderzoek was dat lectoren zelf de verantwoordelijkheid namen voor reflectie op hun huidige praktijken en met voorstellen kwamen tot kwaliteitsverbetering. Het onderzoek en de resultaten zijn verder uitgewerkt in de notities Kwaliteitsimpuls lectoraten HHS verslag van een actieonderzoek (Geurts e.a., 2008) en Verbindingen Versterken; Lectoraten en academies na de pioniersfase (HHS, 2008c). Het onderzoek heeft geresulteerd in een model voor jaarlijkse monitoring dat de basis is voor het kwaliteitszorgsysteem voor onderzoek van de hogeschool. 1.4 Kaders en criteria voor de kwaliteitszorg Zowel intern als extern worden eisen gesteld aan het stelsel van kwaliteitszorg. Het landelijke kader ligt vast in het Brancheprotocol Kwaliteitszorg Onderzoek (HBO-raad, 2007). De interne eisen zijn geformuleerd op basis van het landelijke kader en het beleid van de hogeschool. Hierbij is voor het onderzoek aan De Haagse Hogeschool een drietal essentiële kenmerken van belang (Van der Meule, 2009): 1. De verbinding met de beroepspraktijk. Deze directe koppeling met de beroepspraktijk geeft het onderzoek per definitie een multidisciplinair karakter. 2. Onafhankelijkheid van het onderzoek. 3. Vaste waarden als betrouwbaarheid, geldigheid en transparantie. Deze zijn niet onderhandelbaar. bijdrage aan de vernieuwing van het onderwijs en aan het creëren van een onderzoeksinfrastructuur. Tevens wordt hierdoor een bijdrage verwacht aan de professionalisering van (docenten van) de hogeschool. Niet in de laatste plaats wordt door het onderzoek bijgedragen aan de kennisontwikkeling en innovatie in de regio en daarbuiten (Van der Meule, 2009). Deze vier doelstellingen zijn sturend in het kwaliteitszorgsysteem. Het kwaliteitszorgsysteem heeft betrekking op de lectoraten als onderzoekseenheid en op het Centrum voor Lectoraten en Onderzoek als geheel. Het is dus niet alleen gericht op de kwaliteit van het onderzoek maar ook op de organisatie daarvan. De inbedding van het onderzoek en de inbedding van het Centrum voor Lectoraten en Onderzoek in de organisatie hebben daarom ook een plaats in het kwaliteitszorgsysteem. Vooralsnog hanteren we een lectoraat als onderzoekseenheid, daarom zal in eerste instantie de evaluatie van de kwaliteit van onderzoek verricht worden per lectoraat. Op hogeschoolniveau bestaat het streven om de komende jaren de verbindingen tussen de lectoraten onderling en met de academies te versterken (Van der Meule, 2009). Het benoemen van een aantal profileringsthema s - op welke kennisgebieden wenst de hogeschool zich te profileren en een aantrekkelijke partner te zijn voor de buitenwereld - wordt gezien als een goede manier om dit te bereiken. Deze ontwikkeling zou betekenen dat er op termijn een overstap gemaakt wordt van lectoraat als onderzoekseenheid naar een cluster rondom een thema als onderzoekseenheid. Om recht te doen aan de diversiteit van de lectoraten wordt de minimale kwaliteit per lectoraat vastgesteld. De lector is verantwoordelijk voor het expliciteren van de criteria voor zijn lectoraat. Hierbij zijn de drie kenmerken en de vier doelstellingen een vast gegeven. Ook is het aan de lector om aan te geven wanneer hij tevreden is. Dit wordt samen met de criteria opgenomen in de streefsituatie waardoor de formulering van criteria ook een cyclisch proces wordt. Wanneer relevant, met name in het geval van de bijzondere lectoraten en extern gefinancierde projecten, wordt in dit kader ook de verhouding tot de subsidieverstrekker aangegeven. In de loop van de tijd is de verwachting dat uit dit proces, naast specifieke criteria per lectoraat, een aantal voor alle lectoraten geldende criteria gedestilleerd kunnen worden. Deze drie kenmerken laten onverlet dat er een grote variëteit bestaat binnen het op de hogeschool verrichte onderzoek. De lectoraten, die op dit moment voor een belangrijk deel verantwoordelijk zijn voor de ontwikkeling en positionering van onderzoek binnen de hogeschool, hebben 4 doelstellingen: Kennisontwikkeling en kennisproductie door het doen van onderzoek wordt daarbij als de meest centrale doelstelling zien. Door het doen van onderzoek leveren de lectoraten een 8 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
2. Het kwaliteitszorgsysteem Het kwaliteitszorgsysteem bestaat uit drie onderdelen: 1. jaarlijkse monitoring van de ontwikkeling en resultaten van onderzoek aan de hogeschool. 2. het kwaliteitszorgsysteem, per hogeschool, waarbinnen externe onafhankelijke evaluaties van onderzoekseenheden functioneren. 3. een landelijke validatiecommissie (VKO) die het kwaliteitszorgsysteem zesjaarlijks valideert. De onderdelen van het totale kwaliteitszorgsysteem vinden met een variërende regelmaat plaats, van eens in de zes weken tot eens in de 4-6 jaar. Het model voor de jaarlijkse monitoring vormt de basis van het kwaliteitszorgsysteem en is leidend voor het jaarplan, het jaarverslag, de voortgangsbespreking en de externe evaluatie van de onderzoekseenheden. Jaar 1 Jaar 2 Jaar 3 Jaar 4 SP JP 1 VG JV 1 JP 2 VG VG VG JV 2 JP 3 Externe evaluatie SP JP 1 JV 4 Mogelijke voortzetting voor 4 tot 6 jaar Strategisch plan = SP Jaarplan = JP Jaarverslag = JV Voortgangsgesprek = VG Figuur 1: Verloop lectoraatsperiode ihkv kwaliteitszorg 2.1 De jaarlijkse monitoring 2.1.1 Het model Zoals eerder genoemd staat in het onderhavige kwaliteitszorgsysteem de continue jaarlijkse monitoring centraal. Het vormt de basis voor de voortgangsgesprekken en, in het verlengde daarvan, voor de totstandkoming van het jaarplan en het jaarverslag, welke vanaf volgend jaar samengevoegd zullen worden tot één document. Door de cyclische en lerende werking van dit model is het verbeterbeleid in het model geïntegreerd en tevens in dit document. Het instrument geeft lectoren en de hogeschool handvatten om het functioneren van onderzoek in kaart te brengen en hierop kritisch te reflecteren. Het veronderstelt dat wanneer de start- en streefsituatie op de vier doelstellingen helder zijn gedefinieerd en er rekening is gehouden met de drie processtappen (oog voor eigenaarschap en urgentiebesef, gezamenlijke ontwikkeling van visie en ambitie en een professionele aanpak) om van de ene situatie naar de andere situatie te komen, het een gunstige bijdrage levert aan de kwaliteit en het succes van het lectoraat en daarnaast zicht geeft op de noodzakelijke condities en randvoorwaarden. De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 9
1. Startsituatie (begin jaarcyclus) Prestaties op 4 doelen Activiteiten/ Werkwijze 1. Streefsituatie (eind jaarcyclus) Prestaties op 4 doelen Onderzoek Curriculumontwikkeling 2. Oog voor eigenaarschap en urgentiebesef 4. Professionele aanpak Hoe wil je naar de streefsituatie toe werken? Welk leiderschap en welke werkwijze? 3. Gezamenlijke ontwikkeling van visie en ambitie Effect van onderzoek op: curriculum ontwikkeling professionalisering kenniscirculatie Onderzoek Curriculumontwikkeling Professionalisering Professionalisering Kenniscirculatie Kenniscirculatie 5. Condities en randvoorwaarden Figuur 2: model voor jaarlijkse monitoring 1. De prestaties met resultaatgebieden zijn te vinden aan de linker- en aan de rechterkant van het model. Het definiëren van heldere prestaties op de vier doelgebieden (onderzoek, curriculumontwikkeling, professionalisering en kenniscirculatie) wordt gezien als succesfactor 1. van het basismodel. Is helder waar men nu staat (welke prestaties worden geleverd) en waar men naartoe wil (welke toekomstige prestaties)? 2. Voorts wordt links succesfactor 2, eigenaarschap, aangegeven: wie (lectoren, academies en omgeving) stelt zich op het moment van het onderzoek op als eigenaar van de verschillende activiteiten van het lectoraat. Wanneer er hoge prioriteit aan wordt gegeven, ontstaan duwende krachten. Het gaat er hier bijv. om van wie het probleem is dat men aanpakt en of deze eigenaar (bijv. een opleiding/academie) het zelf urgent vindt dat er iets gebeurt of dat de problematiek toch meer vanuit het lectoraat zelf is bedacht. 3. Rechts wordt aangegeven welke inspirerende ambitie of concept (succesfactor 3) het lectoraat voortdrijft op de vier gebieden. Welke visie drijft, boeit en bindt de verschillende partijen? Het gaat hier om het al dan niet bestaan van een trekkende kracht in het model. Waar zit deze trekkende kracht, vooral bij het lectoraat of ook bij andere betrokkenen? 4. Tussen links en rechts bevindt zich succesfactor 4: de professionele aanpak van de kennisproductie. Hoe wil men van links naar rechts gaan? Welke (inter)acties van wie zijn nodig, met welke planning en idee van leiderschap wordt gewerkt? Kortom, het werkprogramma van het lectoraat is aan de orde. Het kan hier gaan om verschillende projecten en activiteiten. Welke zijn dominerend of bepalend voor het lectoraat? Het gaat er bij deze factor ook om of het programma vooral een zaak is van het lectoraat of van een samenspel/interactie tussen lectoraat en andere partijen (co-design en co-creatie van programma). 5. Als succesfactor 5 gelden in het model de al dan niet gunstige randvoorwaarden en condities voor het functioneren van de lectoraten. In welke context functioneert het lectoraat en welke condities hebben een bevorderende dan wel belemmerende invloed? Het gaat hier bijvoorbeeld om structuur, beleid en faciliteiten van de hogeschool die zorgen voor dwarsverbanden tussen lectoraten en opleidingen/academies. 2.1.2 Het proces In de periode juni 2007 tot juni 2008 hebben vier lectoren met deze werkwijze proefgedraaid. Resultaten en aanbevelingen van dit onderzoek zijn opgenomen in de notitie Verbindingen Versterken: lectoraten en academies na de pioniersfase (HHS, 2008c). Het model vormt sinds 2009 de basis voor het opstellen van de jaarplannen en voor de nieuwe manier van voortgangsbespreking. Vanaf 2010 zullen het jaarplan en jaarverslag geïntegreerd worden tot één document waarvoor het model ook de basis zal vormen. In deze werkwijze staan voorop: sturen op gezamenlijke visie- en ambitieontwikkeling, prestatieafspraken, reflectie van opbrengsten en hiervan leren. Hierdoor wordt een werkwijze die meer gericht is op de inhoud van werk routine, 10 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
terwijl tegelijk recht wordt gedaan aan de noodzakelijke autonomie van de lectoraten. Het is nodig dat wordt gerapporteerd over de feitelijke realisatie, dat vervolgens wordt geanalyseerd en gewaardeerd wat wel en niet goed is gelopen en dat hieruit consequenties worden getrokken ten behoeve van de kwaliteitsverbetering. Kortom: sturing van de zelfsturing, gericht op ontwikkeling en verbetering vanuit de inhoud. Voortgangsbespreking Het model is leidend voor de voortgangsbespreking tussen de lector en de algemeen directeur. Bij de start van de jaarcyclus wordt het jaarplan vastgesteld in overleg tussen lector en algemeen directeur en marginaal getoetst door het CvB. Vervolgens wordt halfjaarlijks een gesprek gevoerd over de voortgang, wat kan leiden tot aanpassing en bijstelling. Balansopname aan het eind van de cyclus wordt opgevat als de startsituatie van de nieuwe cyclus en wordt als zodanig meegenomen in het volgende jaarplan. Deze gesprekken functioneren tegelijkertijd als het planningsgesprek, het voortgangsgesprek en het beoordelingsgesprek zoals deze in de R&O cyclus van de hogeschool genoemd worden (HHS, 2008b). Deze gesprekken vallen samen met de zeswekelijkse bilateralen tussen de lector en de algemeen directeur. Door de combinatie van de voortgangsbespreking aan de hand van het model voor jaarlijkse monitoring en de gesprekken zoals ze in de R&O cyclus functioneren, richt het gesprek zich zowel op het domein / het lectoraat en de bijdrage voor de hogeschool als op de kwaliteit van de lector. Tijdens deze gesprekken wordt naast het schrijven van een verslag in het kader van de kwaliteitszorg het R&O format ingevuld. De hogeschool hanteert dit format ten behoeve van het personeelsdossier. Verbeterbeleid Door de cyclische en lerende werking van het model is het verbeterbeleid in het systeem geïntegreerd. Tijdens de voortgangsgesprekken wordt gekeken wat er wel en niet werkt, welke resultaten er behaald worden en waarom dit het geval is. Op deze manier kan de kwaliteit geborgd en verbeterd worden. Zo kunnen er afspraken gemaakt worden over verbeteracties die in het volgende jaarplan meegenomen zullen worden. Het kan hierbij zowel gaan om verbeteracties voor het lectoraat met betrekking tot het proces, de output en/of de outcome als om verbeteracties voor het Centrum voor Lectoraten en Onderzoek met betrekking tot de organisatie, de randvoorwaarden en het beleid. Ook verbeteracties die voortkomen uit de externe evaluatie van de onderzoekseenheden worden hierin meegenomen. 2.2 Externe onafhankelijke evaluatie van de onderzoekseenheden Interne jaarlijkse monitoring is niet voldoende om de kwaliteit te bewaken. Dit zal aangevuld worden met een evaluatie van de onderzoekseenheden door een externe onafhankelijke evaluatiecommissie. Vooralsnog is de gehanteerde onderzoekseenheid een lectoraat. De evaluatiecyclus zal samen lopen met de looptijd van een lectoraat. Dat wil zeggen dat elk lectoraat binnen zijn looptijd tenminste eenmaal wordt geëvalueerd met een minimum van eens in de zes jaar. Het moment van evaluatie ligt in de tweede helft van de lectoraatsperiode. Inhoudelijke en/of efficiëntie overwegingen kunnen in de toekomst een rol spelen om bijvoorbeeld eenheden binnen eenzelfde profileringsthema te combineren in één evaluatie (HBO-raad, 2008). De hogeschool is zelf verantwoordelijk voor de samenstelling en instelling van de evaluatiecommissie. De leden van de commissie zijn externe onafhankelijke deskundigen. Het gaat hierbij om peers (onderzoekers en lectoren) en stakeholders die tenminste vijf jaar buiten de hogeschool en buiten het eigen netwerk van de onderzoekeenheid werkzaam zijn. Deze externe evaluaties vormen een belangrijk onderdeel van het kwaliteitszorgsysteem voor onderzoek. De commissie richt zich op de gerealiseerde kwaliteit van het lectoraat. Zo nodig geeft de commissie aanbevelingen over te zetten stappen om essentiële verbeteringen door te voeren. De beoordeling van de externe evaluatiecommissie zal deels plaats vinden op basis van een zelfevaluatierapport. Lectoren stellen deze zelfevaluatierapportage op aan de hand van het model voor de jaarlijkse monitoring en overige relevante documenten. Het zelfevaluatierapport moet aan de ene kant een feitelijk beeld geven van de onderzoekseenheid in termen van doelen, organisatie, samenstelling, activiteiten en resultaten. Aan de andere kant zal het rapport antwoord geven op een aantal kritische vragen die de eenheid zichzelf stelt (HBO-raad, 2008). Op basis van deze zelfevaluatie gaat de commissie gesprekken aan met interne en externe betrokkenen. De commissie stelt daarbij vijf vragen centraal: 1. Is er voldoende relevante productiviteit, impact, waardering en erkenning op het gebied van: kennisontwikkeling binnen het onderzoeksdomein; valorisatie naar beroepspraktijk en maatschappij; de betekenis voor onderwijs en scholing? 2. Vindt een en ander plaats vanuit een relevante en uitdagende missie en een helder onderzoeksprofiel? 3. Worden de missie en het onderzoeksprofiel geborgd door het portfolio en de wijze waarop de eenheid is georganiseerd? 4. Is de inzet van mensen en middelen daarbij toereikend in kwalitatief en kwantitatief opzicht? 5. Zijn de interne en externe samenwerkingsverbanden, netwerken en relaties daarbij voldoende relevant, intensief en duurzaam? Deze vijf evaluatievragen hangen sterk samen met het model voor de jaarlijkse monitoring. De eerste evaluatievraag kan beantwoord worden aan de hand van de gedefinieerde prestaties in het jaarlijkse model. Het komen tot een gedeelde visie en ambitie volgens het model voor jaarlijkse monitoring geeft een antwoord op de tweede evaluatievraag. Vraag drie en vier zouden beantwoord kunnen worden aan de hand van wat het model voor jaarlijkse monitoring zegt over de professionele aanpak. De laatste evaluatievraag hangt De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 11
samen met het eigenaarschap en urgentiebesef dat ook een plek heeft in het model voor de jaarlijkse monitoring. De commissie legt haar ervaringen neer in een rapport. Dit rapport bevat, naast een gefundeerd oordeel over de gerealiseerde kwaliteit van het lectoraat, ook aanbevelingen over de stappen die het lectoraat kan zetten om essentiële verbeteringen door te voeren. Wanneer de lector, de algemeen directeur en het CvB het rapport aanvaard hebben zal de hogeschool het rapport vervolgens openbaar maken en ondermeer een exemplaar naar de VKO sturen. De evaluatie zal input leveren voor de verdere professionalisering van het lectoraat en voor de besluitvorming over de verlenging van het lectoraat. 2.3 Externe validatie van de kwaliteitszorg voor onderzoek Het kwaliteitszorgsysteem voor onderzoek en lectoraten zal eens per zes jaar onderwerp zijn van een externe validatie. Dit geschiedt door een landelijke validatie commissie (VKO). De VKO start in het najaar van 2009 en de eerste validatie bij De Haagse Hogeschool vindt plaats in mei/juni 2010. De kerntaak van de VKO is het zesjaarlijks evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool (HBO-raad, 2008). De VKO zal zich daarbij baseren op een door de hogeschool opgesteld evaluatierapport en bijbehorende documentatie. Deze dienen een betrouwbaar beeld te geven van de werking en prestaties van het kwaliteitszorgsysteem tot dan toe en de garanties voor het toekomstig functioneren (VKO, 2009). De VKO stelt vier vragen centraal: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg? 3. Worden de onderzoeksevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de afspraken in het BKO? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? 12 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
3. Organisatie Uit het voorgaande is gebleken dat er zowel landelijk als binnen de hogeschool gewerkt wordt aan de ontwikkeling van kwaliteitszorg voor onderzoek. Aangegeven is waarom het belangrijk is voor de hogeschool en hoe wij er vorm aangeven. In het hiernavolgende wordt aangegeven hoe de kwaliteitszorg georganiseerd wordt, hoe de verantwoordelijkheden verdeeld zijn en wat de samenhang is met de kwaliteitszorgsystematiek voor onderwijs. 3.1 Organisatie van de kwaliteitszorg De hogeschool heeft bij de introductie van de lectoraten gekozen voor brede multidisciplinaire lectoraten. Alle lectoraten zijn centraal in de hogeschool gepositioneerd in het Centrum voor Lectoraten en Onderzoek. Dit centrum staat onder leiding van een algemeen directeur. Per 1 januari 2009 zijn er 16 lectoraten en dus 16 onderzoekseenheden aan het Centrum verbonden. De kwaliteitszorg voor onderwijs is zo georganiseerd dat elke academie, op basis van de hogeschoolbrede strategie en een raamwerk voor kwaliteitszorg, een eigen invulling geeft aan het kwaliteitszorgsysteem. Het Centrum voor Lectoraten en Onderzoek zal op basis van de hogeschoolbrede strategie invulling geven aan het kwaliteitszorgsysteem voor onderzoek. 3.1.1 Dossiers De kwaliteit van onderzoek hangt samen met de inbedding hiervan in de organisatie en de bijdrage aan de ontwikkeling van de hogeschool. Tevens speelt de kwaliteit van de mensen die de onderzoeksactiviteiten uitvoeren een rol. Bovendien is het van belang dat de producten intern en extern bruikbaar zijn, en dat de jaarrapportage en de zelfevaluatie ten behoeve van de externe evaluatie deze punten dekken. Ten behoeve hiervan wordt een aantal standaard faciliteiten aangeboden: studenten evaluatieformulier; congres/symposium evaluatieformulier; format afspraken over inzet kenniskringlid ; formulier personele gegevens kenniskringlid ; format productenregistratie (publicaties, media optredens, lezingen, overige producten) onderzoeksdatabase. Van de lectoren wordt verwacht dat zij deze faciliteiten, wanneer relevant, gebruiken en up-to-date houden. Documenten die hier uit voortkomen, worden samen met het strategische plan en de gegevens van de kenniskringleden per lectoraat bijgehouden in een dossier. Deze dossiers leveren een belangrijk deel van de documenten ten behoeve van de externe evaluatie per onderzoekseenheid Materiële en ondersteunende voorzieningen De onderzoeksinfrastructuur moet voldoende faciliteiten bieden om onderzoek te ondersteunen, te verbeteren en bekendheid te geven. Doelstellingen en criteria in het kader hiervan zullen ontwikkeld worden in het jaarplan van het Centrum voor Lectoraten en Onderzoek. 3.2 Randvoorwaarden en verantwoordelijkheden Voorwaarden voor een functionerend kwaliteitssysteem zijn afgestemde randvoorwaarden en een heldere afbakening van de te onderscheiden verantwoordelijkheden. De verschillende niveaus en organisatieonderdelen in de hogeschool hebben binnen het kwaliteitszorgsysteem hun eigen taak. In de loop van de tijd zullen deze steeds duidelijker gedefinieerd kunnen worden. Vooralsnog kunnen de taken en verantwoordelijkheden als volgt worden beschreven. Het College van Bestuur is naast het vaststellen van bestuurlijke en strategische kaders en het inrichten van een overlegen besluitvormingsstructuur, verantwoordelijk voor het waarborgen van adequate materiele en immateriële condities en randvoorwaarden. Het CvB is eindverantwoordelijk voor de externe evaluaties van onderzoek en de validatie van de kwaliteitszorg voor onderzoek. De algemeen directeur is verantwoordelijk voor de opzet, uitvoering, beoordeling en instandhouding van de kwaliteitszorg binnen het Centrum voor Lectoraten en Onderzoek. Op basis van evaluatiegegevens formuleert en implementeert de algemeen directeur verbeteracties voor werkzaamheden van de lectoraten, het personeel en de organisatie. De medewerker kwaliteitszorg bewaakt de ontwikkeling en de kwaliteit van het kwaliteitszorgsysteem alsmede de uitvoering van de kwaliteitszorgprocedures door de verantwoordelijken zoals geformuleerd in onderhavige notitie. Op basis van evaluatieresultaten en verbeteracties brengt de medewerker kwaliteitszorg verslag uit aan de algemeen directeur over de uitvoering en voortgang van de kwaliteitszorg. De medewerker kwaliteitszorg is contactpersoon voor de externe evaluatie van de onderzoekseenheden, voor de validatie van het kwaliteitszorgsysteem en stelt eens in de zes jaar een zelfevaluatierapportage op ten behoeve van de VKO. Tevens is de medewerker kwaliteitszorg verantwoordelijk voor de verbinding met het onderwijs. Het gaat er hierbij om dat ontwikkelingen in de kwaliteitszorg van het onderwijs gevolgd worden om zodoende de twee lijnen bij elkaar te houden. Lectoren dragen zorg voor de uitvoering van de jaarlijkse monitoring en de overige evaluaties die onder de interne kwaliteitszorg vallen. Hieronder valt het jaarlijks opstellen van jaarplannen en jaarverslagen waarin verbeteracties naar aanleiding van evaluaties worden opgenomen. Lectoren stellen een zelfevaluatierapportage op ten behoeve van de externe evaluatie. De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 13
De administratieve ondersteuning bij de uitvoering van de kwaliteitszorg wordt geboden door het secretariaat van het Centrum voor Lectoraten en Onderzoek. Zowel bij de jaarlijkse monitoring als bij de voorbereiding en verwerking van de gegevens ten behoeve van evaluaties. Tevens draagt het secretariaat zorg voor het up to date houden van de gegevens in de lectoraatsdossiers. Om het kwaliteitszorgsysteem te ontwikkelen en uit te voeren is een medewerker kwaliteitszorg (0,5 fte) aangesteld. De administratieve ondersteuning wordt geboden door het zittende secretariaat. Hierbij staat de mogelijkheid open dat in de toekomst meer structurele ondersteuning nodig zal zijn. Intern wordt er een secretaris voor de externe evaluatiecommissie opgeleid, zodat er een constante factor in de evaluatiecommissie komt. Verder worden in het jaarplan van het Centrum voor Lectoraten en Onderzoek, op basis van het model voor de jaarlijkse monitoring, de huidige doelen en streefdoelen evenals de professionele aanpak vooral met betrekking tot condities en randvoorwaarden verder uitgewerkt. 3.3 Samenhang met de kwaliteitszorgsystematiek onderwijs Om uit te groeien tot kennisinstelling voor Beroepsgericht Hoger Onderwijs is het noodzakelijk dat er stevige verbindingen tussen onderwijs en onderzoek ontstaan. Hiervoor is een wisselwerking tussen onderwijs en onderzoek nodig, waarbij zij elkaar wederzijds versterken (Van der Meule, 2009). Het onderzoek heeft mede tot doel het onderwijs te actualiseren en te vernieuwen en docenten en studenten te betrekken bij ontwikkelingen op hun vakgebied. Deze wisselwerking moet een plaats krijgen binnen zowel het kwaliteitszorgsysteem voor onderzoek als in de kwaliteitszorgsystematiek voor onderwijs. Dit kan door bij de accreditatie van onderwijs de rol van onderzoek voor het onderwijs mee te nemen en door bij de evaluatie van onderzoek het effect hiervan op de vernieuwing en actualisering van onderwijs aandacht te geven. Het is van belang om deze twee lijnen bij elkaar te houden. Daarnaast worden doelstellingen van het onderzoek op De Haagse Hogeschool opgenomen in Het Kompas, de tweejaarlijkse hogeschool brede medewerkersmonitor, en in De Reflector het jaarlijkse studententevredenheidsonderzoek. 14 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
4. Tot slot In deze notitie is een schets gegeven van de wijze waarop de hogeschool invulling wil geven aan de kwaliteitszorg voor onderzoek. Kwaliteitszorg wordt op De Haagse Hogeschool gezien als een proces waarin de professional en professionalisering centraal staan. Daarbij komt dat vanuit het streven om het onderzoek in de nabije toekomst rond een aantal profileringsthema s te organiseren, zoals omschreven in de notitie Verbindingen Versterken (HHS, 2008c), verwacht kan worden dat het kwaliteitszorgsysteem hierin mee zal bewegen. Zowel binnen de hogeschool als in landelijk overleg wordt verder gewerkt aan de ontwikkeling van het kwaliteitszorgsysteem voor onderzoek. Deze notitie moet daarom gezien worden als een eerste stap in die ontwikkeling. De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 15
Gebruikte literatuur De Haagse Hogeschool (2008a). Kwaliteitshandboek. Academie Masters & Professional Courses. Den Haag. De Haagse Hogeschool (2008b). Samen werk maken van je functie. In gesprek over resultaat en ontwikkeling. Den Haag: De Haagse Hogeschool. De Haagse Hogeschool (2008c). Verbindingen Versterken. Den Haag: De Haagse Hogeschool. De Haagse Hogeschool (2009). Hogeschoolontwikkelingsplan HOP 7. Den Haag. Geurts, J., Jong, M. de & Meule, C.M.A. van der (2008). Kwaliteitsimpuls Lectoraten HHS - Verslag van een actieonderzoek. Den Haag: De Haagse Hogeschool. HBO-raad (2007). Brancheprotocol Kwaliteitszorg Onderzoek. Den Haag. HBO-raad (2008). Kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen 2009 2015. Den Haag: HBO-raad. Kampen, A., van & Woerden, I. van (2007). Het maatschappelijke effect van de lectoraten. Kwaliteiten benutten. Den Haag: De Haagse Hogeschool. Meule, C.M.A. van der (2009). De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs. Onderzoek en Lectoraten: verbindingen versterken. Den Haag. Validatiecommissie kwaliteitszorg onderzoek (2009). Validatieprocedure (concept). Den Haag. Werkgroep Toekomst Kwaliteitszorg (1997). Omdat elke situatie anders is Kwaliteitszorg Onderwijs en Onderzoek in de volgende ronde. Vereniging van Samenwerkende Nederlandse Universiteiten. Utrecht. 16 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
Faciliteiten / Standaardformulieren De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 17
18 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
Handreiking externe evaluatie onderzoekseenheden 1. Traject tot externe evaluatie 2. Te evalueren onderzoekseenheden 3. Taken en verantwoordelijkheden 4. De zelfevaluatierapportage 5. Externe evaluatie 1. Traject tot externe evaluatie Tijd Activiteit Verantwoordelijk 6 mnd 5.5 mnd 3,5 mnd Lector levert groslijst van potentiële commissieleden en interne en externe stakeholders CvB bevestigt de samenstelling van de commissie. De eerste afspraken met de commissie worden gemaakt Dossier in orde maken over de periode dat het lectoraat loopt (max 4 jaar): Jaarplannen, jaarverslagen, evaluatierapporten, concrete producten Lector/ Alg. Directeur CvB / Alg. Directeur Medewerker kwaliteitszorg Administratieve ondersteuning 3 mnd Overleg voorzitter commissie en maken van afspraken 3 mnd / 12 weken Start schrijven zelfevaluatie Algemeen Directeur Medewerker kwaliteitszorg Lector Algemeen Directeur Medewerker kwaliteitszorg 10 weken 4 weken Zelfevaluatierapportage indienen bij algemeen directeur gevolgd door het bestuurlijke circuit (CvB) Zelfevaluatierapportage en dossier met overige documenten indienen bij evaluatiecommissie Lector Algemeen Directeur Lector Algemeen Directeur 0 Evaluatie door commissie 2 weken 4 weken 6 weken 8 weken Concept evaluatierapport gereed; aanbieding aan de lector en algemeen directeur Uiterlijke termijn voor lector en algemeen directeur om feitelijke onjuistheden aan de commissie door te geven Het rapport wordt samen met getrokken conclusies en voornemens door lector en algemeen directeur aangeboden aan het CvB Besluit van het CvB om het rapport te aanvaarden. Na aanvaarding wordt het rapport openbaar gemaakt Evaluatiecommissie Lector Algemeen Directeur Lector Algemeen Directeur CvB Algemeen Directeur De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 19
2. Te evalueren onderzoekseenheden Vooralsnog hanteren we een lectoraat als onderzoekseenheid. De externe evaluatie van onderzoek zal dus verricht worden per lectoraat. Op hogeschoolniveau bestaat het streven om de komende jaren de verbindingen tussen de lectoraten en de academies te versterken door een aantal strategische profileringsthema s te benoemen. Deze ontwikkeling zou betekenen dat er op termijn een overstap gemaakt zal worden van lectoraat als onderzoekseenheid naar een cluster rondom een strategisch thema als onderzoekseenheid. Evaluatie Lectoraat afloopdatum Lectoraat November 2009 Informatietechnologie & Samenleving 1 okt/sept. 2010 November 2009 Grootstedelijke Ontwikkeling 1 aug. 2010 Februari 2010 Filosofie en Beroepspraktijk 1 jan. 2011 Maart 2010 Leefstijlverandering bij Jongeren 15 mei 2011 Mei/Juni 2010: VKO Najaar 2010 Pedagogiek van de Beroepsvorming 1 maart 2011 Informatiebeveiliging 1 dec. 2011 Voorjaar 2011 Ondernemen en Innoveren 1 feb. 2012 Human Resources Management 1 sept. 2012 Najaar 2011 Revalidatie * 1 sept. 2012 Innovatieve Beweegstimulering en Sport * 1 okt. 2012 Voorjaar 2012 Kennistransfer in Productinnovatie 1 feb. 2013 Internationale Samenwerking * 1 jan. 2014 Najaar 2012 Jeugd en Opvoeding Psychogeriatrie * Voorjaar 13 * Vanwege de - in de regel - geringe omvang van de bijzondere lectoraten en de daaruit voortvloeiende wens deze bijzondere lectoraten onderdeel te laten zijn van een profileringsthema, zal t.z.t. bekeken worden of bijzondere lectoraten worden beschouwd als afzonderlijke onderzoekseenheden, dan wel onderdeel worden van een groter onderzoeksprogramma. 20 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
3. Taken en verantwoordelijkheden voor wat betreft de externe evaluatie CvB vaststellen van de commissie vaststellen van de zelfevaluatierapportage aanvaarding evaluatierapportage van de commissie Lector De lector is er verantwoordelijk voor dat de werkzaamheden van het lectoraat voldoen aan de kwaliteitscriteria. Deze verantwoordelijkheid impliceert dat de lector zorgt voor een: adequate inhoudelijke voorbereiding op de externe evaluatie; tijdige aanlevering van een zelfevaluatie rapportage en overige gevraagde informatie; controle feitelijke gegevens in het conceptrapport van de commissie; inhoudelijke reactie op het definitieve rapport. Algemeen Directeur De algemeen directeur is verantwoordelijk voor de kwaliteit van de lectoraten binnen de hogeschool. Deze verantwoordelijkheid impliceert dat de algemeen directeur: optreedt als opdrachtgever voor de externe evaluatie; de samenstelling van de externe evaluatiecommissie realiseert; een voorstel doet aan het CvB voor het profiel en samenstelling van de externe evaluatiecommissie; het zelfevaluatierapport goedkeurt; het dossier met overige documenten goedkeurt tbv de externe evaluatie; de begroting voor de externe evaluatie bewaakt; beslissingen neemt op basis van het evaluatierapport van de commissie. Medewerker kwaliteitszorg De medewerker kwaliteitszorg is verantwoordelijk voor de uitvoering van het kwaliteitssysteem. Deze medewerker is verantwoordelijk voor: - het plannen, (doen) organiseren en (doen) uitvoeren van de evaluatieactiviteiten en gegevensverwerking; - de samenstelling van het dossier tbv de externe evaluatie; - het organiseren van het bezoek van de commissie; - aanspreekpunt ihkv de externe evaluatie; - contactpersoon ihkv wisselwerking kwaliteitszorg voor onderwijs. Secretaris van de commissie - voert overleg met de voorzitter, de algemeen directeur, de lector of de medewerker kwaliteitszorg; - plant de afspraken met de HHS en commissie; - levert het concept adviesrapport over het lectoraat aan de algemeen directeur en de lector. Ondersteuning ondersteuning bij de totstandkoming van het dossier en de zelfevaluatierapportage logistieke ondersteuning administratieve ondersteuning De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 21
4. Zelfevaluatie rapportage Volgens het landelijke kader is het noodzakelijk dat het zelfevaluatierapport (inclusief bijlagen) een adequate beschrijving, een inzicht en een overzicht moeten geven van (HBOraad, 2008): de missie van de onderzoekseenheid; de onderzoeksthema s en het onderzoeksportfolio; het onderzoeksprofiel in termen van wetenschappelijke standaarden en onderzoeksmethoden en technieken; de inbedding en positionering van de eenheid binnen de instelling op organisatorisch, strategisch en HRM gebied; de omvang van de eenheid in termen van mensen en (financiële) middelen; de kwaliteit van de onderzoekers uitgedrukt in opleiding, graad, ervaring, nevenactiviteiten; de samenwerkingsverbanden en inhoudelijke relaties binnen de hogeschool als ook extern met organisaties, instellingen en bedrijven, zowel regionaal, landelijk als internationaal; de publicaties, presentaties en andere producten die het onderzoek van de eenheid in de afgelopen periode heeft opgeleverd; gegevens over impact en waardering van het onderzoek t.a.v.: - kennisontwikkeling binnen het onderzoeksdomein - beroepspraktijk en samenleving - onderwijs en scholing Deze punten worden deels gedekt door de jaarplannen en de jaarverslagen, gebaseerd op het model voor jaarlijkse monitoring. En deels worden deze punten gedekt door hogeschoolbrede rapporten en verslagen op basis van de evaluatie-instrumenten. Er wordt naar toe gewerkt dat het jaarplan en het jaarverslag samen (mede op basis van de te ontwikkelen instrumenten) als zelfevaluatierapportage kunnen gaan dienen. Het zelfevaluatierapport bevat naast de genoemde punten een procesmatige verantwoording van de zelfevaluatie (in termen van aanpak, werkwijze, betrokkenen, etc.) en een slotanalyse in de vorm van sterktes en zwaktes, verbetermaatregelen en prioriteiten voor de komende tijd. De zelfevaluaties zijn (zoveel als haalbaar) mede gebaseerd op evaluaties door interne en externe stakeholders. 5. Zijn de interne en externe samenwerkingsverbanden, netwerken en relaties daarbij voldoende relevant, intensief en duurzaam? 4.1 Bij te voegen documenten Naast de zelfevaluatierapportage zal de evaluatiecommissie onderstaande documenten, voor zover beschikbaar, ontvangen. In een papieren dossier zullen de meest recente stukken opgenomen worden. Overige stukken zullen opvraagbaar zijn. Het zal gaan om documenten over de periode vanaf de laatste verlenging van het lectoraat. strategisch plan; jaarplannen; jaarverslagen; evaluaties; gegevens lector(en) en kenniskringleden; producten/publicaties van het lectoraat; vergader-/overleg verslagen. Daarnaast zal de commissie enkele overkoepelende documenten ontvangen, hierbij valt te denken aan: Hogeschool Ontwikkelingsplan (HOP); de Strategienotitie Onderzoek en Lectoraten: Verbindingen versterken; de notitie Kwaliteitszorg voor onderzoek; overige deelnotities volgend uit de Strategienotitie Onderzoek en Lectoraten. De zelfevaluatie rapportage, de bijbehorende documenten en de gesprekken zullen de evaluatiecommissie in staat moeten stellen om een vijftal evaluatievragen te kunnen beantwoorden. 1. Is er voldoende relevante productiviteit, impact, waardering en erkenning op het gebied van: kennisontwikkeling binnen het onderzoeksdomein; valorisatie naar beroepspraktijk en maatschappij; de betekenis voor onderwijs en scholing? 2. Vindt een en ander plaats vanuit een relevante en uitdagende missie en een helder onderzoeksprofiel? 3. Worden de missie en het onderzoeksprofiel geborgd door het portfolio en de wijze waarop de eenheid is georganiseerd? 4. Is de inzet van mensen en middelen daarbij toereikend in kwalitatief en kwantitatief opzicht? 22 De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs
5. Externe evaluatie De volgende stappen worden hierna verder uitgewerkt: 1. samenstelling van de evaluatiecommissie; 2. opdrachtformulering voor de evaluatiecommissie; 3. opstellen van het evaluatieplan; 4. het evaluatie rapport. 5.1 Samenstelling van de evaluatiecommissie De algemeen directeur is verantwoordelijk voor de samenstelling van de commissie. Ze doet daarbij een beroep op voorstellen vanuit de onderzoekseenheid. Het College van Bestuur is verantwoordelijk voor de installatie van de commissie. De leden van de commissie zijn onafhankelijke deskundigen: Onafhankelijk: tenminste buiten de hogeschool en buiten het direct bij de activiteiten betrokken eigen netwerk van de onderzoekseenheid: - de laatste 5 jaar niet bij een lectoraat werkzaam zijn geweest; - de laatste 5 jaar niet bij De Haagse Hogeschool werkzaam zijn geweest. Onder deskundigen wordt verstaan peers (lectoren en onderzoekers) en stakeholders. Representatief voor: - het aan het onderzoek gelieerde onderwijs ; - de relevante beroepspraktijk; - het relevante onderzoeksdomein; - de relevante internationale omgeving. Het blijkt mogelijk om de domeinen te laten vertegenwoordigen door drie personen. Met toevoeging van een (externe en op termijn interne) secretaris. Met name voor de voorzitter geldt dat hij/zij beschikt over gezag en overzicht over het totale domein. Hij/zij heeft ruime ervaring in de rol van voorzitter en is samenbindend en resultaatgericht. De hogeschool streeft naar een vaste voorzitter van de evaluatiecommissies. De leden hebben affiniteit met kwaliteitszorg. Het kwaliteitszorgterrein moet met name goed vertegenwoordigd zijn in de expertise van de secretaris. Dit vereist onder meer kennis en ervaring met de werking van kwaliteitszorg binnen een instelling. Bij de instelling van de commissie zal aan de voorzitter gevraagd worden of de samengestelde commissie voldoende onafhankelijk en divers is. Groslijst van kandidaten Elk lectoraat geeft 6 maanden voor de evaluatie minimaal twee optionele commissieleden op het gebied van aan het onderzoek gelieerde onderwijs, de beroepspraktijk, het onderzoeksdomein en de internationale omgeving. Sommige van deze rollen kunnen uiteraard gecombineerd worden. Het voordeel van commissieleden via het eigen netwerk is dat de kans op een overeenkomstige visie vergroot wordt waardoor het gesprek makkelijker gevoerd kan worden. De onafhankelijkheid moet hierbij echter wel bewaakt worden. Om de onafhankelijkheid van de commissie te bewaken kan de lector, indien nodig, functies noemen waar vervolgens personen bij gezocht kunnen worden. Ook kan gedacht worden aan relaties van iemand uit het eigen netwerk. 5.2 Opdrachtformulering voor de externe evaluatie De commissie krijgt een contractueel uitgewerkte en ingekaderde opdracht om: de zelfevaluatie en relevante stukken te bestuderen; op basis hiervan te spreken met een vertegenwoordiging van interne en externe betrokkenen (management, lectoren en andere medewerkers, stakeholders); de door de HHS gehanteerde criteria voor kwaliteit te hanteren; onafhankelijk te evalueren; te rapporteren over bevindingen en aanbevelingen. De evaluatie loopt langs twee lijnen, de wat-kant en de hoe-kant. De vijf evaluatievragen die de externe commissie moet kunnen beantwoorden staan hierbij centraal. Per lectoraat kan besproken worden welke specifieke invulling gegeven moet worden aan de opdracht. Tevens krijgt de commissie de vraag om een advies te geven met het oog op de toekomst. 1. De Wat-vraag; gericht op de vier doelstellingen van lectoraten Wat is het oordeel van de commissie over de gestelde prioriteiten en de gemaakte keuzes van het lectoraat. Is het lectoraat, gezien de gestelde kaders, met de juiste dingen bezig? - Vindt een en ander plaats vanuit een relevante en uitdagende missie en een helder onderzoeksprofiel? Wat is het oordeel van de commissie over de doorvertaling van de keuzes naar de vier doelstellingen? Is het inhoudelijk relevant voor de vier doelen? 2. De Hoe-vraag; gericht op de drie kenmerken van onderzoek Doet het lectoraat de dingen goed? - Is er voldoende relevante productiviteit, impact, waardering en erkenning op het gebied van de vier doelen? - Worden de missie en het onderzoeksprofiel geborgd door het portfolio en de wijze waarop de eenheid is georganiseerd? - Is de inzet van mensen en middelen daarbij toereikend in kwalitatief en kwantitatief opzicht? - Hoe is de interne en externe samenwerking gerealiseerd? Zijn samenwerkingsverbanden, netwerken en relaties voldoende relevant, intensief en duurzaam? Afgesproken wordt waarover en op basis van welke bronnen en documenten de commissie wel en niet hoeft te rapporteren. Het is belangrijk dat de commissie de bevindingen en aanbevelingen op een evidenced based onderbouwing baseert. Met betrekking tot de rapportage worden er afspraken gemaakt over: de reikwijdte; de omvang en aard van de rapportage; de aan te leveren documentatie; de rolopvatting; de inhoudelijke kaders waaronder de eigen missie en De Haagse Hogeschool: een kennisinstelling voor Beroepsgericht Hoger Onderwijs 23