Validatierapport Kwaliteitszorg Onderzoek

Transcriptie

1 Validatierapport Kwaliteitszorg Onderzoek De Haagse Hogeschool Augustus 2010 Deelcommissie VKO Prof. dr. F.A. (Frans) van Vught (voorzitter) Drs. B. (Bart) van Bergen Dr. C.M (Tini) Hooymans Prof. dr. H.W. (Henk) Volberda Drs. M.A. (Marcel) de Haas (secretaris)

2 INHOUDSOPGAVE Inleiding Schets van de hogeschool Bevindingen Structuur en samenhang in kwaliteitszorg Randvoorwaarden voor kwaliteitszorg Evaluaties van onderzoekseenheden Verbeterbeleid Conclusie en aanbeveling Bijlage 1 Instellingsbesluit VKO Bijlage 2 Overzicht bestudeerd materiaal Bijlage 3 Bezoekprogramma

3 Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie onderdeel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen, en middelen, gericht op het permanente handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor is De Haagse Hogeschool de zesde door de VKO te valideren hogeschool. De VKO ontving daartoe op 11 mei 2010 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op 10 juni Een deelcommissie vanuit de VKO sprak op die dag met het College van Bestuur, met management en staf en met lectoren en onderzoekers/docenten van drie lectoraten binnen de hogeschool (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 3). Nadat de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling had gegeven aan het eind van het bezoek heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, en hierop gebaseerde aanbevelingen voor verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de hogeschool positief gevalideerd. Deze rapportage geeft daarvoor een nadere onderbouwing. In hoofdstuk 1 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 2 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek (zie In hoofdstuk 3 sluit de VKO af met haar conclusie en aanbeveling. 3

4 1. Schets van de hogeschool De Haagse Hogeschool ontstond eind tachtiger jaren in de fusiegolf van het Hoger Beroepsonderwijs. Later volgde nog de fusie met de TH Rijswijk. De Haagse Hogeschool telt in 2010 ruim studenten en circa 1800 medewerkers en heeft 50 bachelor- en 13 masteropleidingen in huis. De opleidingen van de hogeschool zijn verdeeld over veertien academies (dit zijn clusters van opleidingen). De Haagse Hogeschool wil de studenten via kwalitatief hoogwaardig en innovatief hoger beroepsonderwijs de mogelijkheid bieden hun talenten maximaal te ontwikkelen. Zij wil haar studenten zodoende opleiden tot gekwalificeerde professionals voor de maatschappij en de arbeidsmarkt. Zij wil dit doen als een hogeschool die zich in de regio tot een gewaardeerde kennisinstelling ontwikkelt en door de regio ervaren wordt als een instelling die haar kennis graag deelt. Het onderzoek van De Haagse Hogeschool heeft tot doel bij te dragen aan het ontwikkelen van een nieuwe manier van opleiden van jonge professionals tot kenniswerkers met een blijvende leergierigheid en een groeiend zelflerend vermogen. Tevens heeft het tot doel bij te dragen aan de vermeerdering van kennis en aan de mogelijkheden van innovatie bij maatschappelijke instellingen, bedrijven en overheden in de domeinen waarvoor de hogeschool opleidt. Deze missie is aan de hand van de vierledige doelstelling van de lectoraten uitgewerkt: Kennisontwikkeling en kennisproductie door het doen van onderzoek. Dit is de meest centrale doelstelling en werkt door op de volgende drie doelstellingen. Het leveren van een bijdrage aan de vernieuwing van het onderwijs en aan het creëren van een onderzoeksinfrastructuur. Een bijdrage leveren aan de professionalisering van (docenten van) de hogeschool. Bijdragen aan de kennisontwikkeling en innovatie in de regio en daarbuiten. De hogeschool heeft de lectoraten centraal gepositioneerd in het Centrum voor Lectoraten en Onderzoek (CLO). Het CLO staat onder leiding van een directeur die onder meer verantwoordelijk is voor de ontwikkeling van het strategisch onderzoekbeleid van de hogeschool. Zij zorgt ook voor de randvoorwaardelijke condities, de afstemming en samenwerking tussen de verschillende lectoraten en tussen de lectoraten en de academies. Onderzoek, en daarmee het CLO, behoort in bestuurlijke zin tot de portefeuille van de voorzitter van het College van Bestuur. Per 1 maart 2010 telt het CLO 19 lectoraten met een totale omvang van 13,4 fte. Deze lectoraten zijn bezet door 19 lectoren met een totale omvang van 11,05 fte en een vacatureruimte van 1,3 fte. Eind 2009 participeerden in totaal ongeveer 125 (ca. 35 fte) docenten en medewerkers in de kenniskringen van de lectoraten. Voorts zijn 17 docenten en medewerkers als promovendi verbonden aan de lectoraten. 4

5 Het budget van het CLO is opgebouwd uit de jaarlijkse kennisinnovatiegelden en gelabelde promotiegelden. Daarnaast worden middelen gegenereerd uit tweede en derde geldstromen: in 2009 hebben de gezamenlijke lectoraten ongeveer 1,3 miljoen euro verworven. In het verleden zijn op beperkte schaal middelen vrijgemaakt door het College van Bestuur uit onder meer de exploitatie overschotten 2004 en Extra middelen worden verworven door allianties en samenwerking met externe partners die investeren in onderzoeksprojecten of de instandhouding van een lectoraat. Kwaliteitszorg in de hogeschool is een systeem van continue zorg en aandacht voor de kwaliteit van het onderzoek. Het is het geheel aan activiteiten dat ondernomen wordt om de kwaliteit van het onderzoek te onderzoeken, te borgen en te verbeteren. De functies daarbij zijn sturing, borging, verbetering, benchmarking, zelfregulering, transparantie en verantwoording. Het kwaliteitszorgsysteem voor onderzoek (zie 2.1) is, in eerste instantie, ontwikkeld door en voor het CLO. Externe evaluaties (zie 2.3) vormen een belangrijk onderdeel van deze kwaliteitszorg. Lectoraten zijn de eenheden voor deze evaluaties. Aan de hand van de looptijden van de lectoraten is voor de externe evaluaties een planning voor de komende vier jaar gemaakt. Ten tijde van het bezoek van de VKO waren vier lectoraten extern geëvalueerd: (1) Grootstedelijke Ontwikkeling,(2) Informatie, Technologie en Samenleving, (3) Filosofie en Beroepspraktijk en (4) Leefstijlverandering bij Jongeren. De VKO bestudeerde de documenten -en sprak met de lectoren en medewerkers- van drie van deze vier lectoraten. 5

6 2. Bevindingen De VKO kon beschikken over een uitgebreide documentatie in de vorm van het zelfevaluatierapport met bijna dertig bijlagen (zie bijlage 2). Het totaal bood de commissie een zeer compleet beeld van De Haagse Hogeschool in het algemeen en van haar onderzoek en kwaliteitszorg in het bijzonder. De VKO waardeerde het daarbij dat de zelfevaluatie de lezer als het ware meeneemt in de historische ontwikkeling van onderzoek en kwaliteitszorg aan De Haagse Hogeschool. Daarnaast vergemakkelijkte het open karakter van het rapport een betrouwbare oordeelsvorming. De analyses en bevindingen van de hogeschool werden in belangrijke mate bevestigd door de gesprekken tijdens het validatiebezoek. In het weergeven van haar bevindingen in de onderhavige rapportage kon de VKO dan ook veelvuldig gebruikmaken van door de hogeschool geleverde feitelijke en evaluatieve informatie. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoeksevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de commissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 2.1, 2.2, 2.3 en 2.4. Elk van deze vier paragrafen sluit af met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen. 2.1 Structuur en samenhang in kwaliteitszorg In de hogeschoolnota Kwaliteitszorg voor onderzoek wordt het kwaliteitszorgsysteem van de hogeschool helder toegelicht aan de hand van uitgangspunten, werkwijze, organisatie en verdeling van verantwoordelijkheden. Het systeem bestaat uit drie elementen: (1) jaarlijkse monitoring, (2) externe onafhankelijke evaluaties van de onderzoekseenheden en (3) validatie door de VKO. Het eerste element, de jaarlijkse monitoring, staat in het systeem centraal met als vaste onderdelen de maandelijkse bilaterale overleggen tussen de lectoren en de directeur CLO, de hogeschoolbrede Resultaat & Ontwikkelings (R&O) -cyclus, de jaarverslagen en de jaarplannen. De hogeschool heeft een model ontwikkeld dat sinds 2009 voor deze activiteiten als leidraad dient. Het model onderscheidt vier resultaatgebieden voor lectoraten: onderzoek, curriculumontwikkeling, professionalisering en kenniscirculatie. Op deze gebieden worden 6

7 prestaties geformuleerd, zowel aan het begin (startsituatie) als aan het einde (streefsituatie) van de jaarcyclus. Daarbij wordt aangegeven wie eigenaar is, welke inspirerende ambitie of concept het lectoraat voortdrijft, wat de professionele aanpak is bij het realiseren van de doelen en wat de gunstige en minder gunstige randvoorwaarden zijn. Het model gaat uit van een balans tussen collectieve ambities en relatieve autonomie van lectoren (sturing van zelfsturing) en voldoende openheid voor methodologische variëteit. Het is echter gesloten wat betreft drie eisen aan onderzoek: verbinding met de beroepspraktijk, onafhankelijkheid van het onderzoek en vaste waarden als betrouwbaarheid, geldigheid en transparantie. Deze zijn voor de hogeschool niet onderhandelbaar. De lector is, binnen de kaders, verantwoordelijk voor het expliciteren van de criteria per resultaatgebied voor zijn lectoraat. De hogeschool neemt zich voor om op basis van de eerste externe evaluaties een beperkt aantal algemeen geldende kwaliteitscriteria te destilleren die recht doen aan de taken van de lectoraten. Men wil tot een overzichtelijk en hanteerbaar model komen waarin met enkele indicatoren en criteria kwaliteit inzichtelijk gemaakt wordt. Het tweede element, de externe evaluaties (zie verder 2.3) is binnen het systeem gerelateerd aan de jaarlijkse monitoring. Bij de zelfevaluaties wordt onder meer gebruik gemaakt van de gegevens die de jaarlijkse monitoring oplevert. Andersom worden de uitkomsten van de externe evaluatie vertaald naar verbeteringen die in de jaarlijkse monitoring worden opgenomen. De kwaliteitszorgsystemen voor onderwijs en onderzoek delen de R&O-cyclus en de P&Ccyclus als ook de methode van zelfevaluatie en externe toetsing. Daarnaast heeft de hogeschool als beleid dat onderwijsmodulen, minoren etc., die binnen lectoraten worden ontwikkeld, na enige tijd worden overgedragen aan een of meer academies. Vanaf het moment van overdracht valt dit onderwijs onder het kwaliteitszorgsysteem van het onderwijs. De hogeschool wil de verbindingen tussen kwaliteitszorg voor onderzoek en onderwijs echter versterken. De evaluatie van het onderzoek dat binnen de academies plaats vindt is vooralsnog niet in het kwaliteitszorgsysteem onderzoek opgenomen. Wanneer onderzoek een grotere plaats binnen het onderwijs van de academies krijgt zal het kwaliteitszorgsysteem voor onderzoek hier op aangepast worden. Mogelijkheden voor verbetering De VKO oordeelt in algemene zin positief over de structuur en samenhang van het kwaliteitszorgsysteem voor onderzoek. Het systeem past goed bij de ontwikkelingsfase waarin het onderzoek van de hogeschool zich bevindt. Het biedt voldoende professionele ruimte evenals ruimte voor dynamiek en diversiteit. Inhoudelijk is er een evidente relatie met de onderzoeksmissie van de hogeschool. De hogeschool wil samen met de beroepsdomeinen problemen onderzoeken die zich in de veranderende professies 7

8 voordoen en waar mogelijk oplossingen bieden. De kennis die hieruit voortvloeit wil ze ten goede laten komen aan de beroepspraktijk en laten terugkeren in het onderwijs. Zodoende wil de hogeschool professionals opleiden die beter zijn toegerust voor de veranderende en vernieuwende beroepspraktijk. De VKO heeft kunnen vaststellen dat deze focus op de relatie met het onderwijs en de beroepspraktijk voldoende terugkeert in het schrijven en praten over onderzoekskwaliteit en -impact. Niettemin zijn er naar het oordeel van de VKO verdere verbeteringen in de structuur en samenhang aan te brengen. Ten eerste moeten nog nadere inspanningen worden geleverd om de koppelingen binnen het systeem ook in de praktijk als zodanig te laten functioneren. Op papier is de relatie tussen de jaarlijkse monitoring en de externe evaluaties goed uitgewerkt, maar in de praktijk zal dit nog via instrumentarium en processen moeten worden geborgd. Daarbij gaat het vooral om het inbouwen van routines en verdere standaardisatie. Ook zal conceptueel nog beter doordacht en besproken moeten worden hoe de centraal gestelde eisen aan onderzoek (relatie beroepspraktijk, onafhankelijkheid en waarden als betrouwbaarheid, geldigheid en transparantie) zich verhouden tot de ruimte die het model voor de monitoring biedt. Daarbij zijn vragen te stellen als: hoe concreet en hard zijn de eisen aan onderzoek te maken, hoever reikt de autonomie van het lectoraat en welke rol moet worden toegekend aan stakeholders van het onderzoek? In het verlengde van bovenstaande adviseert de VKO de hogeschool om het kwaliteitszorgsysteem meer bestuurlijk te gaan hanteren. Het is verstandig en begrijpelijk dat de ontwikkeling van het systeem tot nu toe tamelijk bottum-up heeft plaatsgevonden, maar er kan vanaf heden meer balans worden aangebracht met een meer top-down benadering. Dit is met name van belang met het oog op de tamelijk gefragmenteerde en diverse onderzoeksorganisatie. Deze maakt de borging van kwaliteit complex. Een zekere reductie van variëteit is nodig en het kwaliteitszorgsysteem kan daarin een nuttige rol vervullen. Tenslotte vindt de VKO het bedenkelijk dat onderzoek dat buiten de lectoraten, dus binnen de academies, plaatsvindt via de huidige kwaliteitszorgsystemen niet of onvoldoende wordt geborgd. Het is onduidelijk wat de status en omvang van dat type onderzoek is en de kwaliteitsborging is niet transparant. Het onderbrengen van al het aan de hogeschool uitgevoerde onderzoek in het kwaliteitszorgsysteem onderzoek zou een hoge prioriteit moeten hebben. 2.2 Randvoorwaarden voor kwaliteitszorg Binnen het CLO houdt één medewerker (0,5 fte) zich bezig met de kwaliteitszorg voor onderzoek. Zij wordt hierbij ondersteund door het secretariaat van het CLO. Inhoudelijk zijn de lectoren en de directeur CLO verantwoordelijk voor de uitvoering van de kwaliteitszorg. Bij de ontwikkeling van het kwaliteitszorgsysteem was een lector (0,5 fte) 8

9 betrokken, en incidenteel worden andere lectoren en (senior)onderzoekers betrokken bij de uitvoering/ontwikkeling van het systeem. De hogeschool vindt de kosten voor de uitvoering en ontwikkeling van de kwaliteitszorg hoog en er is nog geen structurele dekking gevonden. Binnen de hogeschool wordt daarom gesproken over mogelijkheden om de kosten te verlagen en om een structurele oplossing te vinden voor de dekking. Volgens de hogeschool ervaren de lectoren de evaluaties als een grote tijds- en energiebesteding en is tevens sprake van een grote financiële belasting. Men vraagt zich daarbij af of de inzet in verhouding staat tot de bijdrage aan de kwaliteit en de mogelijke kwaliteitsverbeteringen. Volgens de hogeschool hebben de lectoren het kwaliteitszorgsysteem niettemin omarmd. Daarnaast zou het kwaliteitsbewustzijn in de dagelijkse praktijk van de lectoraten duidelijk zichtbaar worden. Dit zou blijken tijdens de structurele overlegmomenten waarbij informatie wordt uitgewisseld over ontwikkelingen op het inhoudelijke gebied en over methoden en technieken. Ook worden de inhoud, opzet, voortgang en presentatie van de resultaten van onderzoeken kritisch besproken. Men leert zodoende open te staan voor feedback en andersom zelf ook feedback te geven. Mogelijkheden voor verbetering De VKO is onder de indruk van de betrokkenheid bij de kwaliteitszorg binnen de groep medewerkers die zij tijdens haar validatiebezoek heeft mogen spreken (zie bijlage 3). Er klopt bij deze groep een warm hart voor onderzoek en het kwaliteitszorgsysteem lijkt een hoge mate van interne legitimiteit te hebben. In alle openheid heeft de hogeschool aangegeven dat er lange tijd interne onenigheid is geweest over de centrale positionering van het onderzoek. De VKO heeft de sterke indruk gekregen dat deze historische animositeit inmiddels plaats heeft kunnen maken voor een constructieve kwaliteitscultuur. De eigen bedenkingen over de beperkte capaciteit in termen van mensen en middelen voor kwaliteitszorg heeft de VKO niet bevestigd gekregen tijdens haar bezoek. In het oordeel van de medewerkers overheersten de positieve aspecten van het systeem. Wel is duidelijk geworden dat winst valt te boeken in de efficientie van het systeem. Dit ligt in feite in het verlengde van de onder 2.1 genoemde noodzaak om slimmere koppelingen te leggen in het systeem en toe te werken naar meer standaardisatie en uniformiteit. 2.3 Evaluaties van onderzoekseenheden Bij De Haagse Hogeschool is het lectoraat de onderzoekseenheid voor evaluatie. De evaluatiecyclus loopt samen met de looptijd van een lectoraat. Elk lectoraat wordt zodoende binnen zijn looptijd tenminste eenmaal geëvalueerd met een minimum van eens in de zes jaar. Het moment van evaluatie ligt in de tweede helft van de lectoraatsperiode. 9

10 Voor zowel het proces van de externe evaluatie als voor het opstellen van de zelfevaluatierapportage heeft de hogeschool een goede handreiking beschikbaar. Bij de samenstelling van de commissies is, voor de eerste vier externe evaluaties, gekozen voor een vaste voorzitter en externe secretaris. Per lectoraat zijn er twee commissieleden toegevoegd. De betreffende lector heeft hiervoor mogelijke kandidaten genoemd. Bij de keuze van commissieleden speelden de onafhankelijkheid, deskundigheid en representativiteit voor het werkveld respectievelijk het onderzoeksdomein een belangrijke rol. De directeur CLO is verantwoordelijk voor de samenstelling van de commissie, het CvB installeert. Gebaseerd op het model voor jaarlijkse monitoring krijgen de commissies de opdracht om via twee lijnen, de wat-kant en de hoe-kant, een oordeel te geven over de gerealiseerde kwaliteit van het lectoraat. Verder wordt de commissies gevraagd aanbevelingen te geven over essentiële verbetermogelijkheden. Op basis van de eerste twee evaluaties bleek dat er met betrekking tot de zelfevaluatierapportage en de samenstelling van de commissie enige aanpassingen nodig waren. Dit heeft geleid tot een meer compacte zelfevaluatierapportage en tot een actievere rol van de commissieleden tijdens de evaluatie, waardoor de gesprekken in de erop volgende twee evaluaties volgens eigen zeggen 'evenwichtiger' waren. De geëvalueerde lectoraten hebben de externe evaluaties positief ervaren, omdat deze goede feedback en verbetersuggesties hebben opgeleverd. Ook verwachten zij dat de positieve beoordeling er voor zorgt dat het lectoraat meer vertrouwen krijgt van de diverse stakeholders. Mogelijkheden voor verbetering De VKO oordeelt overwegend positief over de systematiek en uitvoering van de externe onderzoeksevaluaties. In de opzet en uitvoering van deze evaluaties is het BKO goed herkenbaar. Het werken met een vaste voorzitter en secretaris is naar het oordeel van de VKO bevorderlijk voor de vergelijkbaarheid van de uitkomsten. Daarvoor is van belang dat de informatie en het beoordelingskader, die aan de commissies worden meegegeven, deze onderlinge vergelijkbaarheid faciliteren. Het door de hogeschool ontwikkelde stramien voor de (zelf- en externe) evaluatierapporten draagt daar zeker aan bij. Wel is het volgens de VKO mogelijk om de informatievoorziening en oordeelsvorming meer vanuit de hogeschoolvisie op onderzoekskwaliteit richting te geven. Hiervoor is een verdere operationalisering nodig van de eisen die de hogeschool aan onderzoek stelt, de indicatoren die daarbij een rol spelen en de informatie die nodig is om het oordeel te kunnen vormen. De representativiteit van de commissies zou door de hogeschool meer beredeneerd moeten worden vanuit het nadrukkelijke accent dat in de missie wordt gelegd op de 10

11 betekenis van onderzoek voor de beroepspraktijk. Die beroepspraktijk zou in dat licht een meer prominente plaats moeten hebben in de samenstelling van de commissies. 2.4 Verbeterbeleid De door de VKO bestudeerde externe evaluatierapporten geven een duidelijk beeld van de sterke en minder sterke kanten van de lectoraten. De milde kritiek is veelal expliciet, de meer stevige kritiek wat meer impliciet geformuleerd. De kwaliteit van de lectoren wordt wisselend beoordeeld, maar per saldo positief. Op basis van deze evaluaties hebben de lectoren in hun jaarplannen aangegeven hoe zij op de aanbevelingen van de commissies zullen reageren. De directeur CLO stuurt tijdens het planningsgesprek op het expliciteren van de beoogde verbeteringen en op het hoe en wanneer. Een en ander wordt tijdens de voortgangsgesprekken gevolgd. Naast aanbevelingen voor de specifieke lectoraten hebben de commissies ook uitspraken gedaan die om maatregelen op centraal niveau vragen. Deze zijn gebundeld en uitgezet in drie verbetertrajecten: (1) ontwikkeling van onderzoekscholingstrajecten, (2) aanstelling van een centrale onderzoeksmethodoloog en (3) verbindingen leggen tussen lectoraten en academies. Mogelijkheden voor verbetering De VKO oordeelt positief over de wijze waarop aan de follow-up na externe evaluaties is vormgegeven. De koppeling aan de activiteiten van de jaarlijkse monitoring maken dat het daadwerkelijk opvolgen van aanbevelingen formeel is geborgd. Wel heeft het bezoek duidelijk gemaakt dat deze systematiek zich in de praktijk nog moet bewijzen, hetgeen niet verwonderlijk is gezien de recente introductie ervan. De VKO vindt het verstandig dat reeds op basis van de eerste vier evaluaties maatregelen worden getroffen op centraal niveau. Volgens de VKO zijn daarbij ook duidelijke prioriteiten aan te geven die direct voortvloeien uit de missie die de hogeschool ten aanzien van het onderzoek stelt, namelijk voor en met het onderwijs en haar beroepspraktijk. De hogeschool stelt in dit verband dat de groei van de lectoraten noopt tot bundeling en sturing op focus en massa. De VKO onderschrijft dit volledig. De huidige onderzoeksorganisatie met 19 separate lectoren maakt een versnipperde indruk. De hogeschool werkt aan een thematische clustering waarvan het eerste concept de VKO in ieder geval niet heeft kunnen overtuigen. De aarzeling van de VKO zit hem er onder meer in dat de hogeschool heeft gekozen voor een centrale positionering van de lectoraten en een koppeling van elk lectoraat aan een of meer opleidingen binnen een of meer van de 14 academies. Deze keuze is door de hogeschool overigens helder onderbouwd, onder meer vanuit het belang van multi-disciplinariteit en in het licht van de ontwikkelingsfase van het onderzoek. De bestuurlijk uitdaging is er nu in gelegen om de onderzoeksorganisatie enerzijds thematisch te clusteren met het oog op focus en 11

12 massa en anderzijds de verbindingen met de academies te versterken. Dit laatste is van cruciaal belang om het onderwijs en de beroepspraktijk optimaal de vruchten te kunnen laten plukken van het onderzoek. Volgens de VKO ontkomt de hogeschool er ook in dit opzicht niet aan om bestuurlijk gezien een aantal beslissingen top-down te nemen zonder de bottum-up processen uit het oog te verliezen. Tenslotte heeft de VKO de indruk dat de hogeschool beter in staat zou moeten zijn om haar stakeholders te identificeren en te betrekken bij het onderzoek. Ze adviseert de hogeschool om het selecteren van externe samenwerking goed aan te laten sluiten bij de profilering. Daarbij is het verstandig om na te gaan wat de hogeschool op grond van haar expertise zelf zou kunnen doen en wat aan de partners kan worden overgelaten. Door de multi-laterale samenwerking op deze manier vorm te geven kan de hogeschool op verantwoorde wijze toewerken naar expansie. 12

13 3. Conclusie en aanbeveling De VKO heeft bij De Haagse Hogeschool een goed kwaliteitszorgsysteem voor onderzoek aangetroffen, weliswaar van recente datum maar met de potentie uit te groeien tot een uitstekend systeem. Inhoudelijk sluit deze kwaliteitszorg aan bij de missie die de hogeschool ten aanzien van het onderzoek heeft geformuleerd in termen van de betekenis voor onderwijs en beroepspraktijk. Er is een duidelijke relatie gelegd tussen de interne monitoring van het onderzoek enerzijds en de externe onderzoeksevaluaties anderzijds. In de uitvoeringspraktijk is die relatie voor verbetering vatbaar, met name door een meer efficiënte afstemming tussen de gehanteerde instrumenten en door verdere standaardisering. Daarnaast is van belang dat de eisen aan onderzoek nader worden aangescherpt en worden afgezet tegen de ruimte die zou moeten bestaan voor diversiteit en professionaliteit. De VKO beveelt daarbij aan lectoraatsoverstijgende kwaliteitscriteria te formuleren in de vorm van onderzoeksoutput, onderzoeksmethodologie en onderzoeksvalorisatie. Meer in algemene zin is de bestuurlijke hantering van het kwaliteitszorgsysteem nog beperkt en mag het bottum-up karakter ervan meer in balans worden gebracht met noodzakelijke top-down elementen van besturen. De onderzoek(sorganisatie) maakt een gefragmenteerde indruk en de grote diversiteit maakt de kwaliteitsborging complex; een zekere reductie van variëteit is nodig. Daarbij is van belang dat ook het onderzoek binnen de academies wordt opgenomen in het kwaliteitszorgsysteem. De VKO is onder de indruk van de betrokkenheid van de onderzoekers bij de kwaliteitszorg. Er klopt een warm hart voor onderzoek en het kwaliteitszorgsysteem lijkt een hoge mate van interne legitimiteit te hebben. De historische animositeit over de centrale positionering van onderzoek lijkt plaats te hebben gemaakt voor een constructieve kwaliteitscultuur. De bedenkingen over de beperkte capaciteit in termen van mensen en middelen voor kwaliteitszorg heeft de VKO niet bevestigd gezien tijdens haar bezoek. Wel valt het systeem nog efficiënter en minder belastend te maken door slimmere koppelingen in het systeem en waar mogelijk meer uniformiteit. De hogeschool kent een doordachte evaluatiesystematiek waarin de brancheafspraken (BKO) goed herkenbaar zijn. Het werken met een vaste voorzitter en secretaris bevordert de onderlinge vergelijkbaarheid van evaluaties. De beroepspraktijk zou in de samenstelling van de commissies een meer prominente plaats moeten krijgen. De VKO oordeelt ook positief over het verbeterbeleid van de hogeschool al moet de ontwikkelde systematiek zich in de praktijk nog bewijzen. Op basis van de evaluaties zijn hogeschoolbrede verbeteringen geïdentificeerd waarbij de VKO het accent zou willen leggen op het doordenken van de onderzoeksorganisatie in het licht van noodzakelijke 'focus en massa' en het versterken van de relatie met onderwijs en beroepspraktijk. Hier ligt een complexe bestuurlijke uitdaging. De organisatorische basis is gelegd via de centrale CLO maar de toekomstige bestuurlijke uitwerking moet nu ter hand worden 13

14 genomen om de relatie tussen onderzoek, onderwijs en beroepspraktijk te kunnen optimaliseren en borgen. Op basis van bovenstaande heeft de VKO er vertrouwen in dat het door de hogeschool gehanteerde kwaliteitszorgsysteem in algemene zin leidt tot het permanente bewaken en verbeteren van het onderzoek en de organisatie van dat onderzoek. Ze complimenteert de hogeschool voor hetgeen is bereikt en moedigt haar aan om met dezelfde inzet en hetzelfde enthousiasme op de ingeslagen weg verder te gaan. Ten slotte spreekt de VKO de hoop uit dat deze rapportage daarbij van waarde kan zijn. 14

15 Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: - Prof. dr. P.L. (Pauline) Meurs (voorzitter); - Prof. dr. F.A. (Frans) van Vught (vicevoorzitter); - Drs. B. (Bart) van Bergen (lid); - Dr. C.M. (Tini) Hooymans (lid); - Drs. P.M. (Paul) van Roon (lid); - Drs. P.M.M. (Paul) Rullmann (lid); - Prof. dr. H.W. (Henk) Volberda (lid). 3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 15

16 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBO-raad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle; 16

17 Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKO- worden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel -en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad 17

18 Bijlage 2 Overzicht bestudeerd materiaal 1. Strategienotitie Onderzoek en Lectoraten: verbindingen versterken (Van der Meule, 2009). 2. Kwaliteitszorg voor onderzoek (De Jong & Van der Meule, 2009). 3. Evaluatierapport & zelfevaluatie Lectoraat Informatie, Technologie en Samenleving (2009). 4. Evaluatierapport & zelfevaluatie Filosofie en Beroepspraktijk (2010). 5. Evaluatierapport & zelfevaluatie Leefstijlverandering bij jongeren(2010). 6. Evaluatierapport & zelfevaluatie Lectoraat Grootstedelijke Ontwikkeling (2009). 7. Hogeschool Ontwikkelingsplan 7, (HOP 7) (HHS, 2009). 8. Hogeschool Ontwikkelingsplan 6, (HOP 6) (HHS, 2004). 9. Beleidsplan begroting 2010 (Van der Meule, 2009). 10. Procesverslagen 2006 heden. De (door)ontwikkeling van een kwaliteitszorgsysteem voor onderzoek. (De Jong, 2010). 11. Personeel en financieel overzicht Centrum voor Lectoraten en onderzoek 2009/ Organogram HHS 13. Rapportages Actie Onderzoek a. Verbindingen Versterken (Geurts, De Jong & Van der Meule, 2008). b. Format voor voortgangsverslag (Geurts, De Jong & Van der Meule, 2008). 14. Lectoratenplan (concept) (Van der Meule, 2010) 15. Het maatschappelijke effect van lectoraten (Van Kampen & Van Woerden, 2007). 16. Samenwerkingsverband Hogeschool Utrecht en Fontys Hogescholen (Franssen, 2006; Van der Meule, 2006). 17. Onderzoeksdatabase; redactiestatuut en gebruikershandleiding (De Beus & Geboers, 2009). 18. Procedure facilitering promoties, tbv CvB-overleg Naar een Culture of Scholarship (Abbinga, De Jong & Van der Meule, 2010). 20. Beleidsplan 2010 HRM (HHS, 2009). 21. De Haagse medewerker HRM-beleidsplan, (Dienst HRM, 2010). 22. R&O-cyclus: In gesprek over resultaat & ontwikkeling (HHS, 2008). 23. Handreiking Jaarverslag/-plan Lectoraat GSO: jaarverslag/-plan 2010, 25. Lectoraat ITS: jaarverslag/-plan Lectoraat FB: reactie externe evaluatie 27. Managementrapportage 4, CLO 28. Formatieplan CLO (Van der Meule, 2010) 18

19 Bijlage 3 Bezoekprogramma van tot Welkom en presentatie vanuit de hogeschool Mr. Rob Brons, Voorzitter CvB Mr. drs. Ineke van der Meule, Directeur Centrum Lectoraten en Onderzoek Dr. Rene Diekstra, lector Drs. Jean Jaminon, strategisch adviseur CvB, kenniskringlid, promovendus Drs. Meike de Jong, medewerker kwaliteitszorg Besloten vergadering VKO Vraaggesprek VKO met CvB/centrale staf: Mr. Rob Brons, Voorzitter CvB Mr. drs. Ineke van der Meule, Directeur CLO Dr. Rene Diekstra, lector Dr. Jan Geurts, oud-lector Drs. Jean Jaminon, strategisch adviseur CvB, kenniskringlid, promovendus Drs. Meike de Jong, medewerker kwaliteitszorg Vraaggesprek VKO met Lectoraat Informatie, Technologie en samenleving: Drs. Dick Rijken, lector Bert Mulder, lector Drs. Gert Jan van Dijk, onderzoeker/docent Willem van Vliet Msc, onderzoeker/docent Ir. Loe Jaklofsky, onderzoeker/docent Marianne Ardewijn, onderzoeker/docent Besloten vergadering VKO/lunch Vraaggesprek VKO met Lectoraat Filosofie en Beroepspraktijk Dr. Marli Huijer, lector Drs. Henriëtta Joosten, onderzoeker/docent Drs. Matthijs Fleurke Ma, onderzoeker/docent Drs. Jean Jaminon, onderzoeker Vraaggesprek VKO met lectoraat Leefstijlverandering bij Jongeren Drs. Rob Oudkerk, lector Drs. Herre Faber, onderzoeker/docent Drs. Ir. Gitte Kloek, onderzoeker/docent Wim Wieringa, onderzoeker/docent Besloten vergadering VKO Mondelinge terugkoppeling Dr. Rob Brons, Voorzitter CvB Mr. drs. Ineke van der Meule, Directeur CLO Dr. Rene Diekstra, lector Drs. Jean Jaminon, strategisch adviseur CvB Drs. Meike de Jong, medewerker kwaliteitszorg Drs. Rick Rijken, lector Bert Mulder, lector Dr. Marli Huijer, lector Drs. Rob Oudkerk, lector Besloten vergadering VKO/diner buiten de hogeschool 19

20 Antecedenten VKO deelcommissie Prof. dr. F.A. (Frans) van Vught (vice-voorzitter VKO); Topadviseur EU commissievoorzitter, president European Centre for Strategic Management of Universities (Esmu), voorzitter bestuur Netherlands House for Education and Research (Nether), oud voorzitter CvB en oud rector Universiteit Twente. Drs. B. (Bart) van Bergen (lid VKO) Technisch adviseur medische universiteiten Vietnam inzake de ontwikkeling van Centers of Excellence. Oud-faculteitsdirecteur Hogeschool van Arnhem en Nijmegen. Oud-voorzitter sectoraal adviescollege hgzo. Dr. C.M (Tini) Hooymans (lid VKO); Lid TNO Raad van Bestuur. Plaatsvervangend Kroonlid SER. Lid Adviesraad Wetenschap en Technologie (AWT). Prof. dr. H.W. (Henk) Volberda (lid VKO). Hoogleraar Strategic Management and Business, Erasmus Universiteit. Wetenschappelijk directeur INSCOPE. Directeur Erasmus Strategic Renewal Center. Drs. M.A. (Marcel) de Haas (secretaris VKO) Projectmanager Kwaliteitszorg Onderzoek HBO-raad. Voorheen adjunctdirecteur Onderwijsvisitaties HBO-raad, manager Beleid, Kwaliteit en IR Hogeschool INHOLLAND en onderzoeker Universiteit Leiden. 20