Validatierapport Kwaliteitszorg Onderzoek

Transcriptie

1 Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam September 2013 Deelcommissie VKO Prof. dr. P.L. (Pauline) Meurs (voorzitter) Drs. B. (Bart) van Bergen (lid) Drs. P.M. (Paul) van Roon (lid) H. (Hans) Koolmees (secretaris)

2 INHOUDSOPGAVE 1. Inleiding Schets van de hogeschool Bevindingen Structuur en samenhang in de kwaliteitszorg Randvoorwaarden voor de uitvoering van de kwaliteitszorg Evaluaties van de Onderzoekseenheden Verbeterbeleid Conclusies en aanbevelingen Bijlage 1 Instellingsbesluit VKO Bijlage 2. Organogram Hogeschool Rotterdam Bijlage 3 Overzicht bestudeerd materiaal Bijlage 4. Bezoekprogramma Bijlage 5. Korte beschrijving van de VKO deelcommissieleden Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 2

3 1. Inleiding De Validatiecommissie Kwaliteitszorg Onderzoek (VKO) is begin 2009 door de voorzitter van de HBOraad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie deel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen en middelen, gericht op het permanent handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor stond Hogeschool Rotterdam ingeroosterd voor de eerste helft van De VKO ontving in mei 2013 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 3) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op woensdag 26 juni Een deelcommissie vanuit de VKO sprak op die dag met de voorzitter van het College van Bestuur (tevens portefeuillehouder onderzoek), instituutsdirecties, directies van de kenniscentra, lectoren, onderzoekers/docenten, staffunctionarissen, externe opdrachtgevers en voorzitters van externe evaluatiecommissies (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 4 en 5). Aan het eind van het bezoek is door de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling gegeven. Daarna heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat daarbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, alsmede de hierop gebaseerde aanbevelingen tot verbetering. Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van Hogeschool Rotterdam voorwaardelijk gevalideerd. Deze rapportage geeft een nadere onderbouwing van dit oordeel. In hoofdstuk 2 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 3 beschrijft de bevindingen en beoordelingen van de VKO aan de hand van de vier validatievragen zoals deze zijn vastgelegd in het basisdocument kwaliteitszorg onderzoek (zie: In hoofdstuk 4 sluit de VKO af met haar conclusie en aanbevelingen. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 3

4 2. Schets van de hogeschool Aan Hogeschool Rotterdam (HR) studeren ruim studenten en zijn er ruim medewerkers werkzaam. Het credo van HR luidt: Overtref jezelf. Aan de hand hiervan streeft men er naar om in de behoefte aan hoogopgeleide professionals voor de regio Rotterdam te voorzien. Dat moet gebeuren in een stedelijke context met een relatief laag opgeleide beroepsbevolking. Men probeert uitvoering aan het credo te geven door het aanbieden van regulier bachelor en master onderwijs maar ook door het verzorgen van Associate Degree programma s en Excellentieprogramma s. Onlangs is de strategische verbeteragenda Focus uitgebracht. Die agenda is gericht op het verbeteren van het eindniveau van met name de bacheloropleidingen. Het onderzoek van de hogeschool is daarbij dienstbaar aan het onderwijs. HR heeft een onderwijsmodel ontwikkeld (ROM) dat gebaseerd is op drie pijlers: 1) praktijkgestuurd, 2) kennisgestuurd en 3) studentgestuurd. Daarbij draagt de beroepspraktijk bij aan de ontwikkeling van de curricula en dragen de lectoren, docenten en studenten bij aan de innovatie van de beroepspraktijk. Binnen dit model probeert men het eindniveau van de bacheloropleidingen te verhogen door 1) synergie tussen onderwijs, onderzoek en praktijk te bevorderen, 2) het bewerkstelligen van een hogere onderwijsintensiteit, 3) het versterken van de professionaliteit van de docenten en 4) verbinding te maken met de regio Rotterdam. In een driehoek die gevormd wordt door onderzoek, onderwijs en praktijk speelt het onderzoek in de realisatie van deze visie een belangrijke verbindende en ontwikkelende rol. De inspanningen dienen uiteindelijk te leiden tot innovatieve, praktische en resultaatgerichte professionals met een ondernemende houding, gericht op samenwerking met oog voor de maatschappelijke context. Om de onderwijs- en onderzoeksactiviteiten te richten zijn er in samenwerking met de Economic Development Board Rotterdam zes inhoudelijke speerpunten ontwikkeld met de daaraan gekoppelde onderzoekslijnen: 1. Creatieve industrie (Revolutie in de Maakindustrie, Communication in a Digital Age, Creative Business, Human-centered ICT, Cultural Diversity); 2. Duurzame technologie (Duurzame innovatie in bouwen, mobiliteit en energie); 3. Haven (Innovatie in de Procesindustrie, Innovatie in de Logistiek, Innovatie in de Maritieme Sector, Succesfactoren Haven 2030); 4. Ondernemerschap (Mapping success & failure of sustainable business innovations, Learning companies: bringing innovative business together, International outreach: doing business across borders (); 5. Talentontwikkeling (Opvoeder empowerment, Brede School, Talentontwikkeling risicojongeren, Doorstroom & doorlopende leerlijn); 6. Zorg (Participatie en Zelfmanagement, Evidence Based Care, Samenhang in Zorg, met als overkoepelend thema Zorginnovatie en Technologie). Binnen deze 6 speerpunten wordt de gerichtheid op de regio aangebracht door een keuze voor 2 thema s: 1) duurzame ontwikkeling van de Rotterdamse haven en industrie (logistiek, chemie en energie) en 2) integrale aanpak van sociaal economische en maatschappelijke problemen in Rotterdam Zuid. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 4

5 Het onderwijs wordt verzorgd binnen 11 onderwijsinstituten. Het onderzoek wordt uitgevoerd in 6 kenniscentra en er zijn 9 hogeschoolbrede diensten. Daarnaast zijn er nog de RDM-campus (samenwerking op het gebied van onderwijs en onderzoek tussen mbo, hbo, Havenbedrijf en overige bedrijven en technische universiteiten), Rotterdam Academy (ontwikkelen van Associate Degree programma s) en Mainport University (samenwerkingsomgeving met o.a. STC waarin een aantal technische hbo-opleidingen verzorgd worden in een simulatierijke omgeving). Zie ook bijlage 2. Sinds 2012 is al het onderzoek ondergebracht in zes kenniscentra die alle weer ondergebracht zijn in één Instituut voor Onderzoek en Innovatie (IOI). Het kwaliteitszorgsysteem voor onderzoek is gebaseerd op het aggregatieniveau van de kenniscentra. De jaarcijfers 2011 die door de VKO worden geïnventariseerd laten met betrekking tot. het onderzoek van HR het volgende beeld zien: Hogeschool Rotterdam Landelijk gemiddelde Positie t.o.v. 38 hogescholen Financieel Totale financiële bijdrage per student 267,35 344,29 21 Rijksbijdrage per student 203,78 214,53 24 Raak-bijdrage per student 20,02 38,58 18 Internationale bijdrage per student 0,00 28,54 16 Overige bijdrage per student 43,55 81,41 22 Personeel Aantal studenten per lector (landelijk streefcijfer: 720) 1,792 1, Aantal fte s per lector 0,44 fte 0,54 fte 32 Percentage gepromoveerde lectoren 46 % 74 % 31 Percentage docent-onderzoekers van docenten 8,6 % 12,0 % 28 Gemiddelde fte per docent-onderzoeker 0,32 fte 0,26 fte 6 Percentage gepromoveerde onderzoekers 8,0 % 12,6 % 19 Percentage promovendi van docenten 1,66 % 2,66 % 28 Gemiddelde fte per promovendus 0,40 fte 0,42 fte 19 Percentage student-onderzoekers 3,0 % 3,4 % 22 Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 5

6 3. Bevindingen De VKO kon beschikken over een zeer uitgebreide documentatie in de vorm van het zelfevaluatierapport en een grote hoeveelheid notities, beleidsdocumenten, evaluatiedocumenten, organisatieplannen (zie bijlage 3 voor het overzicht van de bestudeerde documenten). Het vereiste van het validatiepanel soms enige speurzin om de status, de onderlinge relatie en de relevantie van de documenten te bepalen. De VKO heeft in haar oordeelsvorming veelvuldig gebruik gemaakt van deze documentatie. De validatiecommissie constateert dat de medewerkers een grote betrokkenheid demonstreren bij de onderzoekstaak van HR. In het zelfevaluatierapport (in mindere mate), maar vooral in de interne audit en in de gesprekken die het validatiepanel gevoerd heeft met medewerkers, is men niet terughoudend in het signaleren van zaken die goed gaan en zaken die verbetering behoeven. De gesprekken waren te karakteriseren als open en in een aantal daarvan durfde men zich kwetsbaar op te stellen. Conform het basisdocument dient de VKO de volgende vier validatievragen te beantwoorden: 1. Is er sprake van voldoende structuur en samenhang in de kwaliteitszorg van de hogeschool (ten aanzien van onderzoek)? 2. Zijn er voldoende randvoorwaarden voor de uitvoering van de kwaliteitszorg (ten aanzien van onderzoek)? 3. Worden de onderzoekevaluaties op deskundige en onafhankelijke wijze uitgevoerd en conform de brancheafspraken hierover? 4. Worden evaluaties gebruikt voor de handhaving en verbetering van de kwaliteit van het onderzoek en de organisatie? Hieronder structureert de validatiecommissie haar bevindingen aan de hand van deze vier vragen in respectievelijk de paragrafen 3.1, 3.2, 3.3 en 3.4. Elk van deze vier paragrafen wordt afgesloten met mogelijkheden voor verbetering op de voor de validatievraag relevante onderwerpen Structuur en samenhang in de kwaliteitszorg Beschrijving Het was voor de validatiecommissie niet eenvoudig om zich een beeld te vormen over de structuur van en de samenhang in de kwaliteitszorg van het onderzoek. Dat was enerzijds het gevolg van het gegeven dat er met name in de jaren 2012 en 2013 hard gewerkt is aan een duidelijkere profilering van HR. Die profilering is echter zodanig nieuw dat de sporen ervan nog niet overal en in voldoende mate terug te vinden zijn in de uitvoering van de kwaliteitszorg van het onderzoek. Anderzijds laat het verdere verleden een situatie zien waarin de positionering van het onderzoek de afgelopen 10 jaar vele veranderingen heeft doorgemaakt. Om redenen van met name (on)herkenbaarheid, te grote verwijdering van het onderwijs en versnippering, is ongeveer iedere 3 jaar een nieuwe organisatorische oplossing geïntroduceerd. In de laatste 10 jaar waren er vier aanpassingen in de inbedding en aansturing van het onderzoek.. Dit zoekende proces naar de meest ideale positionering van het onderzoek heeft uiteraard gevolgen voor de inrichting, de uitvoering en vooral de continuïteit van de kwaliteitszorg van het onderzoek. Het credo van HR Overtref jezelf wordt ondersteund door de missie van HR die ruim tien jaar geleden is vastgesteld. In die missie wordt er expliciet voor gekozen om de hogeschool sterker te verbinden met de Rotterdamse omgeving. De energie die vrijkwam door het afstoten van taken die niet direct met de oriënta- Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 6

7 tie op Rotterdam te maken hadden, werd ingezet om een omslag te maken van een sterk intern gerichte instelling naar een meer met de regionale omgeving verbonden hogeschool. Een en ander had gevolgen voor de positionering van het onderzoek in de organisatie. In 2010 is er voor gekozen om het onderzoek onder te brengen in zes kenniscentra. In 2012 zijn deze afzonderlijke kenniscentra gebundeld in het Instituut voor Onderzoek en Innovatie (IOI). Dit met het oog op het bevorderen van synergie, interdisciplinaire samenwerking, kennisdeling en efficiëntere bedrijfsvoering. De zes kenniscentra hebben elk een eindverantwoordelijk programmadirecteur. De kenniscentra weten zich gesteund door een backoffice op IOIniveau. De werkzaamheden van het backoffice hebben betrekking op personeel, financiën, communicatie, kwaliteitszorg, werving van onderzoeksprojecten en kennisoverdracht. Het backoffice wordt aangestuurd door een directeur bedrijfsvoering. Recentelijk heeft de missie een aanscherping gekregen in het Focusprogramma. In dit programma wordt expliciet gekozen voor het streven naar een hoger eindniveau van m.n. de bacheloropleidingen. Voor het onderzoek is daarbij een belangrijke rol weggelegd. Het onderzoek dient in dienst te staan van de kwaliteitsverhoging van het onderwijs. Er is een gezamenlijke verantwoordelijkheid van de onderwijsinstituten en de kenniscentra met betrekking tot 1) het opleiden van kritische en onderzoekende professionals, 2) het eindniveau van de opleidingen (onderzoeksvaardigheden en actuele vakinhoud) en 3) het terugploegen van de onderzoeksresultaten in de opleidingen. Al het onderzoek dient gericht te zijn op de problematiek in de beroepspraktijk van de stad Rotterdam én dient een substantiële spin-off voor het onderwijs te hebben. Onderwijsdirecties en kenniscentrumdirecties maken daartoe afspraken over afstemming van de strategische plannen en jaarplannen voor het onderwijs en het onderzoek. Van de kenniscentra en de lectoraten wordt verwacht dat zij vanuit het onderwijsperspectief meer focus gaan aanbrengen in de onderzoeksactiviteiten. Kenniscentra worden primair aangesproken op hun bijdrage aan het bacheloronderwijs. Zij zijn medeverantwoordelijk voor het niveau, en de beoordeling daarvan en het realiseren van kwalitatief en operationeel goede minoren, afstudeertrajecten en praktijkopdrachten. Tenslotte moeten de kenniscentra bijdragen aan de deskundigheidsbevordering van docenten en het versterken van de (strategische) verbinding tussen opleidingen en de beroepspraktijk. De beroepspraktijk is daarbij richtinggevend voor het onderwijs en het onderzoek. Deze nadere focus heeft wederom gevolgen voor de positionering van het onderzoek. Met ingang van 1 september 2013 zal het IOI in de huidige constellatie weer afgebouwd worden. De zes kenniscentra en de Dienst Ondersteuning Kenniscentra zullen, gelijk aan de onderwijsinstituten, direct aangestuurd worden door het College van Bestuur. In een kwaliteitszorgsysteem voor het onderzoek dient de (basis)kwaliteit van het onderzoek geëxpliciteerd te worden. HR heeft het kwaliteitsbeleid uitgewerkt in twee documenten: het Kwaliteitsbeleid Hogeschool Rotterdam en de nadere uitwerking daarvan in het Handboek Kwaliteit Hogeschool Rotterdam. Kwaliteit is doelbereiking is de kern van het kwaliteitsbeleid van HR. Daarbij zijn drie elementen van belang: 1) doelbepaling: wat wil HR bereiken, 2) doelbereiking: hoe wil HR dat bereiken en 3) kwaliteitscultuur: op welke wijze wordt voldoende draagvlak en openheid gecreëerd om de gestelde doelen te bereiken. Ter ondersteuning van de hiervoor genoemde drie elementen is er binnen HR een kwaliteitszorgsysteem ontwikkeld met als kern de Plan, Do, Check en Act-cycli (PDCA-cycli). Deze cycli moet het bestuur en het management in staat stellen om in control te zijn van de organisatie door te bewaken dat er verbinding ontstaat tussen de missie van de hogeschool en de planningsafspraken met de afzonderlijke medewerkers. De PDCA-cycli zijn dus gericht op de interne verantwoordingsstructuur rondom doelbepaling, doelbereiking en de hiervoor benodigde randvoorwaarden zoals financiële middelen en personele inzet. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 7

8 De kwaliteitscycli bestaan uit een vierjarige en eenjarige verbetercyclus. Eens in de vier jaar stelt het College van Bestuur een strategisch plan op (position paper). Dit plan biedt inzicht in de middellange termijnontwikkelingen van de stad, de regio, de nationale en de internationale omgeving alsmede de strategie en doelen van de hogeschool. Tijdens de totstandkoming van het position paper wordt er een kritische dialoog gevoerd met externe stakeholders, medewerkers (waaronder lectoren en onderzoekers), directies van instituten en diensten en de Centrale Medezeggenschapsraad. De vierjarige strategische doelen uit het position paper worden doorvertaald naar de vierjarige strategische plannen van de onderwijsinstituten, de diensten en de kenniscentra. Ook deze plannen komen tot stand in afstemming met interne en externe stakeholders. Het is belangrijk dat deze strategische plannen m.b.t. onderwijs en onderzoek wederzijds goed op elkaar afgestemd zijn. De eenjarige cycli zijn gericht op de operationalisering van de vierjarige plannen. Jaarlijks brengt het College van Bestuur een kaderbrief (beleidsagenda) uit waarin staat aangegeven welke de inhoudelijke prioriteiten zijn en welke middelen beschikbaar komen voor de diensten en de instituten. Bovendien wordt vastgelegd welke middelen beschikbaar komen voor de strategische speerpunten en innovatie. Het position paper in combinatie met de kaderbrief levert ook aanknopingspunten op voor prestatieindicatoren waarmee grip wordt gehouden op de belangrijkste doelstellingen. Deze indicatoren worden jaarlijks vastgesteld na consultatie van directies van onderwijsinstituten, kenniscentra, diensten en inspraakorganen. De centrale kaderbrief, de prestatie-indicatoren en de decentrale strategische plannen van de onderwijsinstituten en kenniscentra vormen de basis om tot jaarplannen voor deze organisatie-eenheden te komen. In de jaarplannen van de afzonderlijke kenniscentra wordt aandacht besteed aan de overkoepelende doelen van de afzonderlijke kenniscentra en aan de doelen van de onderzoekslijnen. Met name wordt aandacht besteed aan het onderzoek, de bijdrage aan het onderwijs, de professionalisering van de docenten en de bijdrage aan de beroepspraktijk en de samenleving. Ook wordt aandacht besteed aan de doelen op het gebied van kwaliteitsbewaking. Naast deze planningsdocumenten zijn er ook monitoringsinstrumenten ontwikkeld om de voortgang te kunnen volgen. Op hogeschoolniveau vinden minimaal drie keer per jaar bilaterale gesprekken plaats tussen het College van Bestuur en, voor zover deze het onderzoek betreffen, met de directie van het kenniscentrum. Naar bevind van zaken kunnen er tussentijds bijsturende acties afgesproken worden. Binnen de kenniscentra voert de programmadirecteur overleg over de realisatie van de doelen met de lectoren. Ook hier kunnen naar bevind van zaken tussentijds bijsturende afspraken gemaakt worden. Uiteindelijk vinden er plannings-, functionerings- en beoordelingsgesprekken plaats tussen de programmadirecteur of de lector met de individuele onderzoekers. Naast de hiervoor beschreven interne kwaliteitsprocessen vinden er op het gebied van onderzoek ook externe onderzoeksevaluaties plaats. Dat gebeurt één keer in de zes jaar. Daarbij baseert HR zich op het Brancheprotocol Kwaliteitszorg Onderzoek(BKO). Het aggregatieniveau waarop deze externe onderzoeksevaluaties plaatsvinden is het kenniscentrum. Als aanvulling op deze externe onderzoeksevaluaties voert de dienst Auditoring, Monitoring & Control (AMC) interne midterm audits uit waarin bepaald wordt of het betreffende kenniscentrum op koers ligt in de richting van de externe onderzoeksevaluatie. Op basis van gesprekken met intern verantwoordelijken en stakeholders maken de auditors van de dienst AMC een analyse van de stand van zaken en worden verbeterpunten aangereikt. De Handreiking Externe Onderzoeksevaluaties en Interne Audits en het Backoffice IOI bieden de kenniscentra ondersteuning bij het proces rondom externe evaluaties en interne audits. Op hogeschool-niveau vindt er eveneens een externe evaluatie plaats. Deze externe evaluatie, zoals beschreven in het BKO, valideert het kwaliteitszorgsysteem voor het onderzoek van de hogeschool. Evenals Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 8

9 bij de externe onderzoeksevaluaties vindt ook hier een midterm interne audit plaats die uitgevoerd wordt door de dienst AMC. Vanaf 2009 zijn de hogescholen zelf verantwoordelijk voor het organiseren van externe evaluaties. In 2010 en 2011 zijn drie externe beoordelingsrapporten uitgebracht van onderzoekseenheden die nu in het grotere verband van kenniscentra zijn ondergebracht. In 2011 en 2012 zijn geen externe beoordelingsrapporten uitgebracht. In mei 2013 is een eerste beoordelingsrapport verschenen op het niveau van een kenniscentrum. Vanaf 2013 is er een op basis van de huidige kenniscentra een integrale planning voor de komende zes jaar opgezet m.b.t. de externe evaluaties en de interne audits. Een tweede externe beoordeling op het niveau van een kenniscentrum staat gepland voor oktober Observaties en oordeel Het Zelfevaluatierapport Onderzoek Hogeschool Rotterdam is overwegend gebaseerd op beleid dat pas recentelijk ontwikkeld is. Het overgrote deel van de documenten die als bijlagen toegevoegd waren aan het zelfevaluatierapport stamt uit 2012 of Veel van deze documenten vergen nog een nadere uitwerking. Bovendien zijn de beleidsplannen en uitvoeringsplannen van zo recente datum dat het effect ervan in de praktijk nog moet blijken en derhalve ten tijde van de validatie nog niet te beoordelen was. Hierdoor heeft het in de zelfevaluatie beschreven kwaliteitszorgsysteem nog een sterk intentioneel karakter dat zich later in de praktijk moet gaan bewijzen. De hoge productie van beleidsdocumenten het afgelopen jaar, heeft tot gevolg gehad dat deze documenten een nog weinig op elkaar afgestemde indruk maken. De validatiecommissie beveelt dan ook aan om een goede regie te voeren op het verder systematisch ontwikkelen en nader afstemmen op elkaar van nog te ontwikkelen en bestaande beleidsdocumenten. Er was weinig informatie beschikbaar over de wijze waarop het kwaliteitszorgbeleid in het verdere verleden is uitgevoerd. Maar uit de documentatie en de gesprekken bleek dat dat een overwegend incidenteel karakter had. HR is lange tijd zoekende geweest naar de optimale positionering van het onderzoek in de organisatie, zowel inhoudelijk als organisatorisch. Dit heeft het afgelopen decennium geleid tot steeds weer wisselende organisatorische oplossingen die elkaar snel opvolgden. Dat zorgde voor een zekere onrust in de organisatie en bood onvoldoende mogelijkheden om tot consolidatie van de onderzoeksfunctie te komen. De nieuwste wijziging zal ingevoerd worden op 1 september Daardoor kan de validatiecommissie nu geen uitspraak doen over de effecten ervan op het onderzoek en meer in het bijzonder op de kwaliteitszorg van het onderzoek. De validatiecommissie spreekt de hoop uit dat met de invoering van de aangepaste organisatiestructuur er een stevige en meer duurzame basis is gelegd om het onderzoeksbeleid verder te ontwikkelen en uit te voeren. De validatiecommissie heeft veel waardering voor de door HR ontwikkelde visie op de samenhang tussen onderwijs, onderzoek en praktijk zoals die de laatste jaren ontwikkeld is. Ook is er veel waardering voor het tempo waarin dat is gebeurd maar de validatiecommissie wil er graag voor waarschuwen dat een hoog tempo ten koste kan gaan van het creëren van voldoende draagvlak binnen de organisatie en ten koste kan gaan van de zorgvuldigheid waarmee de vervolgstappen genomen gaan worden. Hierdoor kan de kwaliteit van de ontwikkelde producten, diensten en processen onder druk komen te staan. Bovendien zorgt de recente hoge productie van beleidsdocumenten er voor dat het lastiger voor de medewerkers wordt om zich Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 9

10 het nieuwe beleid eigen te maken en te internaliseren. Als dat niet in voldoende mate gebeurt, ontstaat het gevaar van het creëren van een papieren werkelijkheid. Met name het verbeterprogramma Focus geeft duidelijk richting aan het uit te voeren beleid waarin de verbetering van het eindniveau van de bacheloropleidingen centraal staat. De validatiecommissie erkent het belang van de onderzoeksfunctie in dit proces. Maar het gevaar is niet denkbeeldig dat de focus op het dienstbaar zijn van het onderzoek aan het onderwijs de veel bredere functie van het praktijkgerichte onderzoek doet versmallen. De onderzoeksfunctie, ook in het HBO, heeft een sui generis positie ten opzichte van de onderwijsfunctie. Doelen, organisatie, methode van werken en randvoorwaarden van het onderzoek stellen nu eenmaal vaak andere of aanvullende eisen dan de eisen die gesteld worden aan de onderwijsfunctie. De validatiecommissie pleit er voor om goed af te wegen of de gewenste sterke relatie tussen onderwijs en onderzoek niet te veel ten koste gaat van de overige doelen en de kwaliteit die de onderzoekseenheden dienen na te streven. De voorgestelde directe aansturing van afzonderlijke onderwijsinstituten en kenniscentra door het College van Bestuur kan een garantie zijn dat er tot een goede afstemming gekomen zal worden mits bij het College van Bestuur voldoende erkenning is voor de eerder genoemde sui generis positie van het praktijkgerichte onderzoek. Het viel de validatiecommissie op dat er nog weinig en weinig diepgaande documenten op hogeschoolniveau beschikbaar zijn waarin het eigene van het praktijkgeoriënteerde onderzoek beschreven staat. Slechts in het document De Ontwikkeling van de Onderzoeksfunctie (september 2012) wordt een outline beschreven voor de visie op onderzoek van HR. De daarop volgende Beleidsnotitie Praktijkgericht Onderzoek (december 2012) biedt hierop niet veel verdieping. Doordat de visie op dit gebied nog niet duidelijk is, is het lastig om vast te stellen wanneer HR tevreden is over haar onderzoek en ontbreekt er een hechte basis om kwaliteitsdoelen en daarvan afgeleide indicatoren te ontwikkelen. Kortom, HR dient terug te gaan naar de basis en eerst de vraag te beantwoorden wat de kern van het praktijkgerichte onderzoek is, welke (domeinspecifieke) methodologieën geëigend zijn om het praktijkgerichte onderzoek kwalitatief goed uit te voeren, wat in algemene termen de impact van het onderzoek moet zijn en wanneer men tevreden is over het uitgevoerde onderzoek. Als dat helder is, ontstaat er een veel steviger basis om heldere kwaliteitsdoelen en daaraan afgeleide indicatoren te ontwikkelen. Nu is het meer een inspanningsverplichting en nog teveel inputgericht en te weinig outputgericht ( we weten niet wanneer het goed is ). Het kwaliteitsbeleid van HR is in grote lijnen beschreven in het document Het Kwaliteitsbeleid Hogeschool Rotterdam (januari 2012). Dit kwaliteitsbeleid wordt verder uitgewerkt in het Handboek Kwaliteit Hogeschool Rotterdam (februari 2012) waarin de werking van de PDCA-cyclus wordt weergegeven. In de zelfevaluatie is aangekondigd dat het handboek zijn concrete vertaling zal krijgen in handboeken op maat voor de instituten en de diensten. Op het tijdstip van het validatiebezoek was het handboek voor de kenniscentra nog niet beschikbaar en de validatiecommissie heeft hierover dus geen oordeel kunnen geven en zeker niet het effect ervan op de onderzoekspraktijk kunnen bepalen. In het zelfevaluatierapport van HR staat aangekondigd dat de kwaliteitszorg een vast onderdeel zal zijn van de meerjarenplannen en de jaarplannen van de instituten en de kenniscentra. In de jaarplannen waar de validatiecommissie kennis van heeft kunnen nemen is dat nog niet het geval. De validatiecommissie constateert dat de kwaliteitszorg m.b.t. het onderzoek nog overwegend systeemgeoriënteerd en minder doel-georiënteerd is. De procesvoering is onvoldoende. Dat wordt verwoord door de voorzitter van het CvB die stelt dat hij kijkt naar het systeem en de gezondheid daarvan op het niveau Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 10

11 van de kenniscentra. Hoe verlopen de procedures en hoe kom je tot themakeuze. Die keuze is op zich te waarderen in de top van de organisatie maar leidt er ook toe dat het gehele kwaliteitszorgsysteem tot diep in de organisatie gedreven wordt door systemen die weinig gebaseerd zijn op een inhoudelijke kwaliteitsbeschrijving. Dat leidt er toe dat circumstantial evidence een belangrijkere rol in het kwaliteitszorgsysteem speelt dan direct evidence. De validatiecommissie is er van overtuigd dat, indien er werk gemaakt wordt van het formuleren van de inhoudelijke kwaliteitsdoelen, er veel meer sprake zal zijn van direct evidence. Mogelijkheden voor verbetering 1. Verstevig de regie op het ontwikkelen van onderzoeksbeleid en de productie van onderzoeksdocumenten waardoor deze systematischer ontwikkeld worden en er meer samenhang gaat ontstaan. 2. Bevorder een stabiele organisatiestructuur rond het onderzoek die bijdraagt aan de verbetering en consolidatie van de onderzoeksfunctie. 3. Ga door op de weg waarbij onderwijs, onderzoek en praktijk steeds meer met elkaar in verband gebracht worden. Doe dat met de voortvarendheid waarmee dat de afgelopen tijd gebeurd is maar waak er voor dat het gekozen tempo niet ten koste gaat van draagvlak, kwaliteit en het vermogen om het beleid te internaliseren. 4. Hoeveel waardering er ook is voor het dienstbaar zijn van het onderzoek voor het verbeteren van het eindniveau van het onderzoek van de bacheloropleidingen, houd de ogen goed geopend voor de bredere taak die het praktijkgericht onderzoek heeft en het sui generis karakter van dit soort onderzoek. 5. Ontwikkel een heldere visie op de inhoudelijkheid van het praktijkgericht onderzoek in de context van de Rotterdamse omgeving. Baseer op deze visie heldere kwaliteitsdoelen en leidt daar even duidelijke indicatoren van af. 6. Probeer de omslag te maken van het systeemgeoriënteerd denken m.b.t. de kwaliteitszorg van het onderzoek in een doelgeoriënteerd denken. 7. Voltooi het in gang gezette proces m.b.t. het ontwikkelen van het kwaliteitszorgsysteem en zorg voor een gedisciplineerde organisatiebrede uitvoering daarvan aan de hand van een sluitende PDCA-cyclus. Let er op dat bij het doorontwikkelen van het kwaliteitszorgsysteem er geen overbodige detaillering gaat ontstaan die onvoldoende meerwaarde biedt voor de beleidsvorming, de organisatie en de uitvoering van het onderzoek. Efficiency van het systeem moet in balans zijn met de effectiviteit ervan Randvoorwaarden voor de uitvoering van de kwaliteitszorg Beschrijving Naast de hogeschoolbrede aanpak van de kwaliteitszorg zijn m.b.t. het onderzoek twee interne organisatieeenheden van groot belang bij de ontwikkeling en de uitvoering van de kwaliteitszorg. Dat betreft het Backoffice IOI, dat onderdeel uitmaakt van het Instituut voor Onderzoek en Innovatie en de Dienst Auditing, Monitoring & Control. Binnen het IOI, waar al het onderzoek is ondergebracht, wordt ieder kenniscentrum aangestuurd door een programmadirecteur die eindverantwoordelijk is voor de kwaliteit van de activiteiten van zijn kenniscentrum. Het IOI wordt geleid door een managementteam. Dat managementteam bestaat uit de zes program- Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 11

12 madirecteuren en de directeur Bedrijfsvoering. Binnen het managementteam is een portefeuilleverdeling gemaakt met aandachtsgebieden zoals, professionalisering, kwaliteitszorg, verbinding met het onderwijs en communicatie. Daar gaat verandering in komen. Met ingang van september 2013 zal het IOI ontbonden worden en zal in de strategische aansturing de één op één koppeling tussen kenniscentrum en de daarmee inhoudelijke verwante onderwijsinstituten tot stand gebracht worden. De strategische afstemming gebeurt in gezamenlijk overleg tussen de portefeuillehouder van het College van Bestuur, de directie van het onderwijsinstituut en de programmadirecteur van het kenniscentrum. Het Backoffice IOI heeft als taak om de kenniscentra te ondersteunen m.b.t. de planning- en controlcyclus, de werving van onderzoeksprojecten, de uitvoering van de onderzoeksprojecten, de kennisoverdracht van de onderzoeksresultaten, de interne audits en de externe onderzoeksevaluaties, de beleidsontwikkeling en implementatie. Het is niet precies duidelijk welke middelen beschikbaar zijn voor de uitvoering van de taken van het Backoffice. In ieder geval is vastgelegd dat 20 % van middelen uit de eerste geldstroom die beschikbaar worden gesteld voor lectoren, bestemd zijn voor deze vorm van centrale ondersteuning. Het Backoffice is organisatorisch ondergebracht bij de het IOI maar heeft relaties met hogeschool diensten die zich ook met vergelijkbare taken bezighouden die echter meer gericht zijn op het onderwijs. Het Backoffice zal na de reorganisatie van september 2013 als zelfstandige eenheid blijven voortbestaan. De dienst Auditing, Monitoring & Control is een zelfstandige dienst die verantwoordelijk is voor het ontwikkelen en uitvoeren van alle audit- en controlprocessen binnen HR, dus ook voor het onderzoek. De kwaliteit van het onderzoek wordt uiteraard niet alleen bepaald door de kwaliteitszorg op zich maar met name door de beschikbare financiële middelen die beschikbaar zijn voor het onderzoek. In de begroting van 2013 worden de uitgaven voor het IOI geraamd op ca. 11 miljoen op een totale HR-begroting van 260 miljoen. Observaties en oordeel De positionering van het onderzoek binnen HR kent een woelig verleden. De afgelopen tien jaar is die positionering vele malen gewijzigd en aangepast. Het IOI, waarin het onderzoek is ondergebracht, is in september 2011 effectief van start is gegaan. De redenen om het onderzoek in één instituut onder te brengen waren het bevorderen van synergie, interdisciplinair samenwerken, kennisdeling en efficiënte bedrijfsvoering. De aansturing van het instituut en de daarin ondergebrachte onderzoekseenheden vergen veel mankracht. Zeven directeuren houden zich daar, uiteraard part-time, mee bezig om tot interne en externe afstemming te komen. De validatiecommissie beoordeelt dit als weinig efficiënt. Per september 2013 wordt het IOI weer ontmanteld en de onderzoekseenheden worden in de strategische aansturing één op één gekoppeld aan de onderwijsinstituten om de doelstellingen van het Focus-programma te realiseren. Het IOI zal in die situatie gaan functioneren als een bedrijfsbureau voor de kenniscentra. Deze bedrijfsbureaus leveren het maatwerk, aanvullend op de kaders die gesteld worden door de centrale diensten. De voortdurende organisatorische veranderingen hebben gevolgen gehad voor de beheersprocessen en dus ook voor de kwaliteitszorgprocessen van de organisatie. Die veranderingen hebben er toe bijgedragen dat de beheersprocessen nog weinig volwassen en stabiel zijn. De validatiecommissie hoopt dat met de aanpassing van de organisatie per september 2013 een situatie gaat ontstaan waarin de positie van het onderzoek meer geconsolideerd wordt en er ruimte gaat ontstaan om de ondersteunende processen eenvoudiger, beter en duurzamer te ontwikkelen. Aanpassing van de organisatie aan de veranderende interne en externe omgeving is een belangrijke voorwaarde om tot kwaliteit te komen maar ook een zeker stabiliteit van de organisatie is evenzeer een kwaliteitskenmerk. Tussen beide uitgangspunten zal een goed evenwicht gevonden Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 12

13 moeten worden waarbij de validatiecommissie van mening is dat voor HR het accent de komende tijd zal moeten leggen op het ontwikkelen van een duurzame stabiliteit. Gezien het streven van HR om de kwaliteit van de bacheloropleidingen te verhogen en het onderzoek daarbij een belangrijke rol te laten spelen is de organisatorische oplossing die men gekozen heeft een voor de hand liggende oplossing. Maar zoals reeds in paragraaf 3.1 is vermeld, vraagt de validatiecommissie voldoende aandacht te besteden aan de het bredere takenpakket van het praktijkgerichte onderzoek dan de ondersteuning van het onderwijs. De validatiecommissie constateert dat er onvrede is over de kwaliteit van de dienstverlening van de centrale diensten. De onderzoekers stellen dat die vormen van dienstverlening nog te veel afgeleid zijn van de onderwijsfunctie en dat er bij deze diensten te weinig kennis en ervaring is met het ondersteunen van de onderzoeksfunctie. Daardoor worden veel werkzaamheden binnen de onderzoeksgroepen in eigen beheer genomen of in enkele gevallen zelfs verdubbeld om er zeker van te zijn dat het werk goed uitgevoerd wordt. De validatiecommissie hoopt dat de nieuwe situatie, waarin het IOI de positie als bedrijfsbureau tussen de centrale diensten en de kenniscentra gaat innemen, ook zijn effect zal krijgen: voor de kenniscentra betere ondersteuning; voor de centrale diensten verhoging van kennis van en affiniteit met de onderzoeksfunctie van de hogeschool. De validatiecommissie wil graag zijn waardering uitspreken over de bestudeerde auditrapporten van de dienst Auditing, Monitoring & Control. Deze rapporten getuigen van een heldere integere analyse op basis van herkenbare ijkpunten en even heldere aanbevelingen. Maar de validatiecommissie dringt er wel op aan om deze audits met regelmaat en op de afgesproken tijden uit te voeren opdat er voldoende tijd beschikbaar komt om verbeterplannen uit te voeren. HR heeft een hoog ambitieniveau verwoord dat in een complexe externe stedelijke omgeving gerealiseerd moet worden. Volgens die ambitie moet de kwaliteit van de bacheloropleidingen verhoogd worden en het praktijkgerichte onderzoek dient daaraan dienstbaar te zijn. De validatiecommissie vraagt zich af of het brede en zware takenpakket van de kenniscentra op voldoende wijze financieel ondersteund wordt om de ambitie waar te maken. Zij constateert dat ook andere en vergelijkbare hogescholen zwaarder inzetten op het verbeteren van de relatie tussen onderwijs en onderzoek maar daarbij kunnen rekenen op hogere budgetten. Uit de landelijke onderzoekscijfers blijkt dat HR met betrekking tot de interne en de externe financiële inkomstenstromen onder het gemiddelde scoort. De validatiecommissie beveelt graag aan om daar waar dat nodig is, de benodigde financiële onderzoeksinvesteringen in relatie te brengen tot het ambitieniveau van de organisatie. Mogelijkheden voor verbetering 1. Steef naar en stabiele en duurzame organisatorische positie van de onderzoeksfunctie 2. Heroverweeg de zelfstandige organisatorische positie van het Backoffice zoals die per september 2013 is voorzien. 3. Verbeter de dienstverlening van de ondersteunende diensten t.b.v. de onderzoeksfunctie. 4. Draag zorg voor heldere sturingsprincipes (centraal/decentraal) in de nieuwe organisatiestructuur van het onderzoek en zorg voor de beschikbaarheid van adequate sturingsinformatie. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 13

14 5. Overweeg of de financiële investeringen m.b.t. het onderzoek in verhouding staan tot de ambitieuze doelen die HR voor ogen heeft Evaluaties van de Onderzoekseenheden Beschrijving Tot op heden zijn er vanaf 2009 vier externe onderzoeksevaluaties afgerond. Drie van deze evaluaties waren nog niet gebaseerd op de huidige indeling van de kenniscentra maar hadden betrekking op enkele onderzoekseenheden die momenteel deel uitmaken van deze zes kenniscentra. Voor de periode 2012 tot en met 2017 is een planning opgesteld voor de zes-jaarlijkse externe evaluaties van de zes kenniscentra. Deze planning voorziet eveneens in een midterm interne audit die door de dienst Auditing, Monitoring & Control (AMC) wordt uitgevoerd. Het proces van externe onderzoeksevaluaties en interne audits is beschreven in het document Handreiking Onderzoeksevaluaties en Interne Audits (mei 2013). In dit document wordt aandacht besteed aan de planning en de procesbeschrijving van de externe onderzoeksevaluaties en de interne audits. De vijf evaluatievragen die genoemd staan in het BKO worden nader uitgewerkt in een aantal inhoudelijke vragen. Het document is tot stand gekomen in mei 2013 en er is derhalve nog niet bekend wat het resultaat en de doorwerking ervan zal zijn bij de onderzoeksevaluaties en de audits. In het document Procedure Toetsing en Benoeming Commissieleden bij Externe Onderzoeksevaluaties (november 2012) wordt beschreven welke de opdracht is van de leden van de externe evaluatiecommissies en welke eisen gesteld worden aan deskundigheid en de mate van onafhankelijkheid van deze commissieleden. De commissies die tot op heden actief zijn geweest, zijn breed van samenstelling met vertegenwoordiging vanuit de wetenschap, de beroepspraktijk en het onderwijs. Ze bestaan uit vijf personen. De commissie wordt bijgestaan door een externe secretaris. De commissie sprak in alle tot op heden gerealiseerde onderzoeksevaluaties met het College van Bestuur, Instituutsdirecties, Lectoren, Onderzoekers en Studenten. Het evaluatiebezoek besloeg 1,5 à 2 dagen. Observaties en oordeel De validatiecommissie heeft diepgaand kennis genomen van externe evaluatieprocessen van drie onderzoekseenheden: het Kenniscentrum Transurban, de Kenniskring Innovatie, Energie & Productrealisatie en het Kenniscentrum Kennis van Zorg. De commissie was met name onder de indruk van de prestaties die het Kenniscentrum Kennis van Zorg geleverd heeft: hoge productie, hoge kwaliteit en een groot netwerk. Bovendien kan het kenniscentrum rekenen op een ruime externe financiering. Het proces van onderzoeksevaluaties en interne audits is duidelijk beschreven in het document Handreiking Onderzoeksevaluaties en Interne Audits. De validatiecommissie heeft veel waardering voor de nadere uitwerking van de vijf evaluatievragen uit het BKO. Die bieden een duidelijke inhoudelijke sturing aan het evaluatieproces. Omdat dit document pas in mei 2013 tot stand is gekomen, is door de validatiecommissie niet te bepalen wat het effect van deze handreiking is in de praktijk. De validatiecommissie constateert dat dit document in de toekomst waarschijnlijk regelmatig bijstelling verdient naarmate het proces vordert met betrekking tot het formuleren van inhoudelijke normen, criteria en indicatoren. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 14

15 De onafhankelijkheid en deskundigheid van de evaluatiecommissies lijkt gegarandeerd door de voorwaarden die aan de afzonderlijke leden worden gesteld in het document Procedure Toetsing en Benoeming Commissieleden bij Externe Onderzoeksevaluaties. De validatiecommissie is van mening dat het aantal externe onderzoeksevaluaties tot op heden gering in aantal is geweest. Maar de validatiecommissie heeft ook geconstateerd dat er momenteel een duidelijke planning van de externe onderzoeksevaluaties beschikbaar is tot en met Die planning voorziet er in dat eens in de zes jaar alle kenniscentra geëvalueerd worden. De validatiecommissie heeft geen inzage gehad in midterm audits die voorafgingen aan de vier reeds uitgevoerde externe onderzoeksevaluaties. Wel heeft de validatiecommissie inzage gehad in het in november 2012 verschenen Auditrapport Instituut Onderzoek en Innovatie dat voorafging aan de onderhavige validatie van de kwaliteitszorg van het onderzoek in juni Daarbij verbaasde het de validatiecommissie dat de dienst Auditing, Monitoring & Control de vier validatievragen negatief beoordeelde terwijl in het zelfevaluatierapport van mei 2013 al deze vragen positief werden beoordeeld. De validatiecommissie betreurt het dat de interne audit relatief laat heeft plaatsgevonden waardoor er onvoldoende tijd beschikbaar was om de voorgestelde aanbevelingen op te volgen vóór het validatiebezoek. Dat is jammer omdat de validatiecommissie veel waardering heeft voor de kritische en systematische wijze waarop deze interne audit heeft plaatsgevonden en de realistische en concrete aanbevelingen die daar een gevolg van waren. Als de interne audits van de kenniscentra op vergelijkbare wijze en op tijd uitgevoerd worden heeft HR een sterk instrument in handen om de kwaliteitszorg van het onderzoek te verbeteren. De externe onderzoeksevaluaties zijn naar mening van de validatiecommissie op basis van het huidige beleid degelijk uitgevoerd en leveren concrete aanbevelingen op. Bij alle evaluaties golden de vijf evaluatievragen uit het Brancheprotocol Kwaliteitszorg Onderzoek (BKO) als uitgangspunt. Wel constateert de validatiecommissie dat er relatief weinig aandacht is besteed aan de inhoudelijke beoordeling van het onderzoek en meer aandacht is gegeven aan het onderzoeksbeleid, het onderzoeksprofiel en de randvoorwaarden. Een en ander kan het gevolg zijn van het feit dat er nog weinig inhoudelijke kwaliteitsdoelen en indicatoren bij HR beschikbaar zijn waardoor er geen duidelijke norm is waar het onderzoek aan moet voldoen. Dat leidt dan vaak tot het beoordelen op basis van het eerder genoemde circumstantial evidence in plaats van het direct evidence. De validatiecommissie heeft veel waardering voor de intensieve wijze waarop HR zijn banden ontwikkelt met de regionale beroepspraktijk. Daarom valt het de validatiecommissie op dat bij de evaluatie van de onderzoekseenheden de stem van de beroepspraktijk tot op heden slechts in geringe mate wordt ingebracht. Ook in de nieuwe procedure m.b.t. de externe evaluaties is daar naar haar mening onvoldoende in voorzien. Tot op heden zijn de externe evaluatiecommissies breed van samenstelling. Nu de toekomstige externe onderzoeksevaluaties op het (bredere) kenniscentrum-niveau gaan plaatsvinden, verdient het aanbeveling om nog eens kritisch te kijken naar de aard van de samenstelling van de evaluatiecommissies. Mogelijkheden voor verbetering 1. Stel regelmatig het document Handreiking Onderzoeksevaluaties en Interne Audits bij o.a. op basis van ontwikkelingen rond het nader definiëren van kwaliteitscriteria en indicatoren. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 15

16 2. Houdt vast aan de duidelijke planning die recentelijk is opgesteld m.b.t. de externe evaluaties en interne audits. 3. Vraag in het externe evaluatieproces meer aandacht voor de inhoudelijke beoordeling van het uitgevoerde onderzoek. 4. Laat de stem van de beroepspraktijk meer doorklinken in de externe evaluaties door betrokkenen steviger te betrekken bij het stakeholdersonderzoek en door ze een positie te geven in de gespreksgroepen waarmee de evaluatiecommissies spreken. 5. Nu sinds kort de externe evaluaties van de onderzoekseenheden op het niveau van de kenniscentra worden uitgevoerd, hetgeen de validatiecommissie toejuicht, dient kritisch gevolgd te worden of de (inhoudelijke) samenstelling van de externe evaluatiecommissies voldoende garanties biedt dat het brede terrein van de kenniscentra in voldoende mate door de commissies afgedekt wordt Verbeterbeleid Beschrijving De externe onderzoeksevaluaties hebben veel concrete aanbevelingen opgeleverd. De uitvoering daarvan is een verantwoordelijkheid van de onderzoekseenheden. Zij dienen verbeterplannen te schrijven die een stevige basis moeten vormen voor de jaarverslagen en de jaarplannen van de kenniscentra. Daarmee zijn ze onderdeel geworden van de PDCA-cyclus. Gedurende het jaar vinden diverse evaluatiegesprekken plaats zowel op lectoraatsniveau als op kenniscentrum-niveau en op HR-niveau om de voortgang bij de opstelling en de uitvoering van de verbeterplannen te monitoren. Observaties en oordeel De validatiecommissie heeft geconstateerd dat naar aanleiding van de externe onderzoeksevaluaties tal van succesvolle verbeteracties hebben plaatsgevonden binnen de onderzoekseenheden. Maar de validatiecommissie is er niet van overtuigd dat dit bij alle onderzoekseenheden op een voldoende intensieve en systematische wijze gebeurt. Zo heeft zij slechts in een enkel geval verbeterdocumenten aangetroffen die naar aanleiding van de externe onderzoeksevaluaties opgesteld zijn. Bovendien is in de jaarverslagen en de jaarplannen de doorwerking van de externe onderzoeksevaluaties lastig terug te vinden. De kwaliteitszorg m.b.t. het onderzoek is bij voorbeeld in geen enkel jaarverslag en jaarplan een expliciet thema. Wel heeft de validatiecommissie bij een onderzoekseenheid een evaluatie onder ogen gekregen die ten grondslag lag aan de interne audit waarin op systematische wijze werd nagegaan wat er met de aanbevelingen van de externe evaluatiecommissie gedaan was. Ook bij het raadplegen van de documenten en het spreken met de gespreksgroepen over de wijze waarop de kwaliteitsverbetering in de monitoringgesprekken plaatsvond, heeft de validatiecommissie een sterk wisselend beeld gekregen. Tenslotte stelden de voorzitters van de externe evaluatiecommissies waarmee de validatiecommissie gesproken had, dat zij niet op de hoogte waren van hetgeen er met hun evaluatierapporten gebeurd was binnen HR. Samenvattend stelt de validatiecommissie dat er zeker sprake is van een leerklimaat bij de onderzoekseenheden om tot verbetering van de kwaliteitszorg en de kwaliteit te komen maar heeft daarbij duidelijk de steun nodig van goed doordachte processen om dat leerklimaat om te zetten in effectieve acties. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 16

17 De PDCA-cyclus functioneert nog onvoldoende voor wat betreft de planning en de monitoring van de verbeteracties die ondernomen moeten worden naar aanleiding van de externe evaluaties. Binnen HR wordt wel degelijk aan het verbeteren van de kwaliteit van het onderzoek gewerkt. Maar de intensiteit waarmee en de wijze waarop dat gebeurt verschilt van onderzoekseenheid tot onderzoekseenheid. De validatiecommissie kan zich niet aan de indruk onttrekken dat de wijze waarop de verbeteracties gepland en uitgevoerd worden eerder een gevolg is van de instelling van de afzonderlijke onderzoekseenheden dan dat het kwaliteitszorgsysteem dat afdwingt. Dat werkt in de hand dat de beter functionerende onderzoekseenheden in het algemeen hier serieus mee omgaan maar dat minder goed functionerende onderzoekseenheden wellicht onvoldoende stimulansen krijgen om de verbeterprocessen beter te organiseren en uit te voeren. Mogelijkheden voor verbetering 1. Besteed in de jaarplannen, tussentijdse evaluaties en jaarverslagen expliciet aandacht aan de kwaliteitszorg van het onderzoek. 2. Zorg voor een goede wederzijdse (inhoudelijke) aansluiting op elkaar van de hiervoor genoemde documenten en de daarop gebaseerde monitoring-gesprekken. Momenteel staan deze documenten en gesprekken nog te veel los van elkaar. 3. Zorg voor een goede HR-brede regie op deze processen zodat alle onderzoekseenheden op een vergelijkbaar niveau omgaan met hun kwaliteitsverbetering. 4. Overweeg om de stakeholders van de kenniscentra door middel van jaarverslagen op de hoogte te stellen van de verbeterstappen die ondernomen zijn. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 17

18 4. Conclusies en aanbevelingen De validatiecommissie trof bij HR een situatie aan waarin de kwaliteitszorg van het onderzoek nog volop in ontwikkeling is. Eén van de redenen daarvan is dat, naast het ontwikkelen van onderzoekslijnen, het uitvoeren van onderzoek en het ontwikkelen van een goed onderzoeksklimaat, de positionering van het onderzoek binnen de organisatie de afgelopen jaren veel veranderingen heeft gekend. Dat heeft veel aandacht gevraagd van de medewerkers waardoor er minder aandacht beschikbaar was voor het ontwikkelen en invoeren van een voldragen en stabiel kwaliteitszorgsysteem. Nu er op basis van het Focus programma voor gekozen is de kenniscentra één op één te verbinden met het onderwijs om op deze wijze het kwaliteitsniveau van de bacheloropleidingen te verbeteren, ontstaat er hopelijk een stabielere situatie. In die stabielere situatie komt naar verwachting van de validatiecommissie meer ruimte beschikbaar om o.a. de kwaliteitszorg, m.b.t. het praktijkgericht onderzoek verder te ontwikkelen en in te voeren. Daar is al een begin mee gemaakt. Wellicht onder druk van de validatie van de kwaliteitszorg van het onderzoek zijn er de afgelopen anderhalf jaar tal van beleidsdocumenten en uitvoeringsdocumenten ontwikkeld op het gebied van de kwaliteitszorg van het onderzoek. Veel van die documenten hebben meer betrekking op de gewenste situatie dan op de bestaande situatie en daarmee hebben ze een nog sterk intentioneel karakter. De effecten van het in deze documenten beschreven beleid hebben zich nog niet kunnen bewijzen in de praktijk. Daarvoor is het ontwikkelde beleid nog te nieuw en is het nog in te geringe mate in uitvoering genomen. Voor wat betreft de bestaande situatie moest de commissie zich met name baseren op de zelfevaluaties en beoordelingsrapporten van de tot op heden gerealiseerde externe evaluaties, de voorhanden zijnde beleidsdocumenten en gesprekken daarover met diverse interne en externe partijen. Tot op heden zijn er vanaf 2009 vier externe onderzoeksevaluaties uitgevoerd (afgerond in 2010, 2011 en 2013). Deze externe evaluaties zijn gedegen uitgevoerd door evaluatieteams die breed van samenstelling, deskundig en onafhankelijk waren. Uit de beoordelingsrapporten en de gesprekken daarover blijkt wel dat de externe evaluatiecommissies het lastig vonden om vast te stellen langs welke meetlat er beoordeeld moest worden. Uit de diverse gesprekken die de validatiecommissie gevoerd heeft en de documenten die zij bestudeerd heeft blijkt dat HR nog geen voldragen visie heeft ontwikkeld m.b.t. het eigene van praktijkgericht onderzoek, de wijze waarop dat onderzoek (domeinspecifiek) uitgevoerd kan worden en de impact die men met deze vorm van onderzoek wil bereiken. Op basis hiervan kan men bepalen wanneer men tevreden is over het onderzoek, kan men kwaliteitsdoelen stellen en kan men indicatoren vastleggen. Ondanks het ontbreken van normen waaraan het onderzoek moet voldoen zijn de externe evaluatiecommissies wel in staat gebleken om met duidelijke en concrete aanbevelingen te komen. De validatiecommissie vindt ook het aantal uitgevoerde externe evaluaties gering in aantal. In het zelfevaluatierapport wordt evenwel een planning weergeven waaruit blijkt dat in de periode alle kenniscentra een interne audit en een externe evaluatie zullen ondergaan. De validatiecommissie verwacht dat deze planning ook inderdaad gerealiseerd zal worden en dat dit een begint betekent van een cyclus van regelmatig terugkerende 6-jaarlijkse evaluaties en audits. Deze constateringen, gecombineerd met het gegeven dat het recent ontwikkelde kwaliteitszorgbeleid nog overwegend intentioneel van aard is, leidt er toe dat de validatiecommissie tot de conclusie komt dat het kwaliteitszorgsysteem voorwaardelijk gevalideerd wordt. De validatiecommissie hoopt dat bij een hervalidatie zal blijken dat er duidelijke normen ontwikkeld zullen zijn waaraan het praktijkgerichte onderzoek binnen HR moet voldoen, dat de beleidsdocumenten en uitvoeringsdocumenten volledig ontwikkeld zullen Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 18

19 zijn en hun impact op de kwaliteit van het onderzoek hebben bewezen en dat de externe onderzoeksevaluaties volgens planning uitgevoerd worden. Om dit te bereiken geeft de validatiecommissie HR graag op hoofdlijnen de volgende aanbevelingen mee. 1. Probeer bij de verdere vormgeving van het kwaliteitszorgsysteem naast het systeemdenken dat dominant is binnen HR, meer aandacht te vragen voor het resultaatdenken. De kwaliteit van het onderzoek wordt immers niet primair bepaald door een goed lopend kwaliteitszorgsysteem maar door het bereiken van inhoudelijk relevante en haalbare doelen/resultaten. 2. Draag er zorg voor dat bij de verdere vormgeving van het kwaliteitszorgsysteem documenten zo veel mogelijk geïntegreerd worden en op elkaar afgestemd worden. Op dit moment is er sprake van een zekere mate van fragmentatie van het beleid en de vastlegging ervan in documenten. 3. Besteed voldoende aandacht aan het overdenken van het eigene van het praktijkgerichte onderzoek in de Rotterdamse context. Formuleer zorgvuldig wanneer HR tevreden is met het onderzoek en leid daarvan de kwaliteitsdoelen en indicatoren af. Dat biedt een stevig fundament voor de beoordeling van het onderzoek. 4. Houd bij het voorgaande rekening met het feit dat het praktijkgerichte onderzoek een bredere functie heeft dan alleen het dienstbaar zijn aan het ontwikkelen en uitvoeren van de onderwijstaken. 5. Zorg er voor dat het verder te ontwikkelen kwaliteitssysteem een gezond evenwicht kent tussen effectiviteit en efficiëntie. De systemen moeten hanteerbaar zijn voor relatief kleine organisatie-eenheden. Het tot in alle details beschrijven van de systemen leidt snel tot ongewenste bureaucratie. Lean and mean zou het uitgangspunt moeten zijn. 6. Het tempo waarop momenteel gewerkt wordt aan de vervolmaking van het kwaliteitszorgsysteem is hoog maar waak er voor dat het gekozen tempo niet ten koste gaat van draagvlak, kwaliteit en het vermogen om beleid te internaliseren. 7. Zorg er voor dat het vastgestelde beleid ook inderdaad volgens planning in praktijk wordt gebracht. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 19

20 Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek. BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: - Prof. dr. P.L. (Pauline) Meurs (voorzitter); - Prof. dr. F.A. (Frans) van Vught (vicevoorzitter); - Drs. B. (Bart) van Bergen (lid); - Dr. C.M. (Tini) Hooymans (lid); - Drs. P.M. (Paul) van Roon (lid); - Drs. P.M.M. (Paul) Rullmann (lid); - Prof. dr. H.W. (Henk) Volberda (lid). 3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Validatierapport Kwaliteitszorg Onderzoek Hogeschool Rotterdam 20