Validatierapport Kwaliteitszorg Onderzoek

Transcriptie

1 Validatierapport Kwaliteitszorg Onderzoek Stoas Wageningen Vilentum Hogeschool december 2013 Deelcommissie VKO Prof. dr. P.L. (Pauline) Meurs (voorzitter); Dr. C.M. (Tini) Hooymans (lid); Drs. B. (Bart) van Bergen (lid) Drs. E.C. (Emiel) de Groot (secretaris)

2 INHOUDSOPGAVE Inleiding Schets van de hogeschool Bevindingen De aansluiting van het onderzoek bij de missie en het onderscheidend karakter van de hogeschool Ontwikkel een kwaliteitskader en maak de indicatoren en streefwaardes uit het kwaliteitskader richtinggevend bij de verantwoording en toetsing Betrek bachelor studenten systematisch bij het onderzoek Vergroot de betrokkenheid van stakeholders uit de beroeps-praktijk in het kwaliteitszorgsysteem Herijk de ZER en stel een stappenplan op met duidelijke targets en tijdspaden voor de komende periode Conclusies en aanbevelingen Bijlage 1 Instellingsbesluit VKO Bijlage 2 Overzicht bestudeerd materiaal Bijlage 3 Bezoekprogramma Bijlage 4 Korte beschrijving van de VKO deelcommissieleden

3 Inleiding De validatiecommissie kwaliteitszorg onderzoek (VKO) is begin 2009 door de voorzitter van de HBO-raad geïnstalleerd (zie instellingsbesluit, bijlage 1). De VKO maakt als onafhankelijke commissie deel uit van het per 1 januari 2009 ingevoerde kwaliteitszorgstelsel voor onderzoek aan hogescholen, gebaseerd op het brancheprotocol kwaliteitszorg onderzoek (BKO). De taak van de VKO is het valideren van de kwaliteitszorgsystemen van de hogescholen, voor zover de kwaliteitszorg betrekking heeft op onderzoek. Kwaliteitszorg wordt daarbij gedefinieerd als "het systematische en dynamische geheel van beleid, organisatie, procedures, processen en middelen, gericht op het permanent handhaven en verhogen van de kwaliteit van het onderzoek binnen de hogeschool, door middel van cyclisch evalueren en verbeteren". Bij de installatie van de VKO is voor elke hogeschool - op basis van eigen voorkeuren door de HBO-raad vastgelegd in welk jaar de validatie plaatsvindt. In de zo tot stand gekomen planning voor stond Stoas Hogeschool ingeroosterd voor de eerste helft van Het validatiebezoek vond vervolgens plaats op 16 juni Na afloop van het bezoek heeft de VKO besloten om het kwaliteitszorgsysteem van de hogeschool voorwaardelijk te valideren. Een voorwaardelijke validatie houdt in dat er een aantal zaken nog niet op orde is. Ruim twee jaar later is het opnieuw tijd om het kwaliteitszorgsysteem van Stoas Hogescholen te beoordelen. De focus van het aanvullende bezoek ligt op de gerealiseerde verbeteringen, op de veranderingsprocessen die de hogeschool in de periode in gang heeft gezet en de geboekte resultaten van de verandering. De VKO ontving daartoe op 8 oktober 2013 het zelfevaluatierapport van de hogeschool met uitgebreide documentatie (zie overzicht in bijlage 2) ter bestudering en bespreking. Het validatiebezoek vond vervolgens plaats op 30 oktober Een deelcommissie vanuit de VKO sprak die dag met het College van Bestuur van de Aeres groep, de faculteitsdirecteur, lectoren, onderzoekers/docenten en stakeholders binnen de hogeschool (zie het volledige bezoekprogramma en de antecedenten van de deelcommissie vanuit de VKO in bijlage 3 en 4). Aan het eind van het bezoek is door de voorzitter van de deelcommissie VKO een voorlopige mondelinge terugkoppeling gegeven. Daarna heeft de VKO zich intern beraden op de definitieve rapportage. Van de VKO wordt verwacht dat zij bij elke hogeschool tot een op ontwikkeling en verbetering gerichte rapportage komt. Het gaat hierbij om een onderbouwde en genuanceerde kwalitatieve conclusie ten aanzien van het functioneren van het kwaliteitszorgsysteem in verschillende opzichten en op verschillende dimensies, alsmede de hierop gebaseerde aanbevelingen tot verbetering. 3

4 Op basis van haar bevindingen heeft de VKO de kwaliteitszorg met betrekking tot het onderzoek van de hogeschool gevalideerd. Deze rapportage geeft een nadere onderbouwing. In hoofdstuk 1 wordt een schets gegeven van de hogeschool, in algemene zin en meer toegespitst op de missie, organisatie en omvang van het onderzoek. Hoofdstuk 2 beschrijft de bevindingen van de VKO op basis van de aanbevelingen uit In hoofdstuk 3 sluit de VKO af met haar conclusie en aanbevelingen. 4

5 1. Schets van de hogeschool Stoas Wageningen Vilentum Hogeschool is een faculteit van Vilentum Hogeschool met ruim 750 studenten, 110 medewerkers (85 FTE) drie lectoraten (1,9 fte) en een omzet van 8 miljoen. De faculteit heeft haar oorsprong in de groene sector. Sinds het VKO bezoek in 2011 is er veel veranderd. Stoas Hogeschool is sinds 2013 geen aparte hogeschool meer maar een faculteit. In 2013 zijn beide tot de Aeres groep behorende hogescholen, Stoas en CAH, gefuseerd tot Vilentum Hogeschool, onder het bevoegd gezag van de Aeres groep. Beide faculteiten hebben hun eigen identiteit, naam en aanpak van het onderwijs behouden. Stoas Wageningen biedt verschillende opleidingen aan in de groene sector: twee bacheloropleidingen ( Educatie en Kennismanagement in de groene sector, en Opleiding tot leraar voortgezet onderwijs van de tweede graad in Consumptieve Techniek I en II ), drie Associate degrees ( Onderwijsondersteuner Educatie en Kennismanagement Groene Sector ; Onderwijsondersteuner Consumptieve Techniek I en II ; Educatie en Kennismanagement Groene Sector Bloemsierkunst ) en de master Leren & Innoveren. Centraal in het onderwijsaanbod van Stoas Wageningen staat dat de opleidingen gaan over het leren en opleiden van docenten en kennismanagers. De onderzoekseenheid van Stoas Wageningen sluit hierbij aan: de onderzoeksgroep doet sociaalwetenschappelijk onderzoek, gekoppeld aan beroepsonderwijs, o.a. in de groene sector. De onderzoeksgroep van de faculteit CAH Dronten houdt zich hoofdzakelijk bezig met natuurwetenschappelijk onderzoek. De directie van Vilentum Hogeschool wordt gevormd door de twee faculteitsdirecteuren. Deze directie legt direct verantwoording af aan het college van bestuur van de Aeres Groep. Omdat Stoas in 2011 apart door de VKO is gevalideerd en de onderwijsinstelling haar eigen identiteit heeft behouden is besloten om deze faculteit apart te valideren. De uitspraken van de VKO hebben dan ook alleen betrekking op de faculteit Stoas Wageningen en niet op Vilentum Hogeschool als geheel. Stoas Wageningen is een van de actoren in het (groene) kennissysteem, de groene sector en de periferie daarvan. Door middel van het praktijkgericht onderzoek genereert Stoas Wageningen Vilentum Hogeschool onderzoeksresultaten waarmee professionals in het (groene) onderwijs en organisaties hun praktijk kunnen verbeteren. Stoas wil met haar onderzoeksactiviteiten bijdragen aan aan een duurzamere wereld door het bevorderen van duurzaam leren en ontwikkelen van professionals en organisaties in de groene sector en de periferie ervan, met ecologische intelligentie als uitgangspunt. Stoas Wageningen geeft aan dat de opleidingen, het onderzoek en de overige activiteiten van de hogeschool passen in het groene domein maar ook verder reiken. Het thema onderwijs is niet begrensd door het groene domein. Het onderscheidend karakter van de faculteit zit in de manier van werken. Stoas Wageningen geeft aan dat zij werkt vanuit de filosofie van ecologische intelligentie. Volgens haar duidt deze benadering op de essentie van het leren in het groene onderwijs. 5

6 Onderzoek neemt binnen Stoas Wageningen een vooraanstaande plaats in. Het onderzoek beoogt bij te dragen aan kennisontwikkeling van de hogeschool, professionalisering van docenten, doorwerking in het curriculum, aan kenniscirculatie en aan samenwerking met externe partners. Stoas Wageningen kent één onderzoekseenheid die bestaat uit drie lectoren (fte 1,9) en 17 onderzoekers (6 fte). De lectoren vormen samen het lectorencollectief. De lectoren werken gezamenlijk aan de totstandkoming van het onderzoeksprogramma, waarin synergie gezocht wordt vanuit de drie afzonderlijke leeropdrachten. Het collectief geeft leiding aan de 17 onderzoekers die aan de onderzoekseenheid zijn verbonden. Elke onderzoeker heeft zijn of haar eigen onderzoeksactiviteit gekoppeld aan een specifieke thema van één van de drie lectoren. De jaarcijfers 2011 die door de VKO worden geïnventariseerd met betrekking tot het onderzoek van Stoas Wageningen laten het volgende beeld zien: Stoas Hogeschool Landelijk gemiddelde Positie t.o.v. 38 hogescholen Financieel Totale financiële bijdrage per student 708,45 344,29 3 Rijksbijdrage per student 354,22 214,53 5 Raak-bijdrage per student 0, Internationale bijdrage per student 0, Overige bijdrage per student 354, Personeel Aantal studenten per lector (landelijk streefcijfer: 720) Aantal fte s per lector 0,70 fte 0,54 fte 7 Percentage gepromoveerde lectoren 100 % 74 % 6 Percentage docent-onderzoekers van docenten 18,8 % 12,0 % 6 Gemiddelde fte per docent-onderzoeker 0,23 fte 0,26 fte 16 Percentage gepromoveerde onderzoekers 0,0 % 12,6 % 32 Percentage promovendi van docenten 4,35 % 2,66 % 5 Gemiddelde fte per promovendus 0,20 fte 0,42 fte 34 Percentage student-onderzoekers 1,4 % 3,4 % 28 6

7 2. Bevindingen In juni 2011 heeft de VKO Stoas Hogeschool voor de eerste maal bezocht. De commissie kon zich in 2011 nog geen oordeel vormen over het kwaliteitszorgsysteem onderzoek. De ingezette veranderingen waren tijdens het eerste bezoek van de VKO nog maar recentelijk ingezet. Om die reden heeft de commissie besloten het kwaliteitszorgsysteem van Stoas Hogeschool voorwaardelijk te valideren. De commissie heeft de hogeschool zes aandachtspunten meegeven: 1. De aansluiting van het onderzoek bij de missie en het onderscheidend karakter van de hogeschool komen nog onvoldoende uit de verf. De VKO beveelt aan om de onderzoeksmissie en de centrale onderzoeksvraag van het lectorencollectief scherp te definiëren, zodat deze de benodigde focus biedt. 2. De nader te definiëren centrale onderzoeksvraag dient te worden uitgewerkt in een kwaliteitskader. Een kader waarin een aantal geëxpliciteerde indicatoren en streefwaardes zijn opgenomen. 3. De indicatoren en streefwaardes uit het kwaliteitskader kunnen vervolgens richtinggevend zijn bij de verantwoording en toetsing in (jaar)verslagen en gesprekken. 4. De commissie beveelt aan om bachelor studenten systematisch te betrekken bij het onderzoek. 5. De VKO beveelt aan om de betrokkenheid van stakeholders uit de beroepspraktijk in het kwaliteitszorgsysteem te vergroten. 6. De VKO beveelt aan om de zelfevaluaties uit te breiden met een samenhangende slotanalyse in de vorm van sterktes en zwaktes, verbetermaatregelen en tevens prioriteiten voor de komende periode op te stellen. Ruim twee jaar later is het tijd om het kwaliteitszorgsysteem van Stoas Wageningen te beoordelen. De VKO kon beschikken over een uitgebreide documentatie in de vorm van het zelfevaluatierapport met diverse relevante bijlagen (zie bijlage 2 voor het overzicht van de bestudeerde documenten). De commissie waardeert het dat Stoas Wageningen, door haar openhartige rapportages en gesprekken, de commissie deelgenoot heeft gemaakt van de ontwikkeling die zij de afgelopen periode heeft doorlopen. De gesprekken heeft de VKO ervaren als open en informatief. De focus van onderliggend rapport ligt op de verbeteringen en de veranderingsprocessen die de hogeschool in de periode in gang heeft gezet. In de volgende paragrafen structureert de commissie haar bevindingen aan de hand van de zes aanbevelingen uit Omdat aanbeveling twee en drie op elkaar aansluiten worden beide in één paragraaf toegelicht. 7

8 2.1. De aansluiting van het onderzoek bij de missie en het onderscheidend karakter van de hogeschool De afgelopen periode heeft Stoas Wageningen haar faculteits- en onderzoeksmissie geactualiseerd. De missie luidt als volgt: Stoas Wageningen Vilentum Hogeschool wil bijdragen aan een duurzamere wereld door het bevorderen van duurzaam leren en ontwikkelen van professionals en organisaties in de groene sector en de periferie ervan, vanuit ecologische intelligentie. De missie van de onderzoekseenheid sluit hierbij aan en luidt: bijdragen aan leren, ontwikkelen en transculturele relaties vanuit ecologisch perspectief. De onderzoeksmissie is vervolgens door het lectorencollectief vertaald naar een onderzoeksprogramma. Het onderzoeksprogramma: duurzaam verbindend leren en ontwikkelen, is de paraplu waaronder alle onderzoek wordt uitgevoerd, maar omgekeerd ook waar alle onderzoek aan moet bijdragen. In het onderzoeksprogramma beschrijft het lectorencollectief een eigen visie op het praktijkgericht onderzoek. De visie van de onderzoekseenheid gaat er vanuit dat complexe (leer- en ontwikkel) vraagstukken in de praktijk begrepen kunnen worden door mensen en organisaties in en met hun omgeving te bezien. De visie op onderzoek, welke is aangeduid als Ecologically Transdisciplinarily Inspired research (verder kortweg ETI research genoemd), is in acht principes vastgelegd: verbinden, transdisciplinair, collectief ontwikkelen, wijsheid, zelfkennis, narrativiteit, ecologische fout en natuur. ETI-research wordt gezien als de basis voor het doen van het onderzoek in de onderzoekseenheid. De keuze voor ETI-research als gezamenlijk kader moet zorgen voor het onderscheidend karakter van de onderzoekseenheid en de faculteit als geheel. ETIresearch is een visie op het doen van praktijkgericht onderzoek. De lectoren en onderzoekers werken vanuit de ETI-principes aan het onderzoeksprogramma. Oordeel VKO Een duidelijk onderzoeksprofiel dat zorgt voor inhoudelijke sturing is de basis van elk kwaliteitskader. Stoas Wageningen heeft hard gewerkt aan een onderzoeksprogramma en de centrale onderzoeksvraag die de onderzoekseenheid richting geeft. De VKO is van mening dat er de afgelopen periode een gedragen visie op onderzoek en kwaliteit tot stand is gekomen. De commissie spreekt haar waardering uit voor het proces dat de lectoren en de kenniskring de afgelopen twee jaar hebben doorlopen naar een gezamenlijk gedragen aanpak van het onderzoek. Het werkveld gaf tijdens de gesprekken met de VKO aan dat zij de aanpak herkent in de wijze waarop Stoas het onderzoek uitvoert: Stoas luistert goed, neemt de tijd bij de formulering van de vraagstelling, past zo nodig het onderzoek aan. In de gesprekken gaven lectoren aan dat het gezamenlijk kader heeft gezorgd voor samenhang en verbeterde samenwerking tussen de lectoraten. ETI-research is daarmee daadwerkelijk een bindende factor in het lectoraat en een bron van inspiratie voor interne 8

9 samenwerking en reflectie op de eigen onderzoekspraktijk van de leden van de kenniskring. ETI-research heeft gezorgd voor een interne cohesie en maakt het voor de onderzoekseenheid gemakkelijker om elkaar, waar nodig, scherper aan te spreken. De commissie waardeert dit. De VKO wil Stoas Wageningen adviseren om haar visie op onderzoek de komende periode toegankelijker te formuleren. De commissie moet constateren dat Stoas Wageningen er nog niet altijd slaagt om ETI-research helder te verwoorden. De gesprekken waren verhelderend, maar het blijft moeilijk om grip te krijgen op de onderzoeksmissie en het onderscheidend karakter van Stoas Wageningen. Naar het oordeel van de commissie is het gebied dat ETI-research omvat nog steeds te breed en onvoldoende onderscheidend. De VKO commissie acht het van belang verder te werken aan de concretisering van het onderzoeksthema. Een simpele boodschap kan helpen om het onderscheidende karakter van de faculteit voor het voetlicht te brengen Ontwikkel een kwaliteitskader en maak de indicatoren en streefwaardes uit het kwaliteitskader richtinggevend bij de verantwoording en toetsing In 2011 heeft Stoas Wageningen samen met het lectorencollectief een kwaliteitskader onderzoek opgesteld. Tot dat moment kende de kwaliteitszorg een impliciete werkwijze. Een jaarlijks evaluatiegesprek tussen lector en directeur voor Stoas Hogeschool bood voldoende basis om de ontwikkelingen van de afgelopen periode te evalueren en een plan te maken voor de volgende stappen. Met de groei van de onderzoekseenheid ontstond de noodzaak om de kwaliteitszorg te structureren en in te bedden. Intussen is Stoas Hogeschool samen met de CAH Dronten gefuseerd tot Vilentum Hogeschool. Het kwaliteitszorgsysteem van Vilentum Hogeschool is op centraal niveau geformuleerd. Elke faculteit heeft het kwaliteitszorgsysteem op haar maat geïmplementeerd, waarbij de Vilentum-brede kwaliteitscriteria het uitgangspunt zijn. De faculteit Stoas Wageningen heeft deze instellingsbrede kwaliteitscriteria uitgewerkt in een aantal specifieke indicatoren, die passen binnen de eigen context Stoas Wageningen. Op basis van de ervaringen van de afgelopen jaren heeft de faculteit Stoas Wageningen haar kwaliteitskader herijkt, vervolmaakt en opnieuw vastgesteld in september De faculteiten zijn elk verantwoordelijk voor de uitvoering van het kwaliteitszorgsysteem. Onderzoeksprogramma s worden gezien als de eenheden die geëvalueerd worden. Het onderzoeksprogramma van de onderzoekseenheid wordt opgesteld door de lectoren van een onderzoeksgroep, en vastgesteld door de directie van de faculteit. De faculteit Stoas Wageningen heeft één onderzoeksprogramma met daarin drie onderzoekslijnen. 9

10 Het kwaliteitskader van Vilentum Hogeschool is bedoeld om inzicht in het onderzoeksprogramma te geven, het onderzoeksprogramma te kunnen vergelijken met voorafgaande periodes en het onderzoeksprogramma te vergelijken met andere programma s in het domein buiten de faculteit (externe benchmark). Het kwaliteitskader behelst kwaliteitscriteria op het gebied van de vier belangrijkste functies van onderzoek: kennisontwikkeling, kennisvalorisatie, impact op het onderwijs en professionalisering van medewerkers. In het kader zijn indicatoren en streefwaarden benoemd die de onderzoekseenheid wil realiseren. De kwaliteitszorgcyclus van Vilentum Hogeschool kent de gebruikelijke interne cyclus (PDCA), externe cyclus (het BKO kader) en een tevredenheidsonderzoek onder de stakeholders. Voor zowel de interne- als de externe audit levert de onderzoekseenheid de relevante documentatie aan (o.a. een zelfevaluatierapport). Stoas Wageningen hanteert het adagium dat kwaliteitszorg alleen werkt als het zo dicht mogelijk bij het primaire proces wordt uitgevoerd door de betrokkenen zelf. De uitvoering van de kwaliteitszorg en het bewaken van de kwaliteitszorgcyclus zijn de verantwoordelijkheid van de onderzoekseenheid. Binnen Stoas Wageningen wordt het beleid ten aanzien van onderzoek ontwikkeld en uitgezet in het lectorenberaad, het inhoudelijk en managerial overleg tussen directie en lectoren. De drie lectoren vormen samen het lectorencollectief en met de docentonderzoekers één onderzoekseenheid. Het lectorencollectief geeft leiding aan de uitvoering van het onderzoek door de onderzoekers van de onderzoekseenheid. Het lectorenberaad houdt één keer per jaar gezamenlijke reflectiegesprekken over het functioneren van de lectoraten. De afspraken worden vastgelegd in de verslagen van het lectorenberaad. Onderzoekers en lectoren bespreken jaarlijks het functioneren en de ontwikkeling van de onderzoeker. Onderwerpen die aan de orde komen zijn opgenomen in Basis voor Onderzoekers Elke onderzoeker schrijft jaarlijks een reflectieverslag en voert op basis daarvan een peerreviewgesprek (met een collega uit de kenniskring). De uitkomst daarvan wordt eveneens vastgelegd in een gespreksverslag. De indicatoren en streefwaardes uit het kwaliteitskader worden gebruikt bij het beoordelen van de stand van zaken. De resultaten kunnen op haar beurt aanleiding zijn om met de onderzoekers of de onderzoeksgroep te spreken over: 1. het functioneren en kwaliteit van de onderzoeker en zijn onderzoek; 2. over (niet)aanwezige of noodzakelijke randvoorwaarden; 3. over omgevingsfactoren die van invloed zijn; 4. over de gestelde norm zelf: is die realistisch of juist te mager. In geval er sprake is van onvoldoende functioneren van een lector vindt een beoordelingsgesprek plaats tussen de directie van Stoas Wageningen en de desbetreffende lector. Dit is tot op heden niet voorgekomen. 10

11 Oordeel VKO Eind 2011 kon de VKO zich nog geen oordeel vormen over het systeem van kwaliteitsbewaking van het onderzoek en van de verbetermaatregelen omdat de veranderingen recentelijk waren ingezet. De situatie is nu, twee jaar later, anders. De VKO stelt vast dat Stoas Wageningen beschikt over een sluitend kwaliteitszorgsysteem. Het kwaliteitskader van de hogeschool en meer specifiek van de faculteit sluit aan bij de brancheafspraken over zelfevaluatie en externe evaluatie. De vier functies van het onderzoek zijn vertaald naar een aantal kwaliteitscriteria en in samenspraak met het lectorencollectief, op basis van de specifieke opdracht van de onderzoekseenheid, zijn er indicatoren en streefwaarden vastgesteld. Het systeem kent draagvlak bij degenen die ermee moeten werken. Binnen de onderzoekseenheid is men zich bewust van het belang van het leveren en bewaken van kwaliteit. De lectoren en onderzoekers geven aan dat zij het kwaliteitszorgsysteem zien als een belangrijk hulpmiddel om (bewust) keuzes te maken (focus). De beschreven interne cohesie (zie 2.1) maakt het voor de onderzoekseenheid gemakkelijker om elkaar scherper aan te spreken. De VKO adviseert om ook de komende jaren verder in te zetten op een sterke onderzoekscultuur, als de motor voor continue verbetering en vernieuwing. Met het centrale kwaliteitskader ligt er een fundament voor de verdere ontwikkeling van de instrumentatie en een verdere verfijning van indicatoren en streefwaarden. De commissie is van mening dat de huidige set van indicatoren een prima eerste stap is. Wel vindt de commissie dat de huidige set gevarieerder kan zijn. Bij de indicatoren valt het de commissie op dat er gekozen is voor relatief traditionele en academiserende indicatoren. De nadruk komt hiermee sterk op de (wetenschappelijke) output te liggen. En minder op bijvoorbeeld de impact / valorisatie van het onderzoek of de samenwerking met externe partijen. Stoas Wageningen heeft de afgelopen jaren, met succes, zeer veel geïnvesteerd in het leren en verbeteren. De lectoren geven aan dat doordat de directie onderdeel uitmaakt van het collectief, we gemakkelijker onderwijs en onderzoek verbinden en krijgt onderzoek voldoende aandacht in de organisatie. De commissie adviseert om ook de komende periode structureel stil te blijven staan bij het evenwicht tussen leren en verbeteren aan de ene kant en normeren en beoordelen aan de andere kant. Met name het normeren en oordelen kan scherper binnen de faculteit. De commissie suggereert dat de directeur van de faculteit uit de kring van lectoren kan stappen om meer distantie te creëren. De VKO merkt overigens wel op dat de tijd nog te kort is om een gewogen oordeel te geven over wat de vorming van Viltentum precies gaat betekenen voor het kwaliteitszorgsysteem van Stoas. In principe ziet het systeem er goed en passen uit, de commissie heeft wel de ervaring dat het werken in een nieuwe constellatie op den duur 11

12 ook zijn weerslag heeft op de feitelijke werking van het kwaliteitszorgsysteem Betrek bachelor studenten systematisch bij het onderzoek In 2011 constateerde de VKO dat bachelor studenten nog onvoldoende betrokken werden bij het onderzoek van de hogeschool. Een conclusie die is herhaald door de visitatiecommissie Verbiest. De externe evaluatiecommissie beveelt aan om de doorwerking van het onderzoek naar de onderwijspraktijk (vmbo en mbo), de Stoas studenten, Stoas docenten en de betekenis ervan voor de inhoud van de Stoas opleidingen meer expliciet te maken. Ook bij de visitatie (NQA2012) van de bachelor en de AD opleidingen komt naar voren dat er binnen het programma meer ruimte en aandacht moet zijn voor het verkrijgen van onderzoeksvaardigheden. De aanbeveling worden door Stoas serieus genomen. De faculteit geeft aan dat de verbinding van het onderzoek met onderwijs in de bachelor en masteropleiding stap voor stap wordt gerealiseerd. Onder andere door: 1. Professionalisering van de docenten door deelname in de kenniskring en door het ontwikkelen van de leergang Methoden en Technieken van Onderzoek (MTO); 2. Vergroten van de betrokkenheid van lectoren en onderzoekers bij onderwijs, door: a. Het lesgeven in bachelor en masteropleidingen; b. Het geven van masterclasses en studium generales door de lectoren; c. Betrekken van de onderzoekseenheid bij de curriculum- en programma ontwikkeling zoals bijv. minoren; d. De ontwikkeling van een module Methoden en technieken van Onderzoek Oordeel VKO De VKO concludeert dat Stoas Wageningen maatregelen heeft getroffen om bachelor studenten te betrekken bij het onderzoek van de hogeschool. De onderzoekseenheid draagt bij aan de ontwikkeling van het onderwijs in bachelor- en/of masteropleiding. De faculteit zet in op het ontwikkelen van onderzoeksvaardigheden en het stimuleren van een onderzoeksattitude bij studenten en docenten. Stoas Wageningen is op de goede weg, maar het betrekken van studenten bij het onderzoek is ook de komende jaren een punt van aandacht. Die aandacht dient in controleerbare afspraken en een kort tijdpad zichtbaar te worden gemaakt. Evenals de commissie Verbiest adviseert de VKO om systematisch te benoemen wat de gewenste spin off dient te zijn van het onderzoek op het curriculum. Bijvoorbeeld door het benutten van de resultaten van onderzoek voor de inhoudelijke verrijking van het curriculum. 12

13 2.4. Vergroot de betrokkenheid van stakeholders uit de beroepspraktijk in het kwaliteitszorgsysteem In 2011 concludeerde de VKO dat de rol van stakeholders in het evaluatieproces vrij marginaal was. Het advies was om de betrokkenheid van onafhankelijke stakeholders uit de beroepspraktijk bij de kwaliteitszorg van het onderzoek te vergroten. Tijdens het bezoek in 2011 gaf de hogeschool aan dat men zich bewust was van het belang maar dat men tevens (nog) zoekende was naar een adequate uitwerking van het evaluatieproces. Anno 2013 is de situatie anders. De interactie met stakeholders is er in diverse vormen en op verschillende momenten. Stakeholders hebben een meer structurele positie gekregen binnen het kwaliteitszorgsysteem. In het kwaliteitskader zijn verschillende niveaus van stakeholderevaluatie benoemd. Op het niveau van een: 1) individueel onderzoeker; 2) onderzoeksproject (direct betrokkenen en opdrachtgevers); 3) lectoraatsopdracht (opdrachtgever, betrokken partnerorganisaties) 4) onderzoeksprogramma (impact bij betrokkenen en daarbuiten) De evaluaties van de onderzoeksprojecten worden systematisch uitgevoerd conform de planning, de lectoraatsopdrachtevaluaties worden gehouden in het studiejaar Het impactonderzoek van het onderzoeksprogramma is nog niet uitgevoerd. Dit onderzoek zal in 2014 plaatsvinden. Dit is conform het kwaliteitskader, precies halverwege de looptijd van het onderzoeksprogramma. Oordeel VKO Tijdens de gesprekken met de stakeholders (zie bijlage 3) werd de hogeschool als zeer toegankelijk omgeschreven. De externe stakeholders waarmee de commissie heeft gesproken, zijn positief over de inbreng en de effecten van het onderzoek, dat door het lectoraat is verricht. De stakeholders worden sinds dit jaar nauw betrokken bij het onderzoek en daarmee samenhangende ontwikkelactiviteiten. Met de evaluatie van het onderzoeksprogramma is nog geen ervaring opgedaan. De stakeholders gaven in het gesprek met de commissie aan niet op de hoogte te zijn van het onderzoeksprogramma. De samenwerking met Stoas Wageningen werd met name gezocht omdat er reeds contacten aanwezig waren met de bestaande lectoren. Dit pleit voor een evaluatie van het onderzoeksprogramma onder de stakeholders. De VKO is in dit kader dan ook verheugd om te vernemen dat de eerste impactmeting op programmaniveau begin 2014 op de planning staat. Tot slot wil de commissie nogmaals benadrukken dat het zichtbaar maken aan (potentiële) stakeholders waar het onderzoeksprogramma over gaat van groot belang is en zij herhaalt de boodschap uit paragraaf 2.1: Een simpele boodschap helpt om het onderscheidende karakter van de faculteit voor het voetlicht te brengen. 13

14 2.5. Herijk de ZER (2011) en stel een actie- en verbeterplan op Naar aanleiding van de VKO beoordeling uit 2011 heeft Stoas Wageningen het zelfevaluatie rapport uit 2011 aangevuld. De aanbevelingen van de Commissie Karssen 2011 en de VKO zijn toegevoegd aan het verbeterplan (Actie- en verbeterplan, 2011). Het actieplan vormde de leidraad voor de in gang gezette veranderingen. Om te toetsen of de faculteit op de goede weg is gegaan heeft zij, voorafgaand aan het VKO bezoek, opnieuw een externe visitatie uitgevoerd. De onderzoekseenheid heeft in december 2012 wederom een zelfevaluatie(januari 2013) geschreven ter voorbereiding op een nieuwe externe visitatie onder voorzitterschap van prof. Verbiest. Bij het opstellen van de zelfevaluatie zijn de aandachtspunten meegenomen uit Elk hoofdstuk van het ZER sluit af met een paragraaf Reflectie. In een samenvattend hoofdstuk presenteert Stoas een SWOT analyse en somt zij ontwikkelpunten op. Oordeel VKO De VKO concludeert dat Stoas Wageningen heeft laten zien dat zij prioriteit heeft gegeven aan de aanbevelingen uit De faculteit heeft sinds 2011 haar kwaliteitsbeleid onderzoek aangescherpt en toegespitst. Het actie- en verbeterplan als middel voor de kwaliteitszorg is effectief ingezet voor verbetering en verdere ontwikkeling van de kwaliteitszorg. Tegelijkertijd constateert de VKO (net als de commissie Verbiest) dat de verdere verheldering van de missie en de doorwerking in het onderwijs hoog op de urgentielijst dienen te blijven staan. De VKO merkt wel op dat dat het ZER nogal wat slordigheden bevat, zoals taal- en stijlfouten. De commissie heeft waardering voor het gegeven dat de, relatief kleine instelling, de zes jaarlijkse cyclus in ruim twee jaar opnieuw heeft doorlopen. Het organiseren van een evaluatie legt een relatief groot beslag op de beschikbare tijd van de lectoren en de docenten die deel uit maken van de kenniskring. 14

15 Conclusies en aanbevelingen De VKO bezocht Stoas in 2011 voor de eerste maal. Aan het einde van het bezoek heeft de commissie besloten om het kwaliteitszorgsysteem van Stoas voorwaardelijk te valideren. Het eerste bezoek van VKO in 2011 was voor de hogeschool mede aanleiding voor een aantal inspanningen, gericht op de versterking van het kwaliteitszorgsysteem onderzoek. De afgelopen twee jaar heeft Stoas Wageningen veel tijd gestoken in het verbeteren van het kwaliteitszorgsysteem. Stoas Wageningen heeft laten zien dat zij prioriteit heeft gegeven aan de aanbevelingen uit Haar visie op onderzoek is geactualiseerd en in nauwe samenwerking met de lectoren is het kwaliteitskader voor onderzoek aangepast. De commissie concludeert dat Stoas haar kwaliteitszorgsysteem op orde heeft. De VKO stelt vast dat de lectoren en onderzoekers tijdens het bezoek aangaven dat zij het kwaliteitszorgsysteem zien als een belangrijk hulpmiddel om (bewust) keuzes te maken (focus). Met het kwaliteitskader ligt er een fundament voor de verdere doorontwikkeling van de instrumentatie en een verdere verfijning van indicatoren in de verschillende domeinen. Alle, door de VKO in 2011 uitgebrachte aanbevelingen, zijn overgenomen en geheel of gedeeltelijk geïmplementeerd. De VKO kwalificeert hiermee de onderzoekskwaliteitszorg van Stoas Wageningen als gevalideerd. De VKO complimenteert de faculteit voor hetgeen is bereikt en moedigt haar aan om met dezelfde inzet en hetzelfde enthousiasme op de ingeslagen weg verder te gaan. De VKO zou op basis van de evaluatie de volgende zaken onder de aandacht willen brengen als verbeterpunten voor de komende periode: - Versimpel de boodschap. De VKO wil Stoas Wageningen adviseren om haar visie op onderzoek de komende periode toegankelijker te formuleren. De VKO had moeite om grip te krijgen op het ETI-research en het onderscheidend karakter van Stoas Wageningen. De commissie begreep het onderzoek als vaart geven aan het leren. Een simpele boodschap komt de herkenbaarheid ten goede en brengt het onderscheidende karakter van Stoas Wageningen beter over het voetlicht. - Het zichtbaar maken aan (potentiële) stakeholders waar het onderzoeksprogramma over gaat is van groot belang. De VKO adviseert om de externe stakeholders te betrekken bij de legitimatie van de onderzoeksmissie. De impactmeting op programmaniveau begin 2014 is een belangrijke eerste stap. - Met de evaluatie van het onderzoeksprogramma is nog geen ervaring opgedaan. De stakeholders gaven in het gesprek met de commissie aan niet op de hoogte te zijn van het onderzoeksprogramma. De samenwerking met Stoas Wageningen werd met name gezocht omdat er reeds contacten aanwezig waren met de 15

16 bestaande lectoren. Dit pleit voor een evaluatie van het onderzoeksprogramma onder de stakeholders. De VKO is in dit kader dan ook verheugd om te vernemen dat de eerste impactmeting op programmaniveau begin 2014 op de planning staat. - De bestuurlijke uitdaging is er de komende periode in gelegen om het evenwicht tussen leren en verbeteren en normeren en oordelen te bewaken. De laatste jaren is er met succes geïnvesteerd in het leren en verbeteren onder meer door jaarlijkse intervisiegesprekken. De tijd lijkt nu rijp om het leren en verbeteren sterker te verbinden aan het normeren en beoordelen. Een mogelijkheid om distantie te creëren tussen lectoren en directie is als de directie geen deel meer neemt aan het lectoren overleg. - De commissie heeft vastgesteld dat Stoas Wageningen via de onderzoekseenheid veel docenten opleidt tot docentonderzoeker. Dit is een ontwikkeling waar het onderwijs profijt bij heeft. Dat geldt zowel voor de promovendi als de overige leden van de kenniskring. Het is een bewuste keuze van Stoas Wageningen om haar personeelsbeleid te richten op het ontwikkelen van talent. De VKO adviseert om in haar personeelsbeleid elementen op te nemen die erop gericht zijn om het aanwezige talent te behouden en om de aanwezige elementen te expliciteren. - Het betrekken van bachelor studenten bij het onderzoek is ook de komende jaren een punt van aandacht. Die aandacht dient in controleerbare afspraken en een kort tijdpad zichtbaar te worden gemaakt. - Er bestaat er een spanningsveld tussen de ambitie van de faculteit en de beperkte capaciteit voor het onderzoek. De hogeschool kan de beperkte capaciteit oplossen door meer gebruik te maken van partnerships en netwerken. Het vormen van partnerships en netwerken wordt een belangrijke opdracht voor de komende periode. Het onderzoek van de faculteit richt zich op het beroepsdomein van de leraar beroepsonderwijs en het bedrijfsleven (begeleider van leerprocessen, adviseur, consultant, trainer). De commissie roept de faculteit op om hier partners te zoeken om mee samen te werken. Stoas kan overwegen om bij de taakstelling van de lectoren het vinden van onderzoekspartners op te nemen en hier een streefwaarde aan te verbinden. De VKO heeft vertrouwen in het ingezette verbeterbeleid. Ze kan daarom haar rapport afsluiten in de wetenschap dat Stoas Wageningen ook haar analyses en aanbevelingen uiterst serieus zal nemen en tot gepaste maatregelen zal overgaan. 16

17 Bijlage 1 Instellingsbesluit VKO Het bestuur van de HBO-raad, vereniging van hogescholen, gelet op het door de vereniging in 2008 vastgestelde basisdocument kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen (hieronder verder aangeduid als basisdocument) als nadere uitwerking van het in 2007 vastgestelde brancheprotocol kwaliteitszorg onderzoek. BESLUIT Artikel 1: Instelling 1. Er is met ingang van 23 maart 2009 een validatiecommissie kwaliteitszorg onderzoek, hierna te noemen VKO. 2. De VKO is ingesteld voor de periode Artikel 2: Samenstelling 1. De VKO bestaat uit zeven leden, waaronder de voorzitter en de vicevoorzitter. 2. De volgende leden zijn door de HBO-raad benoemd: - Prof. dr. P.L. (Pauline) Meurs (voorzitter); - Prof. dr. F.A. (Frans) van Vught (vicevoorzitter); - Drs. B. (Bart) van Bergen (lid); - Dr. C.M. (Tini) Hooymans (lid); - Drs. P.M. (Paul) van Roon (lid); - Drs. P.M.M. (Paul) Rullmann (lid); - Prof. dr. H.W. (Henk) Volberda (lid). 3. De HBO-raad voorziet in het secretariaat van de VKO. Artikel 3: Taak en werkwijze 1. De taak van de VKO is het zesjaarlijkse evalueren en valideren van de kwaliteitszorgsystemen van hogescholen op het aggregatieniveau van de instelling, voor zover de kwaliteitszorg betrekking heeft op het (praktijkgerichte) onderzoek van de hogeschool. 2. De VKO hanteert het in het basisdocument beschreven validatiekader bij het valideren van de kwaliteitszorg van elke hogeschool en komt onafhankelijk en objectief tot een validatiebesluit. 3. De VKO komt op basis van haar evaluerende activiteiten tevens tot analyses en aanbevelingen voor verdere verbetering van het kwaliteitszorgsysteem van de hogeschool. 4. De VKO baseert haar validatiebezoek op een door de hogeschool uitgevoerde zelfevaluatie. Het basisdocument specificeert de eisen die aan zelfevaluatie en validatiebezoek inclusief de op te leveren rapportages worden gesteld. 17

18 5. De VKO bepaalt haar eigen procedures en werkwijze ten aanzien van het validatiebezoek, de validatie en de oplevering van de rapportages binnen de kaders van het basisdocument. 6. De VKO brengt op basis van elk validatiebezoek een openbaar validatierapport uit zoals bedoeld in het basisdocument, nadat hoor en wederhoor heeft plaatsgevonden. 7. Indien de VKO tot een voorwaardelijke validatie heeft geoordeeld worden afspraken gemaakt voor een vervolgvalidatie binnen een termijn van twee jaar. Daarop baseert de VKO of sprake is van onvoorwaardelijke validatie of dat geen validatie wordt verleend. Artikel 4: Rapportage en informatievoorziening 1. De besturen van de hogescholen dragen er zorg voor dat elk rapport van een externe evaluatiecommissie als bedoeld in het bovengenoemde basisdocument, vergezeld van het eventuele bestuursstandpunt over dat rapport, binnen een maand na het openbaar maken van het rapport ter kennis van de VKO wordt gebracht. 2. De besturen van de hogescholen dragen er zorg voor dat een gedocumenteerd zelfevaluatierapport tijdig ter beschikking wordt gesteld aan de VKO en dat een validatiebezoek kan plaatsvinden, beide conform de kaders die daaraan door middel van het basisdocument zijn gesteld en de procedures die binnen die kaders door de VKO worden opgesteld. 3. De VKO draagt er zorg voor dat elk validatierapport ter beschikking wordt gesteld aan de HBO-raad en de Minister van OCW. 4. De VKO draagt er zorg voor dat de door haar ontvangen externe evaluatierapporten vanuit de hogescholen alsmede de door haar zelf gepubliceerde validatierapporten vrij verkrijgbaar zijn via de website van de VKO. Artikel 5: Geldmiddelen 1. De basisinfrastructuur van de VKO (t.b.v. secretariaat, communicatie en algemene vergaderingen) wordt gefinancierd met de jaarlijks te indexeren doelcontributie van de hogescholen. 2. De reëel gemaakte kosten (honoraria en reiskosten van de betreffende deelcommissie VKO) per validatie worden via de HBO-raad bij de betreffende hogeschool in rekening gebracht. 3. De VKO-leden ontvangen via de HBO-raad een jaarlijkse vergoeding op basis van het aantal verrichte validaties en bijgewoonde VKO vergaderingen. Artikel 6: Planning 1. De validaties door de VKO vinden plaats in de volgende vastgestelde volgorde: 2009: Hogeschool Utrecht, Gerrit Rietveld Academie, Hogeschool Zuyd; 2010: Hogeschool van Beeldende Kunsten Muziek en Dans, Hogeschool van Amsterdam, 18

19 De Haagse Hogeschool, Hogeschool INHOLLAND, Hogeschool voor de Kunsten Utrecht, Hanzehogeschool Groningen; 2011: Fontys Hogescholen, Hogeschool Leiden, Aeres Groep, Gereformeerde Hogeschool Zwolle, Hogeschool van Arnhem en Nijmegen, Saxion Hogescholen; 2012: Hogeschool Zeeland, Interactum (Hogeschool IPABO, Marnix Academie, Hogeschool Domstad, Iselinge Hogeschool, Hogeschool De Kempel en Katholieke PABO Zwolle; Hogeschool Edith Stein separaat), Noordelijke Hogeschool Leeuwarden, Stenden Hogeschool, Hogeschool Helicon, Amsterdamse Hogeschool voor de Kunsten; 2013: Codarts Hogeschool voor de Kunsten, Van Hall Larenstein, Hogeschool Rotterdam, NHTV internationale hogeschool Breda, ArtEZ hogeschool voor de kunsten, Windesheim; 2014: Avans Hogeschool, Design Academy Eindhoven, Driestar educatief, HAS Den Bosch, Christelijke Hogeschool Ede, Hotelschool Den Haag. 2. Van deze planning kan alleen worden afgeweken in uitzonderlijke situaties. VKO, HBO-raad en betreffende hogescho(o)l(en) treden met elkaar in overleg indien volgens een van deze partijen sprake is van een situatie die wijziging in de planning noodzakelijk maakt. Het bestuur van de HBO-raad stelt de gewijzigde planning vast en communiceert deze via de geëigende kanalen. 3. De specifieke planning per validatietraject wordt in overleg tussen VKO en hogeschool gemaakt, e.e.a. conform de procedures van de VKO. Artikel 7: Evaluatie 1. Na twee jaar (gerekend vanaf de eerste validatie) zal het overkoepelende kwaliteitszorgstelsel -en daarbinnen de rol en het functioneren van de VKOworden geëvalueerd op basis van de opgedane ervaringen. Hierop wordt mede gebaseerd of en welke eventuele tussentijdse aanpassingen in samenstelling, organisatie en werkwijzen nodig zijn. 2. Ruim voor het aflopen van de periode waarop dit instellingsbesluit betrekking heeft zal het stelsel -en daarbinnen de rol en het functioneren van de VKO - worden geëvalueerd met het oog op de vormgeving en invulling van de kwaliteitzorg t.a.v. onderzoek in de erop volgende periode. Den Haag, 23 maart 2009 D. Terpstra, voorzitter HBO-raad 19

20 Bijlage 2 Overzicht bestudeerd materiaal Aanbevelingen commissie Verbiest Verbiest + reactie Stoas Wageningen Accreditatierapport Bacheloropleiding Accreditatierapport Masteropleiding Actie- en verbeterplan 2011 Actie- en verbeterplan 2011 Gerealiseerd Evaluatie onderzoekseenheid Stoas, commissie Verbiest. Kwaliteitszorgsysteem Onderzoekseenheid Stoas 2011 Meerjarenplanning Onderzoeksevaluaties , vs 2.0 Onderzoek en Kwaliteitszorg Onderzoekseenheid Stoas 2013 vs 2.0. Onderzoeksprogramma Duurzaam Verbindend Leren en Ontwikkelen SEP publicatielijst actueel 2013 Zelfevaluatierapport Kwaliteitszorg Onderzoek 2011, herziene versie 2.2 Zelfevaluatierapport Kwaliteitszorg Onderzoek 2013 (september) Zelfevaluatierapport Onderzoekseenheid (januari 2013) tbv visitiebezoek. 20

21 Bijlage 3 Bezoekprogramma van tot Vraaggesprek VKO met CvB / directie Stoas Wageningen Drs. J. (Joep) Joep Houterman, College van Bestuur Drs. M. (Madelon) de Beus, directeur Stoas Wageningen Vraaggesprek VKO met lectoren/onderzoekers Drs. N (Niek) van Bentum, docent-onderzoeker en promovendus Dr. F.P.C.M. (Frank) de Jong, lector kenniscreatie en ecologisch denken en handelen Drs. T. (Tom) van Oeffelt, docent-onderzoeker en beoogd promovendus Dr. R. (Rudy) Richardson, lector ecologie van culturele diversiteit Dr. M.C.P. (Manon) Ruijters, lector ecologie van het leren Drs. M. (Marjolein) Wallenaar, docent-onderzoeker Vraaggesprek VKO met voorzitters externe onderzoekevaluatiecommissies en externe stakeholders Drs. R. (Roger) Keller, teamleider AOC Oost Drs. A. (Arij) Hoogendijk, teamleider Lentiz Life College Prof. Dr. E. (Erik) Verbiest, vz auditcommissie januari 2013 Drs. F (Freerk) Wortelboer, NSO kerndocent, zelfstandig consultant Besloten vergadering VKO/lunch Vraaggesprek VKO met kwaliteitszorgcoördinator Ir. A (Arie) de Jong, coördinator kwaliteitszorg Drs. M. (Madelon) de Beus, voorzitter lectorenberaad Besloten vergadering VKO Mondelinge terugkoppeling 21

22 Bijlage 4 Korte beschrijving van de VKO deelcommissieleden Prof. dr. P.L. (Pauline) Meurs (voorzitter) Hoogleraar Bestuur van de Gezondheidszorg, Erasmus Universiteit. Voorzitter ZonMW. Lid Onderzoeksraad voor Veiligheid. Dr. C.M (Tini) Hooymans (lid) Lid TNO Raad van Bestuur. Plaatsvervangend Kroonlid SER. Lid Adviesraad Wetenschap en Technologie (AWT). Drs. B. (Bart) van Bergen (lid); Technisch adviseur medische universiteiten Vietnam inzake de ontwikkeling van Centers of Excellence. Oud-faculteitsdirecteur Hogeschool van Arnhem en Nijmegen. Oud-voorzitter sectoraal adviescollege HGZO. Lid van diverse programma/beoordelingscommissies van NWO, ZON-MW, en SIA-RAAK. Drs. E.C. (Emiel) de Groot (secretaris) Beleidsadviseur onderzoek en onderwijs Vereniging Hogescholen 22