De dialoog over kwaliteit en resultaat van praktijkgericht onderzoek Donderdag 10 december 2015 Wiep Koehoorn CvB-stafbureau Quality Assurance Stenden Hogeschool De inleiding wordt verzorgd door Paul Nieuwenhuis Praktijkgericht onderzoek in het HBO Praktijkgericht onderzoek is inmiddels ruim een decennium één van de taken van het Hoger Beroepsonderwijs (HBO). Voor deze nieuwe taak hebben de hogescholen hun kwaliteitszorgsystemen ingericht en in werking genomen. Zij zijn zelf verantwoordelijk voor de kwaliteit van hun onderzoek. Die systemen functioneren in relatie met het landelijk geaccepteerde Brancheprotocol Kwaliteitszorg Onderzoek (BKO), waarvan per 2016 de tweede versie operationeel wordt. Aan die tweede generatie ging onder meer het advies van de Validatiecommissie Kwaliteitszorg Onderzoek (VKO) vooraf, om de aandacht voor de kwaliteit van het onderzoek te versterken. In het nieuwe BKO 2016-2022 is daar dan ook een expliciete eis voor opgenomen, namelijk dat het onderzoek voldoet aan de standaarden die in het vakgebied gelden voor het doen van onderzoek. Tegelijkertijd willen we dat het onderzoek voldoende relevantie heeft: voor de kennisontwikkeling in het betreffende domein, voor de beroepspraktijk en de maatschappij, en voor het onderwijs. Visitatie van onderzoekseenheden Een belangrijk element in de zorg voor kwaliteit van onderzoek is de periodieke visitatie van zogenoemde onderzoekseenheden. Dat zijn veelal (clusters van) lectoraten (kenniscentra) of onderzoeksgroepen. Vandaag vragen we ons af: nnk 16 december 2015 1 Hoe kan zo n (onderzoeks)visitatie worden ingericht? Hoe kan worden bevorderd dat de kwaliteit van het onderzoeksproces
expliciet onderwerp van de visitatie, van de dialoog is? Hoe worden de onderzoeksprestaties gewaardeerd in het licht van de impact die ervan wordt verwacht? Hierover gaan we vanmiddag met elkaar in gesprek tijdens de netwerkbijeenkomst van het Platform HBO van ons Nederlands Netwerk voor Kwaliteitsmanagement (NNK), daartoe bijeen in het Cursus- en Vergadercentrum Domstad te Utrecht. Ongeveer 35 deelnemers doen vandaag mee aan deze bijeenkomst. daarvoor in de plaats overgegaan tot gecombineerde intern/externe (tussen)evaluaties op het niveau van het lectoraat. Om ook antwoord te kunnen geven op wat nu een goed en een slecht lectoraat is, is men begonnen met het ontwikkelen van een kwaliteitsprofiel van een onderwijsteam en van een lectoraat. Dit zou dan ook kunnen bijdragen aan de sturingsmogelijkheden in dezen. Audits maakten duidelijk dat op de governance van onderzoek verbeteringen gewenst waren. Er is een verbeteragenda opgesteld op grond van het oordeel van een beoordelingscommissie, met daarin een voorstel om te komen tot sturing op de kwaliteit van het praktijkonderzoek en van de prestaties van de lectoraten, dat uiteindelijk mede leidt tot het beoogde kwaliteitsprofiel. Veldraadplegingen Paul Nieuwenhuis (Hoofd Bureau Kwaliteitszorg van Saxion Hogeschool, en tevens voorzitter van ons Platform HBO van het NNK) leidt de discussie in aan de hand van de resultaten van enkele interviews, die hij met enkele lectoren heeft gehouden over deze vragen. Saxion houdt intern dergelijke veldraadplegingen om een impuls te geven aan de dialoog over de kwaliteit en het resultaat van praktijkgericht onderzoek. Ten behoeve van het praktijkgericht onderzoek werkt(e) Saxion Hogeschool aan de ontvlechting van haar kenniscentra, om die met hun lectoraten meer en steviger te verbinden met de academies en haar opleidingen. In haar kwaliteitszorgsysteem is Saxion Hogeschool mede daarom in 2014 afgestapt van separate interne audits, en Paul Nieuwenhuis (Saxion Hogeschool) Resultaat telt De kwaliteit van het onderwijs en van het praktijkgericht onderzoek leest men bij Saxion nnk 16 december 2015 2
Hogeschool af aan de resultaten die ze daarmee realiseren. Met haar visie op kwaliteit van onderzoek beoogt Saxion Hogeschool: uitstekend onderwijs èn relevant praktijkgericht onderzoek, dat bijdraagt aan innovatie van beroepspraktijk en maatschappij, en aan kennisontwikkeling in het vakgebied. Paul heeft in zijn veldraadpleging interviews gehouden met een focus op de inhoudelijke kwaliteit, waarbij je bijvoorbeeld kunt denken aan de kwaliteit van het onderzoekproces, geëxpliciteerde standaarden, een gedragscode als leidraad voor praktijkgericht onderzoek in het HBO, uitvoering volgens de methodologisch regels, de onderzoeks- en beroepsethiek, èn de waarden van het vakgebied en van het onderzoekdomein. In de veldgesprekken met lectoren bleek onder andere dat men de inhoudelijk kwaliteit als een voorwaardelijk aspect beschouwt, dat men vindt dat je als lector moet samenwerken met je (externe) vakgenoten, en dat er sprake moet zijn van onderling vertrouwen. Indicaties die wijzen op kwaliteit - en die in de ogen van lectoren óók voorwaardelijk zijn voor de inhoudelijke kwaliteit - waarmee je aantoont of/dat je meetelt als lector, zijn: - Je moet zorgen voor publicaties, en bijdragen leveren aan congressen; - Participatie in relevante' netwerken, want die heb je echt nodig om mee te praten over de actuele ontwikkelingen op je vakgebied; - Je moet competitief zijn (dus goed scoren) in subsidietrajecten (denk bijvoorbeeld aan de Raak-subsidies). Paul Nieuwenhuis sluit af met een overzicht van de diverse rollen van verschillende partijen, als je wilt kijken naar de kwaliteit van de performance van lectoren en lectoraten. Zo moeten bijvoorbeeld het bestuur en het management het gesprek over het interne systeem organiseren en voeren. Uiteraard dient er ook aandacht te zijn voor de rol van de onderzoeker. Met de groep overige stakeholders/peers (bijvoorbeeld vakgenoten, de opleiding(en), het werkveld) wil men ook het gesprek (meer) gaan voeren. Ga niet (uitsluitend) af op de eigen inschatting van een lector, maar ga ook zelf (onafhankelijk) onderzoeken of bijvoorbeeld opdrachtgevers van je lector werkelijk tevreden zijn over de resultaten van de lector. De waarde van combi-visitaties Fontys Hogescholen heeft een rijke ervaring met gecombineerde visitaties van opleidingen en lectoraten. Thea van Roermund (auditor van Fontys Hogescholen) verzorgt vervolgens een presentatie over de waarde die deze combi-vorm van visiteren heeft voor de relevantie van onderzoek voor onderwijs, en vice versa. Thea vertelt vanmiddag over de zogenoemde geïntegreerde opleidings- en lectoraatsaudit binnen Fontys Hogescholen. Bij Fontys Hogescholen zijn lectoraten altijd al verbonden geweest aan onderwijsinstituten en (met) hun opleidingen. De aanleiding tot de keuze voor geïntegreerde audits was gelegen in de aanbeveling van VKO 2011, namelijk: verminder de arbeidsintensiviteit van de midterm reviews. nnk 16 december 2015 3
Inhoud van de geïntegreerde opleidings- en lectoraatsaudits Qua focus en uitgangspunten is Fontys Hogescholen ook met haar lectoraten gericht op de bijdrage aan de continue kwaliteitsverbetering van het onderwijs, van het curriculum en van de professionalisering. Sturing en eigenaarschap ligt bij de onderwijsinstituten, terwijl het lectoratenportfoliobeheer en het kwaliteitszorgsysteem centraal werd/is belegd in de hogeschool. Tussentijdse diagnoses stelt men middels een documentenanalyse met behulp van een aanvraagdossier, met de onderzoeksplannen, jaarverslagen van lectoraten, en een fact sheet. Door in één (gelijktijdige onderwijsonderzoeks)audit door een auditteam van Fontys Hogescholen ook gesprekken te laten voeren met de directie, met lectoren en met hun kenniskringleden, kun je je tegelijk ook richten op de inbedding van het lectoraat en haar onderzoek in het onderwijsinstituut. Zo verkrijg je ook inzicht in de werking van de gekozen positionering. Over de missie en de doelstellingen van het lectoraat wordt per lectoraat gerapporteerd. Voorts wordt in deze combi-audits aandacht besteed aan de randvoorwaarden en aan de resultaten met betrekking tot onderwijs en professionalisering. Thea van Roermund (Fontys Hogescholen) Ervaringen Aan de hand van je (voor)onderzoek met behulp van een ingevulde matrix kom je er in de audit al snel achter wat een lectoraat wel afdekt, en op welke gebieden lectoraten nog witte vlekken vertonen. Als je als lector bijvoorbeeld veel aandacht besteedt aan de beroepspraktijk, dan valt je bijdrage aan, en de impact op het onderwijs al heel snel tegen. Andersom geldt dat natuurlijk ook. Dat beeld ontstaat uiteraard al heel snel als je te maken hebt met een lector die bijvoorbeeld een aanstelling van slechts 0,3 fte heeft. Dan móet je wel keuzes maken. Je moet je er als auditor ook altijd bewust van zijn dat een documentenanalyse an sich wel kan leiden tot beschrijvingen van een onderwijs- en/of onderzoeksprogramma, maar dat die activiteit per definitie nog niet leidt tot de nodige reflecties. Bij de panelgesprekken zijn ten behoeve van een goed auditresultaat ook de auditdeelnemers, de sfeer en de inhoud van de panelgesprekken van belang. nnk 16 december 2015 4
De auditrapportages bij Fontys Hogescholen worden per lectoraat geschreven als een hoofdstuk in de opleidingsrapportage, omdat het hier gaat om een geïntegreerde onderwijsonderzoekaudit. Die auditrapportages gaan naar de instituten en naar het college van bestuur. In het voorafgaande contextgesprek wordt behalve over de bijdrage van het onderwijs aan het lectoraat ook gesproken over de bijdrage van het lectoraat aan het onderwijs. Daarbij is er tevens aandacht voor bijvoorbeeld de kwaliteit van het begeleiden van studenten, en voor het beoordelen van afstudeercriteria en afstudeerscripties. Conclusies en aandachtspunten Fontys Hogescholen concludeerde achteraf dat deze meer gedecentraliseerde vorm van geïntegreerd auditen inderdaad wel efficiënter blijkt te zijn, maar men realiseerde zich daarbij terdege dat men daarbij ook wel iets verloor, bijvoorbeeld aan centrale regie, op (lectoraten)portfoliobeheer en op de kwaliteitszorg. Centraal kreeg men dus minder zicht op de kwaliteit van de inhoud. De aandachtspunten voor Fontys Hogescholen zijn momenteel: het verkrijgen van meer helderheid op de onderzoekprofielen, en naar de inhoudelijke bijdragen van de lectoraten aan de onderwijsinstituten moet nog eens goed worden gekeken; verder is er meer focus gewenst op sturing en positionering, en vooral het lectoraten-portfoliobeheer en de kwaliteitsborging moet weer gecentraliseerd worden. Ook moet men komen tot meer transparantie en een groter zelfkritisch vermogen. Fontys Hogescholen wil daartoe nu scherpere keuzes gaan maken op items als focus, output, sturing en kwaliteitsverantwoording. en over de relevantie van praktijkgericht onderzoek. De eerste twee stellingen gaan over het meten/onderzoeken van de kwaliteit van het onderzoek/lectoraat: 1. Over inhoudelijke kwaliteit van onderzoek is dialoog met peers afdoende (en voor andere stakeholders is dat een geruststelling). Uit de hierop volgende plenaire terugkoppeling blijkt: een goed inhoudelijk gesprek doe je in een ketengesprek, waaraan alle participanten van het onderzoek deelnemen. 2. Peer reviewed publiceren is niet nodig om als gerespecteerd onderzoeker in een University of Applied Sciences (hogeschool) betekenis/impact te hebben. Uit de hierop volgende plenaire terugkoppeling blijkt dat men het wel belangrijk vindt om je onderzoeksresultaten tegen het licht te houden bij iemand buiten jouw kring, ongeacht wie dat dan is. De laatste twee stellingen gaan over de professionele ruimte van het lectoraat: 3. Lectoren moeten autonoom zijn in hun keuzes ten aanzien van de te onderzoeken thema s. In de hierop volgende terugkoppeling wordt gezegd: op management- en bestuursnivo wordt dit met de lector besproken, maar daarna moet je je niet meer bemoeien met hoe en wat onderzocht wordt, want dan komt het op de professie en de professionele ruimte van de lector aan. Uitwisseling van ervaringen en ideeën In de tweede helft van deze netwerkbijeenkomst wisselen we na de pauze - aan de hand van enkele stellingen - in groepjes ervaringen en ideeën uit over de bevordering van de dialoog over de kwaliteit nnk 16 december 2015 5 4. Het is niet nodig om het werkveld van de opleidingen te betrekken in de eisen die aan de output van de lectoraten worden gesteld. In de hierop volgende plenaire terugkoppeling worden drie nuances
genoemd: het opleidingsdomein kan breder zijn dan een lectoraat en een lector moet met meer dan alleen de beroepspraktijk rekening houden (bv. ook met de bijdrage aan het gegeven onderwijs), er moet eveneens sprake zijn van een bepaalde mate van onafhankelijkheid van het lectoraat ten opzichte van het werkveld, en het kan ook zeer wel voorkomen dat de opleiding en het lectoraat qua ontwikkeling al verder is/zijn dan het werkveld waarvoor die opleiding opleidt. De rol van de kwaliteitsadviseur De extra discussievraag die alle vier stellingensubgroepen mee kregen, luidt: Welke rol/functie heb ik als kwaliteitsadviseur in het monitoren van de kwaliteit van onderzoek en het verbeteren van de kwaliteit van onderzoek? De reacties die daarop komen in de plenaire terugkoppeling aan het eind van deze netwerkbijeenkomst, zijn: Houd je bijvoorbeeld aan het begin van een lectoraat bezig met het creëren van bewustwording, met het aanreiken van modellen, met het geven van adviezen daarover, maar bemoei je niet met de inhoud van de lectoraten; je hoeft ze niet te monitoren, want die verantwoordelijkheid ligt niet bij de kwaliteitsadviseur. Wees dus niet voorschrijvend. Je bent wel de sparring partner, en dat bevalt in de praktijk ook uitstekend. Bron: http://wiepkoehoorn.blogspot.nl/2015/12/dedialoog-over-kwaliteit-en-resultaat.html nnk 16 december 2015 6