KWALITEITSZORGSTELSEL VAN ONDERZOEK IN HET HBO tussentijdse evaluatie (periode 2009 medio 2011)

Transcriptie

1 KWALITEITSZORGSTELSEL VAN ONDERZOEK IN HET HBO tussentijdse evaluatie (periode 2009 medio 2011) RAPPORTAGE In opdracht van: HBO-raad / Validatiecommissie Kwaliteitszorg Onderzoek VERSIE: Definitief Datum: 30 september 2011 Drs. A.V. Feijt (onderzoeker) Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 1

2 Leeswijzer. Na de summary met conclusies en aanbevelingen worden de resultaten per vraag en geordend per thema behandeld. Per vraag worden achtereenvolgens gegeven: Aantal respondenten dat de vraag heeft beantwoord; gemiddelde rapportcijfer; korte analyse; opvallende zaken uit de toelichtingen / open antwoorden. Elk thema wordt afgesloten met een conclusie. Achter de rapportage is een overzicht opgenomen van alle vragen met gemiddelde cijferwaardering per aspect en enige spreidingsinformatie. In bijlagen (separaat): -Overzicht spreidingsmaten per vraag met vergelijking tussen scores (mono- en multisectroaal, omvang hogescholen, gevalideerd-, niet gevalideerd). -Overzicht met rechte tellingen in tabellen en alle antwoorden uit de open vragen (geordend per vraag). -Vragenlijst Rotterdam, 30 september 2011 The Research Company BV Alex Feijt (onderzoeker) Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 2

3 Summary In 2009 is in het hbo het kwaliteitszorgstelsel voor onderzoek ingevoerd. Daarbij is afgesproken dat na twee jaar een tussentijdse evaluatie zou plaatsvinden met het oog op verbetering en doorontwikkeling van het stelsel. Een centraal onderdeel van die evaluatie is een in oktober 2011 te houden conferentie. Doel van die conferentie is te bepalen op welke aspecten de kwaliteitszorg verbetering en doorontwikkeling behoeft. Ter voorbereiding op de conferentie is The Research Company gevraagd een enquête uit te zetten onder hogeschoolmedewerkers en lectoren die nauw bij onderzoek en kwaliteitszorg zijn betrokken. De vragen hadden zowel betrekking op het huidige stelsel als het toekomstige stelsel. Bij de vragen over het huidige stelsel lag het accent op twee van de drie onderdelen te weten: de externe onderzoeksevaluaties waarvoor het BKO de richtlijnen geeft de validaties door de VKO van de kwaliteitszorg op instellingsniveau Steekproef/respons Elke hogeschool kent een contactpersoon voor de HBO-raad/VKO die nauw is betrokken bij kwaliteitszorg onderzoek. Deze 40 contactpersonen zijn benaderd met het verzoek deel te nemen aan de enquête. Daarvan hebben 23 (58%) personen de vragen beantwoord. Daarnaast is elke contactpersoon gevraagd een mail met (andere) vragen door te sturen naar 3 lectoren die binnen de hogeschool nauw betrokken zijn bij kwaliteitszorg onderzoek. Uiteindelijk hebben 21 lectoren de vragen ingevuld. Aangezien niet duidelijk is of en hoe de mail door de contactpersoon is verspreid en aangezien voor een deel van de hogescholen geldt dat er (nog) geen 3 bij kwaliteitszorg betrokken lectoren zijn, is een responspercentage moeilijk te bepalen. In ieder geval moge duidelijk zijn dat van een voor lectoren representatieve steekproef geen sprake is. Uitkomsten moeten met grote voorzichtigheid worden beschouwd. Gezien het exploratieve karakter van de enquête hoeft dat geen groot probleem te zijn. De vragen die zijn voorgelegd zijn onder te verdelen in vragen over: 1. de mate waarin het stelsel aansluit bij de aard, omvang en ontwikkelingsfase van het onderzoek en de verschillen tussen hogescholen (vragen aan contactpersonen) 2. de realisatie van de met het stelsel beoogde doelstellingen (vragen aan contactpersonen) 3. het proces en de opbrengsten van de externe onderzoeksevaluaties (vragen aan contactpersonen en lectoren) 4. het proces en de opbrengsten van de VKO-validatie (vragen aan contactpersonen) 5. het kwaliteitszorgstelsel van de toekomst (vragen aan contactpersonen) Elke vraag is gesloten gesteld met de mogelijkheid om het antwoord nader toe te lichten. De gegeven toelichtingen bieden goede mogelijkheden om de kwantitatieve informatie (gemiddelde cijfers en percentages) in te kleuren. Als achtergrondvariabelen zijn meegenomen: mono of multi-sectorale hogeschool, omvang van de hogeschool, fase van validatie door VKO en aantal uitgevoerde onderzoeksevaluaties. Hiermee kunnen verschillen tussen groepen zichtbaar worden gemaakt. De gegevens zijn per categorie vragen als volgt samen te vatten 1. Mate waarin het stelsel aansluit bij de aard, omvang en ontwikkelingsfase van het onderzoek en de verschillen tussen hogescholen Gemiddeld genomen vinden de contactpersonen dat de aansluiting er voldoende tot ruim voldoende is. Echter, er zijn wel verschillen tussen groepen waarneembaar Het lijkt erop dat men vanuit de kleinere en mono-sectorale hogescholen ervaart dat het stelsel zich teveel richt op de grotere en multi-sectorale hogescholen. Dit lijkt zich toe te spitsen op het gevoel dat de administratieve druk voor kleinere hogescholen onevenredig groot is. Het wordt niet precies duidelijk welke aspecten van het stelsel precies voor die grotere druk zouden zorgen. Dit is een belangrijk thema om nader uit te diepen en waar mogelijk te verbeteren. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 3

4 2. Realisatie van de met het stelsel beoogde doelstellingen Gemiddeld genomen vinden de contactpersonen dat de beoogde doelstellingen 1 tot nu toe in algemene zin voldoende worden gerealiseerd. Dit geldt het sterkst voor het borgen en verbeteren van kwaliteit en randvoorwaarden en het minst voor de bijdrage die het stelsel levert aan de versterking van positie en imago van onderzoek. Bij het laatste wordt door sommigen de vraag gesteld of je dat wel van het kwaliteitszorgstelsel mag verwachten, anderen vinden het nog te vroeg om dit te kunnen bepalen. Daarnaast zijn ook bij deze categorie vragen duidelijke verschillen waarneembaar tussen onder 1 genoemde groepen. De trend is ook hierbij is dat de kleinere en monosectorale hogescholen sceptischer zijn dan de grotere en multisectorale hogescholen. Bovendien zijn de reeds gevalideerd hogescholen positiever over het realiseren van de doelstelling 'genereren van sturingsinformatie voor hogeschool en branche'. Onduidelijk is waardoor de verschillen precies worden verklaard. In ieder geval geven de antwoorden aanleiding om de destijds geformuleerde doelstellingen tegen het licht te houden en na te gaan op welke wijze via de drie onderdelen van het stelsel aan elk van de doelen een betere bijdrage zou kunnen worden geleverd. En hoe hierbij meer rekening kan worden gehouden met kleinere en monosectorale hogescholen. 3. Het proces en de opbrengsten van de externe onderzoeksevaluaties Over het algemeen oordelen de contactpersonen positief over de richtlijnen die vanuit het BKO aan de hogescholen zijn meegegeven voor de organisatie en uitvoering van externe onderzoekevaluaties. Ruim 80% vindt bovendien dat de evaluatietrajecten voldoende hebben opgeleverd afgezet tegenover de geleverde inspanningen. Een enkele respondent noemt dat het soms lastig is om de juiste commissie samen te stellen. Slechts 5% van de contactpersonen is het dan ook oneens met de stelling dat meer zou moeten worden samengewerkt tussen hogescholen bij de samenstelling van commissies. Ten aanzien van het beoordelingskader (de evaluatievragen in het BKO) wordt door meerderen de behoefte aan concrete indicatoren genoemd. Die behoefte wordt bevestigd door de antwoorden op de stelling 'Er zijn landelijke indicatoren voor kwaliteit en impact nodig die het beoordelingskader aanscherpen'. Zo'n 80% van de contactpersonen is het daarmee eens. Daarbij wordt via een andere stelling aangegeven dat grotere vergelijkbaarheid belangrijk is maar dat dit niet mag leiden tot uniformiteit. De lectoren (zeer beperkt in aantal en dus niet representatief) zijn overwegend positief over hun ervaringen met de externe onderzoeksevaluaties. Dit geldt zowel voor het evaluatieproces als de opbrengsten in termen van daadwerkelijke verbeteringen. 4. Het proces en de opbrengsten van de validatie door de VKO Gemiddeld genomen krijgen het validatieproces en de opbrengsten ervan een ruime voldoende. Dit geldt voor de communicatie met de VKO, de waarde van de zelfevaluatie, het beoordelingskader, het bezoekprogramma, de werkwijze en het eindrapport. De opbrengst van de validatie afgezet tegen de geleverde inspanningen wordt gemiddeld genomen voldoende bevonden. Maar ook hier zijn de contactpersonen van de kleine en mono-sectorale hogescholen minder positief over. Zij lijken met name de zelfevaluatie arbeidsintensief te vinden. 5. Het kwaliteitszorgstelsel van de toekomst (vanaf 2015) Over het meest wenselijke vervolgstelsel bestaat een verdeeld beeld. In ieder geval vindt nagenoeg geen contactpersoon dat er een totaal ander stelsel moet komen. Een kleine meerderheid vindt zelfs dat het huidige stelsel moet worden voortgezet vanaf Zo'n 20% (met name kleine en multi-sectorale hogescholen) vindt dat er helemaal geen vervolgstelsel moet komen. Driekwart vind dat de VKO in het volgende stelsel een rol moet blijven vervullen. Over de wenselijkheid om het stelsel te integreren met het accreditatiestelsel bestaat grote verdeeldheid. Een gezamenlijk stelsel met de universiteiten wordt door tweederde afgewezen. Een kleine 1 De doelstellingen zijn: Borgen en verbeteren van onderzoekskwaliteit en randvoorwaarden Versterken van de positie en het imago van onderzoek aan hogescholen Genereren van sturingsinformatie voor hogeschool en branche Verantwoording richting overheid en maatschappij over besteding publieke middelen Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 4

5 meerderheid vindt niet dat er meer accent moet komen te liggen op de verantwoordingsfunctie. Belangrijk is de dialoog met elkaar aan te gaan over het meest wenselijke scenario vanuit een langetermijnvisie op de ontwikkeling van het praktijkgericht onderzoek aan hogescholen. Aanbevelingen: Voor de conferentie als eerstvolgende stap in de tussentijdse evaluatie (met het oog op de doorontwikkeling van het stelsel) worden de volgende vier thema's dringend aanbevolen: Aansluiting bij kleine en monosectorale hogescholen (met name v.w.b. de administratieve lasten) Bijdragen aan de vier vooraf geformuleerde doelen (verbetering, verantwoording, positionering en sturing) Behoefte aan meer concrete indicatoren Het gewenste stelsel vanaf 2015 Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 5

6 INHOUD SUMMARY 3 INLEIDING 7 RAPPORTAGE 8 RESULTATEN 10 DEEL I: VRAGEN MET BETREKKING TOT DE AANSLUITING VAN HET STELSEL BIJ DE AARD, OMVANG EN ONTWIKKELINGS- FASE VAN HET ONDERZOEK EN DE VERSCHILLEN TUSSEN HOGESCHOLEN. 12 DEEL II: VRAGEN MET BETREKKING TOT DE REALISATIE VAN DE MET HET STELSEL BEOOGDE DOELEN (BKO EN VKO) IN ALGEMENE ZIN 16 DEEL IIIA : CONTACTPERSONEN, VRAGEN MET BETREKKING TOT HET PROCES EN DE OPBRENGSTEN VAN DE EXTERNE ONDERZOEKSEVALUATIES. 21 DEEL IIIB : LECTOREN, VRAGEN MET BETREKKING TOT HET PROCES EN DE OPBRENGSTEN VAN DE EXTERNE ONDERZOEKSEVALUATIES. 24 DEEL IV: VRAGEN MET BETREKKING TOT HET PROCES EN DE OPBRENGSTEN VAN DE VALIDATIE DOOR DE VKO 30 DEEL V: VRAGEN MET BETREKKING TOT HET KWALITEITSZORGSTELSEL VAN DE TOEKOMST (VANAF 2015) 35 Totaal cijferoverzicht 48 Bijlagen (separaat) Scores per vraag, gemiddelden en verschillen per type- en omvang hogeschool. Rechte tellingen per vraag met opmerkingen van contactpersonen en lectoren. Vragenlijst in PDF Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 6

7 Inleiding De Validatiecommissie Kwaliteitszorg Onderzoek (VKO) van de HBO-raad heeft als kerntaak om een deel van de kwaliteitszorg-systemen van hogescholen te valideren. De validaties van de VKO hebben betrekking op de kwaliteitszorg van onderzoek van de hogescholen. Bij het valideren hanteert de VKO een validatiekader. Ze baseert haar oordeel op een gedocumenteerd zelfevaluatierapport van de hogeschool en een audit die uitgevoerd wordt door een deelcommissie vanuit de VKO. Bij de validatie staan de externe evaluaties van onderzoekseenheden centraal. De VKO maakt studie van een of meer onderzoeksevaluaties die de hogeschool in de afgelopen periode heeft laten uitvoeren. De uiteindelijke validatie richt zich echter op het instellingsniveau. De VKO beoordeelt de inbedding van de evaluaties in het kwaliteitszorgsysteem van de hogeschool, met aandacht voor samenhang, randvoorwaarden voor kwaliteitszorg en het gevoerde verbeterbeleid. In de zomer van 2011 heeft de VKO het kwaliteitszorgstelsel voor onderzoek laten evalueren. De evaluatie is uitgevoerd door The Research Company, onafhankelijk onderzoeksbureau voor praktijkgericht onderzoek. Onderzoeker Alex Feijt heeft in overleg met VKO de vragenlijsten opgesteld voor contactpersonen en lectoren, de operationalisatie van datavergaring begeleid en analyse en rapportage verzorgd. Meer informatie over het onderzoeksbureau : Informatie over de onderzoeker: Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 7

8 Rapportage In het kader van een tussentijdse evaluatie van het kwaliteitszorgstelsel voor onderzoek in het HBO-onderwijs is onderzoek gedaan naar 5 thema s rondom genoemd stelsel: De mate waarin het stelsel aansluit bij de aard, omvang en ontwikkelingsfase van het onderzoek en de verschillen tussen hogescholen; de mate van realisatie van de met het stelsel beoogde doelstellingen; het proces en de opbrengsten van de externe onderzoeksevaluaties; het proces en de opbrengsten van de validatie door de VKO en ideeën over de toekomst van het stelsel (vanaf 2015). In overleg met VKO zijn 2 vragenlijsten opgesteld. Eén vragenlijst voor contactpersonen van VKO. Eén vragenlijst voor lectoren. De vragenlijsten zijn gedigitaliseerd en online gezet. Er heeft een test plaatsgevonden waarbij twee personen uit de doelgroep samen met onderzoeker de vragenlijst, online hebben ingevuld. Naar aanleiding van de ervaring opgedaan tijdens de testfase is de vragenlijst nog geoptimaliseerd. Methode Er is gekozen voor een exploratief onderzoek met behulp van een online enquête onder contactpersonen van de VKO bij 40 Hogescholen. Contactpersonen werden per gevraagd om deel te nemen aan het onderzoek. In de was een internetlink opgenomen naar de enquête. In de toelichting die ingesloten was in het bericht werd aan de contactpersonen gevraagd om, indien mogelijk, 3 lectoren van desbetreffende instelling uit te nodigen om deel te nemen aan de enquête. Hiertoe kon men de met de internetlink doorsturen aan desbetreffende lector. Steekproef Samenstelling bruto steekproef Doelpopulatie: Contactpersonen : 40 Doelpopulatie: Lectoren : 120 doel- bruto netto populatie steekproef respons % Contactpersonen Hogescholen % Lectoren* % *) Lectoren zijn niet direct benaderd. Aan de contactpersonen is gevraagd om 3 lectoren te vragen mee te doen aan het onderzoek. Een duidelijke verklaring voor de zeer lage respons onder lectoren kan op grond van het onderzoek niet worden gegeven. Factoren waar onderzoeker in eerste instantie aan denkt zijn: het tijdstip van het onderzoek (mogelijk was een deel van de lectoren al met vakantie); ruis in de interne communicatie tussen contactpersonen en lectoren waardoor een deel van de lectoren geen verzoek tot deelname heeft gekregen. Er is geen onderzoek gedaan naar non-respons. Uitvoering In juni 2011 hebben 40 contactpersonen van VKO bij 40 HBO instellingen een vooraankondiging gekregen van het evaluatieonderzoek. In juni heeft The Research Company aan genoemde contactpersonen per een uitnodiging gezonden voor deelname aan een anonieme, online enquête over het kwaliteitszorgstelsel van onderzoek. In de uitnodiging werd een korte toelichting gegeven van het doel van het onderzoek met daarbij instructies voor de deelnemers. In de vroeg onderzoeker of elke contactpersoon 3 lectoren van desbetreffende instelling wilde vragen om ook mee te doen aan de enquête. Omdat de enquête kort voor de zomervakantie werd uitgezet is ervoor gekozen om de responstermijn te bepalen op 6 weken. Er is vervolgens nog 2x een reminder verstuurd aan de contactpersonen met een herhaling van de oproep. Vragenlijst De vragenlijst bestond uit een gedeelte met vragen voor contactpersonen en een gedeelte met vragen voor de lectoren. De vragenlijst voor contactpersonen bevatte 33 (sub)vragen verdeeld over 5 thema s en 8 achtergrondvragen. Invullen van de vragenlijst duurde (testfase) gemiddeld 35 minuten. De vragenlijst voor lectoren bevatte 8 vragen verdeeld over twee thema s en 6 achtergrond vragen. Invultijd van deze vragenlijst is niet getest maar gezien de omvang (in vergelijking met de vragenlijst voor contactpersonen) is dit geschat op minuten. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 8

9 Dataverwerking De data uit het online enquêtesysteem is aan het einde van de responstijd geëxporteerd voor analyse naar het programma SPSS. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 9

10 Resultaten Respons Responssamenstelling contactpersonen: In totaal 23 hogescholen namen deel aan de enquête. Verdeling deelnemende hogescholen naar type mono-sectoraal 35% multi-sectoraal 65% Verdeling deelnemende hogescholen naar het aantal studenten minder dan 1300 studenten 22% studenten 30% meer dan studenten 48% Verdeling deelnemende hogescholen naar fase van VKO-validatie Is door de VKO gevalideerd 36% wordt in 2012 door VKO bezocht 32% wordt tussen jan 2013 en jan bezocht 32% Verdeling: hebben er evaluaties binnen de hogeschool plaatsgevonden?. Ja 68% Nee 32% Verdeling: bij hoeveel evaluaties waren contactpersoon functioneel betrokken? Aantal Freq % % % 2 2 9% 3 1 4% 4 1 4% 5 1 4% 6 1 4% 9 1 4% % Total % Responssamenstelling lectoren: Aantal deelnemers 21 Ervaring Gemiddelde ervaring als lector Mediaan Kortst Langst = 65 maanden = 60 maanden = 6 maanden = 115 maanden Hoe lang lector? Aantal % Korter dan 2 jaar jaar 6 29 > 5 jaar Schooltype: aantal Monosectoraal: 6 Multisectoraal: 15 Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 10

11 Omvang hogescholen: Minder dan 13 oo studenten: 3 Tussen 1300 en studenten: 5 Meer dan studenten : 13 Bezoek visitatiecommissie (=niet VKO) nog niet plaats gevonden: 7 in 2009: 4 in 2010: 8 in 2011: 2 Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 11

12 Deel I: Vragen met betrekking tot de aansluiting van het stelsel bij de aard, omvang en ontwikkelingsfase van het onderzoek en de verschillen tussen hogescholen. Er konden rapportcijfers gegeven worden van 1 t/m 10 en er werd gevraagd om het cijfer toe te lichten. In hoeverre sluit het kwaliteitszorgstelsel (BKO/VKO) in algemene zin aan bij. 1.De ontwikkelingsfase van het onderzoek N=21 Gemiddeld cijfer: 7,3 Er zijn geen significante verschillen, omvang van de school, het schooltype (mono- of multi-sectoraal) of het al dan niet gevalideerd zijn geven geen (significant) verschil in gemiddelde cijfer. 14% deel van de contactpersonen geeft voor dit aspect van het huidige stelsel een cijfer 6 of lager. De HBO-instellingen zijn overwegend positief vooral omdat het stelsel niet gericht is op afrekenen maar op ontwikkeling. Het stelsel sluit aan op instellingen die nog niet lang bezig zijn met onderzoek. Aan de andere kant betekent dit dat voor sommige contactpersonen de enquêtevragen te vroeg worden gesteld omdat men nog weinig ervaring heeft met het stelsel. Het gemiddelde cijfer 7,3 is relatief hoog in vergelijking met de beoordeling van andere aspecten. Opvallende opmerkingen uit de toelichtingen Er zou iets meer aandacht mogen zijn voor de groei van het onderzoek in deze fase waarin we nog niet de 'soll-situatie' hebben bereikt. Onderzoek HBO moet voortborduren op advies van commissie Veerman, profilering hogescholen. Dat aspect verdient meer aandacht. Veel lectoren en onderzoek zijn recent gestart, waardoor het van belang is te stipuleren in hoeverre het onderzoek inmiddels is gevorderd. Deze vraag is te vroeg. Onderzoek is voor onze hogeschool nog een relatief nieuwe activiteiten, maar de BKO heeft hieraan wel richting. In hoeverre sluit het kwaliteitszorgstelsel (BKO/VKO) in algemene zin aan bij. 2.De (nog) geringe omvang van het onderzoek N=21 Gemiddeld cijfer: 6,4 Spreiding: Enige spreiding in waarden 46% deel van de contactpersonen geeft voor dit aspect van het stelsel het cijfer 6 of lager. Het zijn vooral de kleine hogescholen. Binnen de groep middelgrote- en grote hogescholen verschillen contactpersonen van mening over dit aspect van het stelsel. Het stelsel sluit volgens een aantal contactpersonen niet goed aan op de praktijk van hogescholen die een klein lectoraat hebben of die nog aan het begin staan van de ontwikkeling van onderzoek. De kleinste HBO-instellingen waarderen het aspect significant lager dan de grootste HBO-instellingen. Gemiddeld cijfer kleine hogescholen : 5,5, Gemiddeld cijfer grote hogescholen 7,0 Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 12

13 Opmerkingen contactpersonen kleine hogescholen Bij kleine hogeschool moet kwaliteitszorgstelsel ook werkbaar zijn. Daarom gekozen voor stelsel op programma niveau in plaats van lectoraatsniveau. Hierover is stelsel nog niet zo duidelijk. De aard van de onderzoekers is niet te vergelijken met de universitaire onderzoekers, professionalisering is een belangrijk aspect evenals de praktijkgerichtheid en de impact voor de praktijk De onafhankelijke commissie toont hopelijk begrip voor de nog beperkte omvang van onderzoek. De kaders gaan er enigszins vanuit dat er al de nodige massa gecreëerd is. Ik ben niet gerust op de spanning die daardoor in de beoordeling kan ontstaan. De zwaarte van het kwaliteitszorgstelsel is niet in verhouding tot de omvang van de lectoraten. Een externe evaluatie is een grote aanslag op hun capaciteit. Het voelt toch wel als flinke ballast ook voor kleine lectoraten Overige typerende opmerkingen uit de toelichtingen De HS wil meer omvang door meer docenten te betrekken en het loopbaanbeleid te ontwikkelen richting associates. De omvang is nu nog gering. De omvang is op onze hogeschool nog beperkt, met daarbij passende ambities en doelstellingen De omvang van het onderzoek is nog gering, echter er is wel een apart kwaliteitszorgstelsel opgericht voor het onderzoek, los van accreditatie. De vragen zijn redelijk schaalbaar (dus voor groot en klein onderzoek) Ik vind dat het geen rekening houdt met de geringe omvang van onderzoek, maar wellicht is dat ook niet zo erg. Zolang er voldoende aandacht is voor de ontwikkelingsfase waar we in zitten We worden niet 'afgerekend' op kei harde criteria, en dat is gezien de huidige nog beperkte omvang ook passend. Open systeem, geen harde targets, iedereen kan er wat mee. In hoeverre sluit het kwaliteitszorgstelsel (BKO/VKO) in algemene zin aan bij. 3.De aard van het (praktijkgerichte) onderzoek N=21 Gemiddeld cijfer: 6,8 32% deel van de contactpersonen geeft voor dit aspect van het stelsel het cijfer 6 of lager. Een aantal hogescholen is nog opzoek naar specifieke kenmerken van praktijkgericht onderzoek. Een aantal scholen zoekt bovendien naar een duidelijke afbakening van onderzoeksopdrachten die aansluiten bij hun domein(en). Er zijn significant lagere cijfers van onderwijsinstellingen van het mono-sectorale type. Gemiddeld cijfer monosectoraal 5,6. Gemiddeld cijfer multi-sectoraal 7,2 Opmerkingen mono-sectoraal Met name in Agro is praktijkonderzoek goed georganiseerd bij DLO-instituten. Dus is het een zoektocht welk praktijkgericht onderzoek de groen HBO dan moet doen. Begrip valorisatie is nog in ontwikkeling. De relatief kleine HBO-instellingen geven significant lagere cijfers dan de grootste instellingen. Gemiddeld cijfer kleine hogescholen 5,5. Gemiddeld cijfer grote hogescholen 7,2 Opmerkingen kleine hogescholen Het lijkt meer gericht op onderzoek dat oplossingen biedt voor technische of praktische problemen. Te veel worden in grote mate natuurwetenschappelijke criteria gehanteerd. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 13

14 Overige typerende opmerkingen uit de toelichtingen Het blijft lastig te evalueren - zeker als je met verschillende sectoren te maken hebt. Het kader van VKO is erg algemeen en is lastig voor hogeschool om hier zelf indicatoren voor te bepalen. Hier zit ook per sector verschil in. Hier ligt een aandachtspunt. Het is nog zoeken wat HBO-onderzoek aan specifieke kenmerken heeft en welke criteria daarbij horen. Het zou goed zijn om daarvoor ook de tijd te nemen. Dat betekent wel dat de eisen die aan HBO onderzoek gesteld worden soms erg breed zijn, afhankelijk van wie er over oordeelt (dat loopt van kijken/oordelen met een fundamenteel wetenschappelijke bril op tot kijken/oordelen geheel vanuit de toegevoegde waarde voor de praktijk van het heden) In hoeverre sluit het kwaliteitszorgstelsel (BKO/VKO) in algemene zin aan bij. 4.In hoeverre houdt het rekening met de verschillen tussen hogescholen qua aard, omvang e.d. N=19 Gemiddeld cijfer: 5,9 50% deel van de contactpersonen waardeert dit aspect van het stelsel met een 6 of lager. Op dit aspect scoort het stelsel de laagste score. Kennelijk vindt een relatief groot deel van de respondenten dat het huidige stelsel op bepaalde punten niet goed aansluit op de diversiteit die er bestaat tussen hogescholen. Respondenten van multi-sectorale scholen geven een significant hoger cijfer voor dit aspect. Het lijkt erop alsof het stelsel op dit aspect wat beter aansluit op de situatie bij multi-sectorale hogescholen. Er zijn significant lagere cijfers van onderwijsinstellingen van het mono-sectorale type. Gemiddeld cijfer mono-sectoraal 4,3. Gemiddeld cijfer multi-sectoraal 6,6. Het cijfer 4.3 is een zeer laag gemiddelde. Uit de toelichtingen wordt niet duidelijk wat de reden zou zijn waarom er op dit aspect een verschil zou zijn tussen mono- en multisectoraal. Opmerkingen mono-sectoraal de administratieve last is voor een kleine hogeschool redelijk fors het geheel is te veel ingericht voor grote onderwijsinstellingen Kostbare aangelegenheid voor kleine instelling matig: er is geen onderscheid te maken in het stelsel; binnen het stelsel zoeken. De relatief kleine HBO-instellingen geven significant lagere cijfers dan de grote HBO-instellingen. Gemiddeld cijfer kleine instellingen 4,0. Gemiddeld cijfer grote instellingen 7,0. Opmerkingen kleine Hogescholen het geheel is te veel ingericht voor grote onderwijsinstellingen Kostbare aangelegenheid voor kleine instelling Overige typerende opmerkingen uit de toelichtingen Eigenlijk kan ik dit niet goed beoordelen, maar uit wat ik landelijk zo hoor en ook uit de verschillende VKOrapporten meen te zien, is dat er inderdaad voor kleine hogescholen een andere meetlat is dan voor grotere. Dus dat het VKO-gebeuren inderdaad 'op maat' is. Bovendien is er bij externe onderzoeksevaluaties de nodige ruimte voor eigen invulling (de eigen missie, doelen en normen zijn immers in die evaluaties sterk sturend), en daarmee is variatie en diversiteit a.h.w. structureel ingebakken. Hogescholen met een afwijkend format c.q. unieke lectoraten hebben meer uit te leggen en worden geconfronteerd met wat meer gebruikelijk is en dienen zich vervolgens aan te passen, dat levert soms problemen op en doet geen recht aan de gewenste diversiteit. Als hogeschool mag je je eigen definitie bepalen voor de onderzoekseenheid. Hiermee kun je invloed uitoefenen op het stelsel irt de omvang van de hogeschool. Verder neemt het stelsel als uitgangspunt de missie/visie van de eigen hogeschool. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 14

15 Eenheid van onderzoek door instelling te bepalen, bijvoorbeeld door rekening te houden met inhoudelijke diversiteit M.i. heeft de BKO niet expliciet aandacht voor de verschillende domeinen en voor verschillen in omvang. Mate waarin het stelsel aansluit bij de aard, omvang en ontwikkelingsfase van het onderzoek en de verschillen tussen hogescholen. De meeste respondenten vinden dat het stelsel ruim voldoende rekening houdt met de ontwikkelingsfase van het HBO-onderzoek aan de hogescholen. Een deel van de respondenten vindt dat het stelsel minder goed aansluit op de soms geringe omvang van onderzoek/ kleine lectoraten/ kleine hogescholen. Het wordt niet duidelijk op welk deel van het stelsel dit betrekking heeft en waarom dit zou zijn. Er wordt in toelichtingen gesproken van een administratieve last die niet in verhouding staat tot de geringe omvang van onderzoek. Een aantal respondenten vindt dat het stelsel matig tot redelijk aanluit op de diversiteit tussen hogescholen qua aard, omvang. Het wordt uit de toelichtingen niet duidelijk waarom dit zo is. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 15

16 Deel II: Vragen met betrekking tot de realisatie van de met het stelsel beoogde doelen (BKO en VKO) in algemene zin Er is gevraagd in hoeverre men denkt dat beoogde doelstellingen met het stelsel (BKO en VKO) in algemene zin worden behaald. Er konden rapportcijfers gegeven worden van 1 t/m 10 en er werd gevraagd om het cijfer toe te lichten. 1. Borgen en verbeteren van onderzoekskwaliteit en randvoorwaarden N=20 Gemiddelde cijfer: 6,8 25% deel van de contactpersonen geeft het cijfer 6 of lager voor dit aspect van het huidige stelsel. Een meerderheid van de respondenten vindt dat het stelsel voldoende bijdraagt aan doelstelling wat betreft borging en verbetering. Het stelsel zou vooral bijdragen doordat het aandacht vraagt voor randvoorwaarden en kwaliteitsbewustzijn op het gebied van onderzoek. De respondenten van mono-sectorale en kleine hogescholen waarderen dit aspect lager. Het wordt uit de toelichtingen niet duidelijk waarom dit zo is. De mono-sectorale instellingen geven een wat lagere waardering dan de multi-sectorale. Gemiddeld cijfer monosectoraal 5,5.Gemiddeld cijfer multi-sectroaal 7,3 Opmerkingen mono-sectorale instellingen Dit hadden we als hogeschool zelf al geregeld. Hierin zijn wij niet afhankelijk van het stelsel. Er wordt bewuster nagedacht over de positionering van onderzoek in het HBO, de noodzakelijke randvoorwaarden en de sturing die gegeven moet worden aan de processen van kwaliteitsborging. Naar mijn mening hoeft dit niet apart geregeld te worden, kan onderdeel zijn van accreditatie van NVAO Er is een significant lagere waardering van de kleine HBO-instellingen ten opzichte van de grote. Gemiddeld cijfer kleine hogescholen 5,4. Gemiddeld cijfer grote hogescholen 7,4. Opmerkingen kleine hogescholen: Zie opmerkingen bij mono-sectoraal. Overige typerende opmerkingen uit de toelichtingen De sturing die gegeven moet worden aan de processen van kwaliteitsborging. Het geeft een aanknopingspunt voor gesprekken hieromtrent met het CvB. Het stelsel van kwaliteitszorg heeft door de verantwoording ook invloed op de kwaliteit. De externe evaluatiecommissie is hierbij cruciaal. Op hogeschoolniveau is men door het stelsel meer bewust geworden van het borgen en verbeteren van onderzoekskwaliteit op een structurele manier. Dit draagt ook bij aan het daadwerkelijk behalen van deze doelstelling. Randvoorwaarden krijgen meer aandacht dan (methodologische) kwaliteit BKO en VKO geven richting aan het kwaliteitsbewustzijn. Niet slechts tijdens de visitaties zelf. Door dit systeem is de verbinding tussen de verschillende processen die hiermee te maken hebben meer naar voren gekomen binnen de organisatie met als doel - verbetering kwaliteit onderzoek. Het huidige stelsel ondersteunt de hogeschool in het stevig inbedden van de lectoraten in de organisatie. Dit zorgt voor betere facilitering van de lectoraten in randvoorwaarden en bevordert de onderzoekskwaliteit. Door het schrijven van de zelfevaluatie voor de VKO - en de betrokkenheid hierbij van een grote groep medewerkers - heeft het onderzoek binnen de hogeschool een veel prominentere plaats gekregen. Het systeem dwingt je na te denken over de kwaliteit en de borging ervan. Dat is altijd een goede zaak voor de hogeschool zelf wel. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 16

17 2. Versterken van de positie en het imago van onderzoek aan hogescholen N=20 Gemiddeld cijfer: 6,1 55% deel van de contactpersonen waardeert dit aspect van het stelsel met het cijfer 6 of lager. Het cijfer 6.1 is een relatief lage score in vergelijking met het oordeel over andere aspecten. Ook de grote hogescholen waarderen dit aspect van het stelsel niet hoog. De meeste contactpersonen leggen geen direct verband tussen positie en imago van onderzoek en de werking van het huidige stelsel. De mono-sectorale HBO-instellingen waarderen het aspect wat lager dan de multi-sectorale instellingen. Gemiddeld cijfer mono-sectorale instellingen 5,0. Gemiddeld cijfer multi-sectorale instellingen 6,5. Opmerkingen mono-sectorale instellingen aan een cultuurverandering binnen HBO. Daar is meer voor nodig dan het stelsel. Ik denk dat er meer nodig is dan een BKO VKO: de instellingen moeten zelf bewuster gaan werken aan het uitventen van onderzoek. Daar hoort ook communicatiedeskundigheid over onderzoek bij en de marketing van uitgevoerd onderzoek. Universiteiten zijn zich daar de laatste tien jaar ook bewuster geworden Kan op andere wijze. Wie buiten de hogescholen lezen de evaluaties? De kleinste instellingen geven wat lagere waardering dan de middelgrote en grote instellingen. Gemiddeld cijfer kleine hogescholen 5,0. Gemiddeld cijfer middelgrote en grote hogescholen resp. 6,5 en 6,4, Opmerkingen kleine hogescholen: Zie opmerkingen bij mono-sectoraal. Overige typerende opmerkingen uit de toelichtingen De sturing vanuit de drie prestatiegebieden draagt ertoe bij dat ook kennisontwikkeling naast belang voor de praktijk goed in beeld is. Dit moet nog groeien naar mate het stelsel langer bestaat. Heeft nauwelijks of niet betekenis. Is ook het doel niet geweest. Het kwaliteitssysteem is opgezet vanuit de landelijke kaders en operationeel, hogescholen worden gevalideerd voor de kwaliteitszorg van haar onderzoek. Verschenen evaluatierapporten hieromtrent worden gepubliceerd op de VKO website waarmee zichtbaar wordt dat het onderzoek aan hogescholen aan de kwaliteitseisen voldoet. Iets totaal anders is echter of ook positie en imago van het HBO-onderzoek door VKO/BKO wordt gevoed. Nou ja, INDIRECT natuurlijk wel: er is een meetlat, er is kwaliteitsborging, er zijn visitaties, en dat is ook zonder meer goed voor ons imago. Maar om de een of andere reden leidt dat steeds maar niet tot meer positieve aandacht van OCW en andere belangrijke stakeholders voor onze onderzoekskwaliteit. Ook in het SIA-rapport "Kennis roept om toepassing" dringt de eigen aard en waarde van praktijkgericht onderzoek maar heel erg matigjes door. Dat alles verwijt ik niet het BKO of de VKO: ik signaleer alleen dat het imago en de positie van ons onderzoek nog steeds te wensen overlaat. Ontwikkelingsgerichte feedback belangrijke steun in de rug om positie van het onderzoek te verstevigen. Te weinig exposure van BKO en VKO om te kunnen spreken over het versterken van de positie en het imago. Maar het is de vraag of dit de taak van BKO en VKO moet zijn. Volgens mij levert het BKO/VKO hier (nog) niet echt een bijdrage aan. Wellicht komt dat ook omdat andere zaken in het HBO in de landelijke pers meer aandacht krijgen. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 17

18 3. Genereren van sturingsinformatie voor hogescholen en branche N=21 Gemiddelde cijfer: 6,3 Spreiding: Enige spreiding in waarden 48% deel van de contactpersonen waardeert dit aspect van het stelsel met het cijfer 6 of lager. Het cijfer 6,3 is een laag cijfer in vergelijking met de waardering voor andere aspecten van het stelsel. Uit de opmerkingen blijkt dat men nog opzoek is naar de juiste sturingsinformatie. Een aantal respondenten men mist eikpunten/ vergelijkingsmateriaal zoals benchmarks of vergelijkingen in de tijd (hiervoor bevindt men zich nog in een te vroeg stadium van ontwikkeling). De mono-sectorale instellingen geven een wat lagere waardering voor dit aspect. Gemiddelde cijfer mono-sectoraal 5,2. Gemiddeld cijfer multi-sectoraal 6,8 Opmerkingen mono-sectorale instellingen Als je het in kaart brengen van de personele inzet en gegenereerde inkomsten sturingsinformatie noemt dan draagt het stelsel bij op branche niveau. Niet nodig. We leveren het aan: de nauwkeurigheid laat nog te wensen over, maar het is een goed begin. De kleine HBO-instellingen geven een significant lagere waardering dan de middelgrote instellingen en een wat lagere waardering dan de grootste instellingen. Gemiddeld cijfer kleine instellingen 4,8. Middelgrote instellingen 7,0, Grote instellingen 6,7. Opmerkingen kleine instellingen Als je het in kaart brengen van de personele inzet en gegenereerde inkomsten sturingsinformatie noemt dan draagt het stelsel bij op branche niveau. Niet nodig. De gevalideerde instellingen geven het stelsel een wat hogere waardering dan de niet-gevalideerde instellingen. Gemiddeld cijfer gevalideerde instellingen 6,3, mediaan 7,0, modus 6,0. Gemiddeld cijfer niet gevalideerde instellingen 6,0, mediaan 6,0, modus 4 Opmerkingen niet-gevalideerde instellingen Deze vraag is te vroeg Dit moet nog groeien naar mate het stelsel langer bestaat. Er is nog maar één brancherapportage verschenen. Dit vind ik een beetje een vreemde eend in de bijt: gaat het om kwaliteit of om kwaliteitszorg onderzoek Het is nog niet altijd makkelijk om de sturingsinformatie te verzamelen. Systeem biedt goed zicht op positie van het onderzoek en mogelijke ontwikkelingsrichting we leveren het aan: de nauwkeurigheid laat nog te wensen over, maar het is een goed begin Overige typerende opmerkingen uit de toelichtingen Dit is nog erg beperkt doordat de vragen die beantwoord moeten worden multi-interpretabel zijn en je dus eigenlijk niet goed kunt vergelijken. Dit moet nog groeien naar mate het stelsel langer bestaat. Er is nog maar één brancherapportage verschenen. Evaluaties van visitatieteams en VKO leveren sturingsinformatie waarmee de lectoraten aan de slag kunnen. In beide gevallen zou een aanscherping van de oordelen wenselijk zijn. Heeft nauwelijks of geen betekenis. Is ook het doel niet geweest, lijkt mij Wat ik jammer vind is dat het alleen getallen zijn, en getallen zonder verhaal zeggen te weinig. Aantallen bij onderzoek betrokken studenten bijvoorbeeld zegt mij weinig als ik niets weet over wat zij concreet doen en welke kwaliteit dat heeft. Sowieso hou ik niet van louter getalsmatige sturingsinformatie. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 18

19 4. Verantwoording richting overheid en maatschappij over besteding publieke middelen N=20 Gemiddelde cijfer: 6,2 Spreiding: Enige spreiding in waarden 40% deel van de contactpersonen waardeert dit aspect met het cijfer 6 of lager. Het cijfer 6,2 is een laag cijfer. Vooral respondenten van kleine hogescholen waarderen dit aspect van het stelsel laag. De scholen zijn vaak nog niet zover dat er op output gemeten wordt. Wat ook genoemd wordt is dat men niet overtuigd is van de voordelen om genoemde verantwoording binnen het kwaliteitszorgstelsel te doen. Respondenten van kleine HBO-instellingen geven een significant lagere waardering dan de middelgrote instellingen en een wat lagere score dan de grootste HBO-instellingen. Gemiddeld cijfer kleine instellingen 4,6, middelgrote instellingen 7,2, grote instellingen 6,5 Opmerkingen kleine instellingen Dit hadden we als hogeschool zelf al geregeld. Hierin zijn wij niet afhankelijk van het stelsel Dit kan via de jaarverslagen van de instellingen Ik denk dat met BKOVKO een stevig statement wordt gemaakt, alleen al om ervoor te zorgen dat de sector een gewillig slachtoffer van bezuinigingsplannen wordt doordat er te weinig verantwoording plaatsvindt. Mono-sectorale instellingen geven een wat lager cijfer dan de multi-sectorale instellingen. Gemiddeld cijfer monosectoraal 5,1 Gemiddeld cijfer multi-sectoraal 6,7 Opmerkingen mono-sectorale instellingen: Zie antwoorden kleine instellingen Overige typerende opmerkingen uit de toelichtingen Dit moet nog groeien naar mate het stelsel langer bestaat. Er is nog maar één brancherapportage verschenen. Een van de hoofddoelen, nietwaar? Heeft nauwelijks of geen betekenis. Wordt ook niet geoperationaliseerd, VBO-website heeft in deze ook geen functie. Omdat meting van output nog onderontwikkeld is, is verantwoording in mindere mate aan de orde Op zich goed dat dit gebeurt en ook hoe dit gebeurt, maar het leidt er steeds maar niet toe dat onze positie sterker wordt (zie ook motivatie bij 'positie en imago') Transparantie is vergroot. Wordt wel een bijdrage aan geleverd omdat deze verantwoording op hoog abstractieniveau geschiedt. Daarnaast wordt deelname aan de HBO-Kennisbank gestimuleerd, hetgeen een bijdrage levert aan het zichtbaar en breed inzetbaar maken van onderzoeksresultaten die voortkomen uit projecten die uit publieke middelen tot stand zijn gekomen. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 19

20 Realisatie van de beoogde doelstellingen 1 (BKO/VKO) Een meerderheid van de respondenten vindt dat het stelsel voldoende bijdraagt wat betreft borging en verbetering van kwaliteit. Het stelsel zou vooral zorgen voor aandacht voor randvoorwaarden en kwaliteitsbewustzijn. Respondenten van mono-sectorale scholen en kleinere hogescholen waarderen dit aspect lager. Het wordt niet duidelijk waarom. De meeste respondenten zien geen voordeel van het stelsel voor versterking van positie en imago van het HBO-onderzoek. Gemiddeld geven respondenten een relatief laag cijfer voor genereren van sturingsinformatie. Wat genoemd wordt zijn missen van eikpunten/ vergelijkingsmateriaal zoals benchmarks en vergelijkingen in de tijd. Respondenten van gevalideerde instellingen geven een significant hoger cijfer voor dit aspect. Ervaring met de validatiefase speelt waarschijnlijk een rol bij de hogere waardering van dit aspect. Wat betreft verantwoording richting overheid en maatschappij geven relatief veel respondenten een lage waardering (gem. 6,2). Vooral de kleine hogescholen waarderen het aspect relatief laag. In de toelichtingen noemen respondenten dat er andere manieren zijn om de verantwoording te regelen. Een aantal scholen is nog niet zover in ontwikkeling dat op output gemeten kan worden. 1 De doelstellingen zijn: Borgen en verbeteren van onderzoekskwaliteit en randvoorwaarden Versterken van de positie en het imago van onderzoek aan hogescholen Genereren van sturingsinformatie voor hogeschool en branche Verantwoording richting overheid en maatschappij over besteding publieke middelen Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 20

21 Deel IIIa : Contactpersonen, vragen met betrekking tot het proces en de opbrengsten van de externe onderzoeksevaluaties. Er konden rapportcijfers gegeven worden van 1 t/m 10 en er werd gevraagd om het cijfer toe te lichten. Hoe beoordelen contactpersonen de bruikbaarheid van de BKO-richtlijnen ten aanzien van: 1.De zelfevaluaties N=20 Gemiddelde cijfer: 7,3 15% deel van de contactpersonen waardeert dit aspect van de BKO-richtlijnen met het cijfer 6 of lager. Een ruim voldoende voor dit aspect. Brede waardering van dit aspect vanwege de duidelijke, bruikbare richtlijnen. Er zijn geen significante verschillen Opmerkingen beoordelingen 7 of hoger Allemaal heel bruikbaar en hanteerbaar Biedt inhoudelijke richtlijnen voor het schrijven van de zelfevaluatie. Blijf hogescholen de ruimte geven om zelf invulling te geven aan vorm en inhoud. Kader bruikbaar gebleken bij ontwikkelen eigen protocol kwaliteitszorg Met name de beoordelingsvragen zijn zo helder als wat: die hebben we dan ook per direct opgenomen in de richtlijnen voor jaarplannen kenniscentra, aanvraag nieuwe lectoraten enzovoort. Heldere vragen, waar de lectoren ook goed mee kunnen werken. Richtlijnen BKO en de door ons ontwikkelde vorm van zelfevaluatie passen 1:1 op elkaar. Eigen normen zijn uiteraard specifieker dan die van BKO Wat ontbrak waren concrete indicatoren. Gesteld werd dat de hogeschool zelf indicatoren had moeten specificeren maar een algemeen kader hiervoor vanuit de overheid zou op prijs zijn gesteld. Van daaruit kan per sector gekeken worden welke concretisering de hogeschool hier nog aan toe had kunnen voegen. Beoordelingen 6 of lager GEEN TOELICHTINGEN: Deze contactpersonen gaven er geen toelichting bij. Hoe beoordelen contactpersonen de bruikbaarheid van de BKO-richtlijnen ten aanzien van: 2.De commissies (samenstelling, opdracht) N=21 Gemiddelde cijfer: 7,1 24% deel van de contactpersonen waardeert dit aspect van de BKO-richtlijen met een cijfer 6. (Er zijn geen lagere scores). Een ruim voldoende voor dit aspect. Soms lastig om een juiste commissie samen te stellen. Er zijn geen significante verschillen. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 21

22 Opmerkingen beoordelingen 6 of lager Bij samenstelling commissie: de onafhankelijkheid commissieleden is in sommige branches/ domeinen moeilijk volledig in te zetten (kleine wereld op heel specifieke gebieden). Bovendien hebben wij na de 1e evaluatie zelf toegevoegd: om de lectoraten optimaal te kunnen evalueren dienen de commissieleden tevens kennis te hebben met de werkwijze van lectoraten in het hoger onderwijs. Ook verdient het de voorkeur om commissieleden te selecteren die niet alleen inhoudelijk maar ook op het gebied van auditing deskundig zijn en dat de voorzittersrol wordt toegekend aan iemand die ervaren is in deze rol. BKO laat veel ruimte voor invulling van het begrip onafhankelijkheid Opmerkingen beoordelingen 7 of hoger Allemaal heel bruikbaar en hanteerbaar Als je een toonaangevend lectoraat hebt is het moeilijk onafhankelijke deskundigen te vinden. Dit bleek uiteindelijk geen probleem omdat het rapport voldoende kritisch was. De apart verschenen handreiking van secretaris VKO was eigenlijk nog iets nuttiger dan het kader zelf: daarin werd nog iets explicieter aangeraden ook echt EXTERNEN in de evaluatiecommissie op te nemen, t.b.v. onafhankelijke toetsing. Goed hanteerbaar, relevant Onafhankelijk en deskundig. Afhankelijk van lectoraat wordt hier op detail beredeneerd van afgeweken. Hoe beoordelen contactpersonen de bruikbaarheid van de BKO-richtlijnen ten aanzien van: 3.Het beoordelingskader (de evaluatievragen met door de hogeschool te specificeren indicatoren) N=20 Gemiddelde cijfer: 6,9 25% van de contactpersonen waardeert dit aspect van de BKO-richtlijnen met het cijfer 6 of lager. Een ruim voldoende voor dit aspect vooral vanwege duidelijkheid en hanteerbaarheid. Er zijn geen significante verschillen. Opmerkingen beoordelingen 6 of lager Basis oke, om van daaruit eigen kader te schetsen te veel op kwantificering gericht. meer strategie en doelgericht kan. Opmerkingen beoordelingen 7 of hoger Allemaal heel bruikbaar en hanteerbaar, wij hebben zelf een kader gemaakt. De door ons geformuleerde evaluatievragen zijn volledig afgeleid van het beoordelingskader. Er worden uiteraard ook vragen m.b.t. aanvullende onderwerpen door ons geformuleerd goed bruikbaar voor eigen protocol goed hanteerbaar, relevant, dekkend Ook duidelijk, nu nog is er vrijheid vwb de indicatoren. Wellicht dat dit in de toekomst meer voorgeschreven wordt, dat is denk ik beter. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 22

23 Hoe beoordelen contactpersonen de bruikbaarheid van de BKO-richtlijnen ten aanzien van: 4.Het visitatierapport N=19 Gemiddelde cijfer: 8,0 11% deel van de contactpersonen waardeert dit aspect van de BKO-richtlijnen met een cijfer 6. (Er zijn geen lagere scores). Dit aspect krijgt de hoogste score. Op dit wordt het stelsel het hoogst gewaardeerd omdat het heel bruikbaar is. Er zijn geen significante verschillen Opmerkingen beoordelingen 7 of hoger Bruikbaar. Goed hanteerbaar. Goede adviezen, niet altijd iets nieuws dat eruit komt, maar het geeft wel een impuls aan de verbeteringen. Prima: het geeft mooi structuur aan het rapport in wording en het achterliggende denkproces. Visitatierapport volgt structuur van de BKO Beoordelingen 6 of lager GEEN TOELICHTING: Deze contactpersonen hebben hun cijfer niet toegelicht. Hoe beoordelen contactpersonen de bruikbaarheid van de BKO-richtlijnen ten aanzien van: 5.De follow-up N=17 Gemiddelde cijfer: 7,9 Spreiding: Enige spreiding in waarden 18% deel van de contactpersonen waardeert dit aspect van de BKO-richtlijnen met een cijfer 6. (Er zijn geen lagere scores). Een hoge score voor dit aspect. Er zijn geen significante verschillen*). Opmerkingen beoordelingen 7 of hoger Aangezien we de BKO-richtlijnen ook hebben opgenomen in het format voor jaarplannen kenniscentra, kunnen de conclusies uit de vistaties meteen worden doorvertaald in die jaarplannen. We monitoren dat hier ook actief, en ook als we dat niet zouden doen gebeurt het nog wel (want onze lectoren zijn vrij fanatiek). Follow-up blijft afhankelijk van budgetten, niet al het wenselijke is haalbaar. Goed. In follow up wordt de structuur van de BKO gevolgd. Beoordelingen 6 of lager GEEN TOELICHTING: Deze contactpersonen hebben hun cijfer niet toegelicht. (Conclusie contactpersonen volgt na DEEL IIIb) Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 23

24 Deel IIIb : Lectoren, vragen met betrekking tot het proces en de opbrengsten van de externe onderzoeksevaluaties. 1.De toegevoegde waarde van de zelfevaluatie N=15 Gemiddelde cijfer: 7,7 Eén lector geeft het cijfer 4. Er zijn verder geen scores lager dan het cijfer 7. Er zijn geen significante verschillen. Opmerkingen cijfer 4 Door de manier waarop ik werk, is er permanente zelfreflectie. Dat gebeurt ook bij het aanvragen van extern geld. Daar voegt deze zelfreflectie weinig aan toe. Overige typerende opmerkingen Een belangrijk proces is zelfreflectie, dat gedeeld wordt met management HAN (CvB) en daardoor veel impact heeft. Het maakt de problematiek van onderzoek (lectoraat) in relatie met markt en onderwijs expliciet en hanteerbaar. Volgende keer kan het wel allemaal wat effectiever. Goed om de tijd te nemen met de leden van de kenniskring om naar de processen en producten te kijken en na te gaan wat goed, niet goed en beter kan. Goed om met het kenniscentrum (de lectorengroep) gezamenlijk terug te blikken en vooruit te kijken vanuit een gedeelde missie, visie en doelstellingen. Het maakt de verbinding en eenheid sterker plus helpt om een heldere koers neer te zetten en resultaatgerichtheid te versterken. Echter, het heeft wel erg veel tijd gekost en daarbij stonden de kaders nog niet echt vast, die werden gaandeweg ingevuld wat als voordeel had dat we daarover mee konden denken maar als nadeel dat we nogal eens bij moesten stellen. Het is goed zelf te reflecteren maar een ander van buitenaf is waarschijnlijk beter in het vinden van de blinde vlekken, lacunes en tekortkomingen/kansen. het is zeer waardevol om uitgangspunten, werkwijzen en resultaten te verwoorden. de zelfevaluatie zet alles weer op scherp en maakt duidelijk wat er goed en minder goed gaat en hoe het beleid veranderd is of moet worden bijgesteld. Hoewel het veel tijd kost is het waardevol om na een aantal jaren de opbrengst van het lectoraat in beeld te brengen, te evalueren en na te denken over verbeterpunten. De balans tussen de capaciteit van een lectoraat en zo'n stelsel is wat mij betreft nog niet optimaal. Een Zelfevaluatie met beoordeling en ook nog eens VKO is vrij stevig voor een lectoraat dat slechts 2 fte omvat. Hoge en homogene beoordeling door lector en kenniskringleden bevestigt het goede functioneren van de kenniskring als lerende organisatie. Zelfevaluatie is zeer nuttig als moment van gezamenlijke reflectie over de toekomstige strategie van het lectoraat. Ik zie dit als een extern kwaliteitsassessment. Het geen altijd leidt tot verbeteringen, horizonverbreding e.d. Mits ontwikkelingsgericht ingezet is het proces van zelfevaluatie nuttig omdat het je scherp houdt, blinde vlekken aanwijst en verbeterpunten genereert. Uiteraard is zelfevaluatie een nuttig instrument voor goed functioneren. Evaluatie Kwaliteitszorgstelsel HBO, sep 2011, The Research Company 24