INSPANNINGEN VOOR STUDIESUCCES EN ONDERWIJSKWALITEIT IN BEELD EVALUATIEONDERZOEK MEERJARENAFSPRAKEN IN HET HOGER ONDERWIJS EINDRAPPORT Utrecht, juli 2011
Voorwoord Steeds meer universiteiten en hogescholen geven verhoging van studiesucces en onderwijskwaliteit een prominente plaats in hun beleid. Dit is mede te danken aan het convenant meerjarenafspraken. Medio 2008 heeft de toenmalige minister van Onderwijs, Cultuur en Wetenschap (OCW) met de VSNU en de HBO-raad meerjarenafspraken gemaakt ter verhoging van studiesucces en onderwijskwaliteit. Convenantpartijen hebben de Inspectie van het Onderwijs gevraagd al in een vroege fase, namelijk in 2010, een evaluatieonderzoek uit te voeren. Het voorliggende eindrapport betreft alleen deze vroege fase van het proces. Het houdt echter nog geen eindevaluatie in, want de meerjarenafspraken strekken zich uit over een langere periode. De inspectie beantwoordt in dit rapport de onderzoeksvragen op basis van de resultaten uit een landelijke inventarisatie onder alle bekostigde universiteiten en hogescholen waarvan het rendement gevolgd wordt, en op basis van verdiepende casestudies. Hoe werken de meerjarenafspraken in het wo en in het hbo? De inspectie trekt op grond van haar bevindingen de volgende drieledige conclusie: 1. In het wo en in het hbo voltrekt zich op stelselniveau volgens de monitor van OCW onder studenten die zich na het eerste jaar opnieuw inschrijven voor dezelfde opleiding, een voorzichtig positieve ontwikkeling in termen van studiesucces (cohort 2007). Bij volgende cohorten zal moeten blijken of deze positieve ontwikkeling standhoudt. Instellingen zijn echter nog ver verwijderd van realisering van de afgesproken streefwaarden. 2. De inspanningen van instellingen voor de meerjarenafspraken zijn voldoende geweest. 3. De convenanten die met de VSNU en de HBO-raad zijn afgesloten, werken als beleidsinstrument onvoldoende specifiek door naar de instellingen toe. Daarmee is er geen garantie voor extra inspanningen om de doelstellingen te bereiken. Met de Randstadhogescholen zijn afspraken op maat gemaakt over de extra middelen ter verhoging van het studiesucces van niet-westerse allochtone studenten. Het specifieke karakter van de afspraken werkte gerichter door op de inspanningen van deze hogescholen. Helaas heeft dit zich nog niet vertaald in meer studiesucces. Uit onderwijskundig onderzoek is overigens bekend dat studentkenmerken (zoals sekse, IQ en de bagage aan basisvaardigheden bij instroom) voor het grootste deel de verschillen in leerprestaties verklaren. Het vraagt dus om intensieve onderwijsinspanningen om leerprestaties en rendementen te verbeteren. Al met al een complex proces dat schuil gaat achter de ogenschijnlijk eenduidige doelen van de meerjarenafspraken. Het evaluatieonderzoek naar de meerjarenafspraken heeft duidelijk gemaakt dat er grote verschillen zijn tussen instellingen. Ook daarom is het van belang dat er gerichtere afspraken met instellingen worden gemaakt. Bovendien is het noodzakelijk dat er betere afspraken komen om de uitval uit het eerste bachelorjaar terug te dringen. Ook is meer eenduidigheid nodig over wat er onder honoursprogramma s wordt verstaan.
Verder draagt monitoring van de effecten van de nieuwe wet- en regelgeving van OCW op het instroomniveau (rekenen/wiskunde en taal) bij aan sturing op verhoging van dit niveau. Tot slot onderstrepen wij het belang van blijvende samenwerking van regionale bestuurders aan de verdere verbetering van de aansluiting tussen voortgezet onderwijs/mbo en hoger onderwijs. De hoofdinspecteur hoger onderwijs Drs. H.G.J. Steur juli 2011
Inhoud Samenvatting 1 Inleiding 11 1.1 Achtergrond project 11 1.2 Themaonderzoek 13 1.3 Opbouw eindrapportage 13 2 Verantwoording evaluatieonderzoek 15 2.1 Inleiding 15 2.2 Evaluatieonderzoek meerjarenafspraken 15 2.3 2.4 Evaluatieonderzoek convenant G5 16 Verantwoording uitvoering 17 3 Universiteiten en de meerjarenafspraken 20 3.1 Inleiding 20 3.2 Doelstellingen voor universiteiten 20 3.3 Ontwikkelingen in kernindicatoren universiteiten 20 3.4 Inspanningen van universiteiten voor de meerjarenafspraken 24 3.5 Gepercipieerde doelrealisering in het wo 32 3.6 Werking van het beleidsinstrument meerjarenafspraken 33 3.7 Conclusies over universiteiten 41 4 Hogescholen en de meerjarenafspraken 47 4.1 Inleiding 47 4.2 Doelstellingen voor hogescholen 47 4.3 Ontwikkelingen in kernindicatoren hogescholen 47 4.4 Inspanningen van hogescholen voor de meerjarenafspraken 49 4.5 Gepercipieerde doelrealisering in het hbo 61 4.6 Werking van het beleidsinstrument meerjarenafspraken 62 4.7 Conclusies over hogescholen 73 5 Randstadhogescholen en het convenant G5 80 5.1 Inleiding 80 5.2 Doelstellingen convenant G5 80 5.3 Ontwikkelingen in kernindicatoren G5 80 5.4 Inspanningen van Randstadhogescholen voor het convenant G5 82 5.5 Werking van het beleidsinstrument G5 85 5.6 Conclusies over het convenant G5 90 6 Conclusies evaluatieonderzoeken 94 6.1 Inleiding 94 6.2 Beleidskader en evaluatieonderzoek 94 6.3 Conclusies over de instellingen en de meerjarenafspraken 95 6.4 Conclusies over de voortgang in realisering van de streefwaarden 96 6.5 Conclusies over de inspanningen van instellingen 97 6.6 Conclusies over de werking van het beleidsinstrument meerjarenafspraken 98 6.7 Conclusies over de Randstadhogescholen en het convenant G5 99 6.8 Aandachtspunten 101 6.9 Hoofdconclusie 105
6.10 Aanbevelingen 106 6.11 Nabeschouwing 107 Bijlagen I Beoordelingskader evaluatieonderzoek 112 II Theoretisch kader 114 III Selectie universiteiten voor de casestudies 120 IV Selectie hogescholen voor de casestudies 123 V Beeld van inspanningen van Universiteit A 127 VI Beeld van inspanningen van Universiteit B 129 VII Beeld van inspanningen van Universiteit C 131 VIII Beeld van inspanningen van Universiteit D 133 IX Beeld van inspanningen van Hogeschool A 135 X Beeld van inspanningen van Hogeschool B 137 XI Beeld van inspanningen van Hogeschool C 139 XII Beeld van inspanningen van Hogeschool D 141 XIII Beeld van inspanningen van Hogeschool E 144 XIV Beeld van inspanningen van Hogeschool F 146 XV Beeld van inspanningen van Hogeschool G 149 XVI Beeld van inspanningen van Hogeschool H 152 XVII Beeld van inspanningen van Hogeschool I 155 XVIII Beeld van inspanningen van Hogeschool J 158 XIX Financiële paragraaf 160 XX Bronnenstudie naar instroomniveau 162 XXI Lijst met afkortingen 165
Samenvatting Beleidskader Medio 2008 heeft de toenmalige minister van Onderwijs, Cultuur en Wetenschap (OCW) met de VSNU en de HBO-raad meerjarenafspraken gemaakt ter verhoging van studiesucces en onderwijskwaliteit. Daarbij zijn kernindicatoren en streefwaarden vastgelegd. In het convenant is afgesproken dat de instellingen zich zullen inspannen om de afgesproken ambities te realiseren. Hiervoor heeft de minister extra lumpsum aan de instellingen toegekend, bedoeld als steun in de rug. Convenantpartijen hebben de Inspectie van het Onderwijs gevraagd om al in een vroege fase, namelijk in 2010, een evaluatieonderzoek uit te voeren. Het doel was om een zo objectief mogelijk inzicht te krijgen in de inspanningen van de universiteiten en hogescholen om de ambities te realiseren. De toenmalige minister van OCW heeft medio 2008 aanvullende afspraken gemaakt met de vijf Randstadhogescholen (G5) ter vergroting van het studiesucces van nietwesterse allochtone studenten. Ook hiertoe heeft de minister van OCW extra lumpsum aan hen toegekend. Het evaluatieonderzoek De inspectie heeft het evaluatieonderzoek naar de algemene meerjarenafspraken in de uitvoering gecombineerd met dat naar het convenant G5. De overkoepelende vragen luiden: Hoe werken de meerjarenafspraken in het wo en in het hbo? Hoe werkt het convenant G5 bij de Randstadhogescholen? Dit evaluatieonderzoek is uitgevoerd door middel van achtereenvolgens: een verkenning in 2009; een landelijke inventarisatie (ofwel survey) in 2010 onder bekostigde instellingen; verdiepende casestudies bij een selectie van universiteiten en hogescholen die inzicht gaven in de verschillen tussen instellingen in het proces. Hierbij heeft de inspectie gebruikgemaakt van monitorgegevens van OCW (zie Kennis in Kaart 2008 en 2009) en de daaropvolgende Kamerbrief (23 juni 2011). Het voorliggende eindrapport betreft alleen deze vroege fase van het proces. Het houdt echter nog geen eindevaluatie in, want de meerjarenafspraken strekken zich uit over een langere periode. Hoe werken de meerjarenafspraken in het wo en in het hbo? Op basis van de verkenning in 2009 en het evaluatieonderzoek in 2010 trekt de inspectie de volgende drieledige conclusie. In het wo en in het hbo voltrekt zich op stelselniveau volgens de monitor op de indicator herinschrijvers na twee jaar studie een voorzichtig positieve ontwikkeling in termen van studiesucces (cohort 2007). Op basis van volgende cohorten zal moeten blijken of deze positieve ontwikkeling standhoudt. Echter, hoewel in het wo in 2014 de streefwaarde van meer dan 70 procent voor het vierjaarsrendement moet zijn bereikt, is er nog maar een lichte vooruitgang waarneembaar tot de stand van 52 procent in 2009 (cohort 2005). En hoewel in het hbo in 2013 de streefwaarde van 90 procent voor het zesjaarsrendement moet zijn bereikt, blijft dit steken op 76 procent in 2009 (cohort 2003). Pagina 7 van 166
De meeste instellingen gaven aan in hoge mate inspanningen te hebben geleverd voor de belangrijkste doelstellingen uit de meerjarenafspraken over studiesucces en onderwijskwaliteit, en met die inspanningen voortgang te hebben geboekt. Agendering en doorvertaling van beleid, gericht op studiesucces en onderwijskwaliteit, hebben in het kader van de meerjarenafspraken bij de meeste instellingen de nodige aandacht gekregen. De inspanningen van instellingen waren daarmee in lijn met het convenant meerjarenafspraken. De inspectie trekt op grond hiervan de conclusie dat de inspanningen van instellingen voor de meerjarenafspraken voldoende zijn geweest. De meerjarenafspraken hebben een meerwaarde, want ze versterken de werking van andere ingezette beleidsinstrumenten in het hoger onderwijs. Echter, universiteiten en hogescholen bleken de extra lumpsum voor de meerjarenafspraken (met uitzondering van de G5-middelen) minder gericht in te zetten dan past bij de streefwaarden uit de meerjarenafspraken. De oorzaken hiervan waren: De convenanten berustten op landelijke brancheafspraken (in plaats van instellingsspecifieke afspraken). Instellingen hadden veel bestedingsvrijheid door toekenning van middelen via extra lumpsum (zonder voorwaarden). Er was sprake van onheldere communicatie hierover naar de afzonderlijke instellingen. Veel instellingen hadden de prestatieafspraken dus niet helder op het netvlies. Voor de meerjarenafspraken zijn geen afzonderlijke afspraken met instellingen gemaakt. Een verbinding tussen de ambities uit de convenanten als brancheafspraken en de inzet van de extra lumpsum door instellingen is daarom niet eenduidig te leggen. Deze landelijke streefwaarden uit de meerjarenafspraken (hoewel geen absolute norm, toch in feite de formule one size fits all ) blijken voor de voorlopers geen uitdaging meer te zijn en voor de achterblijvers, gegeven hun uitgangssituatie, niet aan te sluiten bij hun fase van ontwikkeling. De inspectie trekt op grond van bovenstaande bevindingen de conclusie dat het beleidsinstrument van meerjarenafspraken op sectorniveau onvoldoende sturend werkt voor het bereiken van de streefwaarden door instellingen. Als de rijksoverheid wil dat instellingen sterker focussen op bepaalde beleidsdoelen, dan zal dit via specifiekere afspraken bereikt moeten worden (via voorwaarden in de bekostiging). Hoe werkt het convenant G5 bij de Randstadhogescholen? Met de Randstadhogescholen zijn wel afspraken op maat gemaakt over de extra middelen voor het studiesucces van niet-westerse allochtone studenten, voortvloeiend uit het G5-convenant. Het specifieke karakter van de afspraken werkte gerichter door op de inspanningen van deze hogescholen. De inspanningen van de Randstadhogescholen voor het convenant G5 zijn voldoende geweest. Ook heeft het beleidsinstrument G5 voldoende bijgedragen aan het bereiken van de streefwaarden door Randstadhogescholen in het kader van het convenant G5. Desondanks valt er bij de Randstadhogescholen over het algemeen een afname te constateren op de kernindicatoren voor het convenant G5 (dat wil zeggen: hogere uitval, lager propedeuserendement; zie de monitor van OCW). Op stelselniveau zijn hiervoor geen directe causale verklaringen te leveren.1 Uit onderwijskundig onderzoek is overigens bekend dat studentkenmerken (zoals sekse, IQ en de bagage aan basisvaardigheden bij instroom) voor het grootste deel de verschillen in leerprestaties verklaren. Het vraagt dus om intensieve onderwijsinspanningen om leerprestaties en rendementen te verbeteren. Al met al 1 Er wordt geen kwantitatief model getoetst. Pagina 8 van 166
een complex proces dat schuil gaat achter de ogenschijnlijk eenduidige doelen van de meerjarenafspraken. Instellingen zouden zelf moeten onderzoeken welke maatregelen werken voor hun studentenpopulatie. Aanbevelingen aan OCW De inspectie adviseert op grond van het bovenstaande dat, als de minister van OCW bij de besluitvorming in 2011 nadrukkelijk specifieke ambities met instellingen wil afspreken en daaraan extra geld wil verbinden, zij dan beter kan kiezen voor een ander arrangement dan louter toevoeging aan de lumpsum. De inspectie beveelt het volgende aan: meer focus aanbrengen in het handelen van de Colleges van Bestuur (CvB s), met name gericht op onderwijskwaliteit ter verhoging van het bachelorrendement; het commitment verhogen door met elke instelling afzonderlijk afspraken op maat te maken over streefwaarden; verheldering van de communicatie van OCW naar elke instelling over de omvang van de jaarlijkse extra lumpsum en de hieraan gerelateerde doelstellingen; een externe verantwoording vragen aan elke instelling over de inzet van de extra lumpsum in relatie tot de afgesproken ambities, met inachtneming van beperking van administratieve lasten; flankerend beleid voeren om realisatie van de ambities uit de meerjarenafspraken te ondersteunen. Deze aanbevelingen aan OCW werden eerder al geformuleerd in de tussenrapportage (Inspectie van het Onderwijs, 2011b, zie www.onderwijsinspectie.nl). Bovengenoemde maatregelen versterken in termen van governance de relatie tussen doelen en middelen. Aan de tussenrapportage voegt de inspectie nog een aantal aanbevelingen toe: Het is noodzakelijk dat convenantpartijen betere afspraken maken om de uitval uit het hoger onderwijs in het eerste bachelorjaar terug te dringen. Het louter monitoren van de ontwikkeling in uitval volstaat niet om de problemen in het eerste bachelorjaar terug te dringen. Er is meer eenduidigheid nodig over wat er onder honoursprogramma s wordt verstaan. Daarmee zijn de kwaliteitsborging en de erkenning gediend. Het monitoren van de effecten van de nieuwe wet- en regelgeving van OCW op het instroomniveau (taal en rekenen/wiskunde) draagt bij aan sturing op verhoging van dit niveau. Ook wordt het belang onderstreept van blijvende samenwerking van regionale bestuurders aan de verdere verbetering van de aansluiting vo/mbo en ho. Geadviseerd wordt dat OCW de rol van aanjager vervult in de discussie over de vraag hoe de regionale samenwerking versterkt kan worden. Aanbevelingen aan instellingen Het is van belang dat instellingen de eigen beleidskeuzes ter uitvoering van de meerjarenafspraken beter expliciteren. Conform de meerjarenafspraken wordt een lerende aanpak gevolgd. Daarbij worden universiteiten en hogescholen in de gelegenheid gesteld om een werkwijze te kiezen die past bij hun eigen profiel. De inspectie constateert echter dat sommige instellingen het argument dat bij ons nu eenmaal alles anders is, te gemakkelijk gebruiken. Pagina 9 van 166
Instellingen dienen er alert op te zijn dat in elke fase van het bacheloronderwijs rendementsbevorderende inspanningen nodig zijn, óók in die fasen waarvoor het convenant meerjarenafspraken tot op heden geen resultaatafspraken bevat. Het gaat hierbij om de fasen vóór en aan de poort, en in het eerste bachelorjaar. Het is absoluut gewenst dat instellingen zich nog intensiever inspannen om ervoor te zorgen dat studenten meteen de juiste studie kiezen en goed worden doorverwezen binnen het hoger onderwijs, teneinde uitval te voorkomen. In het huidige convenant ligt de focus op het studiesucces onder herinschrijvers in het tweede jaar, maar dat is niet genoeg. De voor studenten ingrijpende transitie tussen het toeleverende onderwijs en het hoger onderwijs vraagt om een stevige aanpak van instellingen. Instellingen dienen er in hun kwaliteitszorg op toe te zien dat studiesucces en onderwijskwaliteit samen omhooggaan. In dit onderzoek naar inspanningen ter verhoging van studiesucces is de kwaliteitsborging geen expliciet onderwerp van onderzoek geweest. De verhoging van studiesucces van een instelling is belangrijk; tegelijk is het echter van belang dat de kwaliteit van het onderwijs op niveau blijft. Pagina 10 van 166
1 Inleiding 1.1 Achtergrond project 1.1.1 De meerjarenafspraken Medio 2008 heeft de toenmalige minister van OCW met de VSNU en de HBO-raad meerjarenafspraken gemaakt ter verhoging van studiesucces en onderwijskwaliteit. Daarbij zijn kernindicatoren en streefwaarden vastgelegd. In het convenant is afgesproken dat de instellingen zich zullen inspannen om de afgesproken ambities te realiseren. Hiervoor heeft de minister extra lumpsum aan de instellingen toegekend, bedoeld als steun in de rug. De strategische agenda Het hoogste goed (Ministerie van OCW, 2007) vormt hiervoor het beleidskader. De rol van de inspectie is in de convenanten over de meerjarenafspraken als volgt verwoord. Convenantpartijen hebben de Inspectie van het Onderwijs gevraagd om al in een vroege fase, namelijk in 2010, een evaluatieonderzoek uit te voeren. Het doel hiervan is een zo objectief mogelijk inzicht te krijgen in de inspanningen van de universiteiten en hogescholen om de ambities te realiseren. De inspectie maakt in dit evaluatieonderzoek ook gebruik van Kennis in Kaart (Ministerie van OCW, 2008 en 2009) en de daaropvolgende Kamerbrief (23 juni 2011) waarin OCW jaarlijks de kwantitatieve ontwikkelingen in kernindicatoren en achtergrondvariabelen uit de meerjarenafspraken publiceert. De nulmeting is gepubliceerd in 2008, een vervolgmeting in 2009 en vanaf 2010 zijn niet alleen de landelijke cijfers, maar ook die per universiteit en per hogeschool gepubliceerd. De inspectie sluit in het evaluatieonderzoek aan bij de definities uit de convenanten. De overkoepelende vraag in het evaluatieonderzoek naar de meerjarenafspraken luidt: hoe werken de meerjarenafspraken in het wetenschappelijk onderwijs (wo) en in het hoger beroepsonderwijs (hbo)? Tot slot wordt in het kader van het evaluatieonderzoek naar de meerjarenafspraken het proces rond de uitvoering van het bindend studieadvies (bsa) gevolgd. Dit is aan de Tweede Kamer toegezegd naar aanleiding van een inspectierapport hierover (Inspectie van het Onderwijs, 2010a; Tweede Kamer, vergaderjaar 2009-2010, 31 288, nr. 97; Wartenbergh-Cras e.a., 2010). 1.1.2 Het convenant G5 met de Randstadhogescholen De inspectie heeft in 2010 het evaluatieonderzoek naar de meerjarenafspraken (bij universiteiten en hogescholen) gecombineerd met een evaluatieonderzoek naar het convenant G5 (met alleen de vijf Randstadhogescholen). Beide deelonderzoeken zijn namelijk gericht op studiesucces en onderwijskwaliteit. De toenmalige minister van OCW heeft medio 2008 aanvullende afspraken gemaakt met de vijf Randstadhogescholen, ter uitvoering van de strategische agenda Het hoogste goed en de notitie De Randstadhogescholen, motoren van onze economie (De Haagse Hogeschool e.a., 2007). Voor initiatieven van de Randstadhogescholen om het studiesucces van niet-westerse allochtone studenten te vergroten, stelde de minister van OCW op grond van het convenant extra middelen aan deze hogescholen beschikbaar, ook bedoeld als steun in de rug. De Randstadhogescholen en de minister van OCW hebben gezamenlijk de ambitie uitgesproken om de uitval onder niet-westerse allochtone studenten te verminderen en het rendement te verbeteren. De achterstandspositie van Pagina 11 van 166
niet-westerse allochtone studenten ten opzichte van autochtone studenten dient zo veel mogelijk te worden ingelopen. Elke Randstadhogeschool heeft zelf een voorstel aan de minister gedaan voor de streefwaarden in 2011 ten aanzien van uitvalvermindering en rendementsverbetering. De minister heeft met elke Randstadhogeschool nadere afspraken gemaakt over de streefwaarden voor de indicatoren instroom, uitval en rendement, evenals over de grondslag voor herverdeling van het toegekende bedrag. De monitoring van en de advisering over de aanpak van de programma s is in handen van ECHO 2. Volgens het convenant ontstaat daardoor ook een platform voor wederzijds leren en inspireren waar praktijken en resultaten worden uitgewisseld. Over de voortgang in relatie tot de afgesproken indicatoren doet OCW sinds 2008 jaarlijks verslag in Kennis in Kaart en recentelijk in de Kamerbrief. De rol van de inspectie is in het convenant met de Randstadhogescholen als volgt verwoord. Convenantpartijen hebben de Inspectie van het Onderwijs gevraagd om in 2010 een evaluatieonderzoek te doen. Het doel hiervan is een zo objectief mogelijk inzicht te krijgen in het proces dat naar aanleiding van de beleidsafspraken met de vijf Randstadhogescholen op gang is gekomen. De evaluatie beoogt de minister en de Tweede Kamer te voorzien van informatie over dit proces. De overkoepelende vraag in het evaluatieonderzoek naar het convenant G5 luidt: hoe werkt het convenant G5 bij de Randstadhogescholen? 1.1.3 Besluitvorming tot verdere financiering Voor de convenanten over de meerjarenafspraken met universiteiten en hogescholen stelt OCW sinds 2008 extra middelen beschikbaar. Het vorige kabinet had het voornemen om het bedrag te laten oplopen tot in 2012, maar door de economische crisis is deze oploop na 2010 door het ministerie van Financiën niet beschikbaar gesteld. 3 Dit is overigens conform de financiële paragraaf van het convenant. Opgemerkt wordt dat daarmee de condities waaronder medio 2008 de streefwaarden werden afgesproken, voor instellingen minder gunstig zijn geworden. De extra lumpsum voor kwaliteit (meerjarenafspraken en G5) bedroeg in 2010 voor de universiteiten circa 84 miljoen euro en voor de hogescholen circa 201 miljoen euro, 4 waartoe ook de 12 miljoen euro aan G5-gelden voor de Randstadhogescholen behoorde (zie voor een toelichting op de financiën bijlage XIX). In 2011 zal de minister van OCW besluiten of de toekenning van de extra lumpsum aan de instellingen voor de meerjarenafspraken wordt voortgezet. Bepalende factor voor dit besluit is de mate waarin voortgang is geboekt met het realiseren van de streefwaarden in deze meerjarenafspraken, in relatie tot de inspanningen van de instellingen. In het convenant G5 werd het voornemen geuit om in 2011 ook te besluiten over voortzetting van de aanpak in de afspraak met de Randstadhogescholen. Kortgeleden heeft de staatssecretaris echter besloten om in het kader van een taakstelling het specifieke doelgroepenbeleid te beëindigen. Dit betekent dat de extra lumpsum voor de G5 per 1 januari 2012 zal worden stopgezet (Ministerie van OCW, 2011). 2 Expertisecentrum voor diversiteitsbeleid in het hoger onderwijs 3 Dit geldt ook voor de extra lumpsum in het kader van het convenant G5. 4 Inclusief het groene onderwijs. Pagina 12 van 166
1.2 Themaonderzoek Een van de taken van de inspectie is toezicht houden op ontwikkelingen in het stelsel van hoger onderwijs. Het evaluatieonderzoek naar de meerjarenafspraken en naar de G5 is een thematisch onderzoek conform het jaarwerkplan van de inspectie. Het betreft geen handhavend onderzoek noch een onderzoek naar financiële rechtmatigheid. Thematisch onderzoek betekent dat de inspectie over haar bevindingen alleen in algemene en anonieme zin rapporteert. Ter voorbereiding van het evaluatieonderzoek naar de meerjarenafspraken voerde de inspectie in 2009 al een verkenning uit (Inspectie van het Onderwijs, 2010b). Deze verkenning resulteerde in een discussienotitie die begin 2010 aan de toenmalige staatssecretaris van OCW, mevrouw Van Bijsterveldt, werd aangeboden. Deze discussienotitie was bedoeld om midterm input voor het bestuurlijke overleg van de staatsecretaris met de convenantpartners VSNU en HBO-raad te leveren. Aanvullend werd een verdiepende bijlage toegezonden aan een externe klankbordgroep die met de inspectie meedenkt over de uitvoering van het onderzoek. Deze bestaat uit een vertegenwoordiger van OCW, de VSNU, de HBO- de studentenorganisaties ISO en LSVb, en een vertegenwoordiger namens de raad, Randstadhogescholen (voor het convenant G5). Na de verkenning in 2009 werd in 2010 eerst een landelijke inventarisatie (ofwel survey) uitgevoerd, gevolgd door een verdiepend onderdeel, bestaande uit casestudies. In dat kader bezocht de inspectie een aantal geselecteerde universiteiten en hogescholen, waaronder de Randstadhogescholen. In de casestudies is nader onderzoek gedaan naar de inspanningen door instellingen voor de meerjarenafspraken en naar de werking van het beleidsinstrument. Bij de Randstadhogescholen is aanvullend onderzoek gedaan naar hun inspanningen voor het convenant G5 en naar de werking van dit beleidsinstrument. Gezien de vroege fase van de evaluatieonderzoeken kunnen deze niet dienen als eindevaluaties (zie verder paragraaf 3.3.2 en 4. 3.2). 1.3 Opbouw eindrapportage Het voorliggende document is een integraal eindrapport over het gehele evaluatieonderzoek naar de meerjarenafspraken. Daarin zijn ook de resultaten van de casestudies verwerkt. In deze eindrapportage trekt de inspectie definitieve conclusies over de werking van de meerjarenafspraken in het wo en in het hbo. Ook de vragen van het evaluatieonderzoek naar het G5-convenant worden hierin beantwoord. In hoofdstuk 2 geeft de inspectie een verantwoording van het door haar in 2010 uitgevoerde evaluatieonderzoek, bestaande uit een survey en casestudies. Hoofdstuk 3 beschrijft de resultaten van het evaluatieonderzoek onder universiteiten en in hoofdstuk 4 volgen de resultaten voor de hogescholen. In hoofdstuk 5 worden de resultaten behandeld uit de gesprekken met de vijf Randstadhogescholen over het convenant G5. In hoofdstuk 6 worden, op basis van deze gegevens, conclusies geformuleerd over de inspanningen van de instellingen en over de werking van de beleidsinstrumenten meerjarenafspraken en G5. Bijlage I bevat het gehanteerde beoordelingskader en bijlage II het daaraan gerelateerde theoretische kader. Bijlage III en IV geven een verantwoording van de selectie van universiteiten respectievelijk hogescholen voor de casestudies. In de bijlagen V tot en met XVIII worden de inspanningen die instellingen in 2009 en 2010 leverden voor de doelstellingen uit de meerjarenafspraken en, voor zover van toepassing, het convenant G5, vollediger in beeld gebracht. Deze Pagina 13 van 166
instellingsportretten kunnen mogelijk een bijdrage leveren aan de gekozen lerende aanpak door instellingen. Bijlage XIX gaat in op de financiën en bijlage XX geeft een toelichting op het instroomniveau in het hbo. Bijlage XXI is de lijst met afkortingen. Pagina 14 van 166
2 Verantwoording evaluatieonderzoek 2.1 Inleiding Dit hoofdstuk geeft een verantwoording van de evaluatieonderzoeken naar de meerjarenafspraken en het convenant G5. Paragraaf 2.2 presenteert de onderzoeksvragen voor het evaluatieonderzoek naar de meerjarenafspraken en paragraaf 2.3 die voor het evaluatieonderzoek naar het convenant G5. Tot slot geeft paragraaf 2.4 een verantwoording van de uitvoering van het onderzoek. 2.2 Evaluatieonderzoek meerjarenafspraken 2.2.1 Onderzoeksvragen meerjarenafspraken De overkoepelende vraag in het evaluatieonderzoek naar de meerjarenafspraken luidt: hoe werken de meerjarenafspraken in het wo en in het hbo? De inspectie hanteert de volgende vragen als uitwerking daarvan: a. Ontwikkelingen in kernindicatoren (op stelselniveau) a.1. Welke ontwikkelingen tekenen zich af in de kernindicatoren voor wo respectievelijk hbo, conform de meerjarenafspraken? a.2. Is er in het wo respectievelijk hbo voldoende voortgang geboekt met het realiseren van de streefwaarden in de meerjarenafspraken? b. Inspanningen instellingen (geaggregeerd naar stelselniveau) b.1. Welke inspanningen hebben de universiteiten respectievelijk hogescholen geleverd om aan realisatie van de ambities bij te dragen? b.2. Zijn deze inspanningen van instellingen voldoende geweest? c. Werking van het beleidsinstrument (op stelselniveau) c.1. Hoe hebben de instellingen de toevoeging van de extra middelen aan de lumpsum onder de noemer van de meerjarenafspraken ingezet? c.2. Heeft dit beleidsinstrument voldoende bijgedragen aan het bereiken van de doelstellingen (vergroten van het studiesucces in en de kwaliteit van het hoger onderwijs)? 2.2.2 Evaluatie meerjarenafspraken op drie aspecten Kenmerkend voor een evaluatie is dat gegevens worden beoordeeld in het licht van criteria (Swanborn, 2004). Daarom wordt in de vragen van het evaluatieonderzoek naar de meerjarenafspraken gesproken in termen van voldoende. De verkenning heeft een beoordelingskader op stelselniveau opgeleverd, dat de inspectie momenteel in het evaluatieonderzoek hanteert (zie bijlage I). Het beoordelingskader omvat beoordelingscriteria voor: de voortgang in realisatie streefwaarden; de inspanningen van instellingen; de werking van het beleidsinstrument. Van deze drie aspecten beoordeelt de inspectie vooral de inspanningen van instellingen, geaggregeerd naar stelselniveau. Pagina 15 van 166
2.3 Evaluatieonderzoek convenant G5 2.3.1 Onderzoeksvragen convenant G5 De overkoepelende vraag in het evaluatieonderzoek naar het convenant G5 luidt: hoe werkt het convenant G5 bij de Randstadhogescholen? De inspectie hanteert de volgende vragen als uitwerking daarvan: a. Ontwikkelingen in kernindicatoren a.1. Welke ontwikkelingen tekenen zich af in de kernindicatoren voor het convenant G5? a.2. - (Deze evaluatievraag is niet van toepassing, gezien de rol van ECHO en de auditcommissie bij de G5; zie Van Raaijen e.a., 2011.) b. Inspanningen instellingen b.1. Welke inspanningen hebben de Randstadhogescholen geleverd om aan realisatie van de ambities bij te dragen? b.2. Zijn deze inspanningen van instellingen voldoende geweest? c. Werking van het beleidsinstrument (convenant) c.1. Hoe hebben de Randstadhogescholen de toevoeging van de extra middelen aan de lumpsum onder de noemer van het G5-convenant ingezet? c.2. Heeft dit beleidsinstrument voldoende bijgedragen aan het bereiken van de doelstellingen (vergroten van het studiesucces van niet-westerse allochtone studenten)? Met deze evaluatievragen wordt een brug geslagen tussen de evaluatieonderzoeken naar de meerjarenafspraken en het convenant G5. De vragen voor het evaluatieonderzoek die specifiek in het convenant met de Randstadhogescholen zijn geformuleerd, zijn als volgt te rangschikken: Ad b: Ad c: Op welke wijze is geborgd dat de positieve ervaringen niet verloren gaan als het budget eventueel terugloopt? Welke ervaringen zijn overdraagbaar naar andere instellingen? Hoe worden deze ervaringen gedeeld met andere instellingen? Welke keuzes hebben de Randstadhogescholen gemaakt in de besteding van de middelen? Zijn deze keuzes bijgesteld in de loop van het traject? Zo ja, waarom? Hoe kijken instellingen en deskundigen aan tegen de afspraken, inhoudelijk en procedureel (op basis van drie jaar ervaring met een kwantitatieve monitor van de resultaten van beleid voor allochtone studenten)? Geven de ervaringen met streefwaarden voor bevordering van studiesucces en rendement van alle studenten aanleiding het gekozen instrument bij te stellen? Wat waren belemmerende en bevorderende factoren voor de uitvoering van de voornemens? Ter vergelijking van de beide beleidsinstrumenten heeft de inspectie zelf nog een vraag toegevoegd: Heeft het beleidsinstrument voor de G5 meerwaarde ten opzichte van de inspanningen van deze hogescholen voor de algemene meerjarenafspraken? Pagina 16 van 166