TH MA 5-14 Vernieuwingen Datarubriek in de praktijk MEEKIJKEN OP HET DASH BOARD Drie hogescholen en hun visualisaties Deze bijdrage kwam tot stand onder redactie van Reinout van Brakel met medewerking van: Maarten Panhuijsen (Hogeschool van Arnhem en Nijmegen, voorbeeld 1) Hiske Koldijk (NHL Hogeschool, voorbeeld 2) Martine Jansen (Fontys Hogeschool, voorbeeld 3) De Dataredactie van Th&ma vroeg aan drie hogescholen of die hun instellingsdashboard met ons wilde delen. Op verschillende manieren visualiseren ze aldus gegevens die ze gebruiken om te sturen en te verantwoorden. Dataredactie Th&ma 82
Vernieuwingen in de praktijk TH MA themahogeronderwijs.org Stanford-professor Jim Collins schreef na zijn bestseller Good to Great over kenmerken van succesvolle bedrijven, een kort vervolg dat veel minder aandacht kreeg maar voor onderwijsinstellingen veel relevanter is: Good to Great and the Social Sectors. Daarin schrijft hij met bewondering over organisaties en leiders in de publieke sector. Er is een wezenlijk verschil met ondernemingen volgens hem. In de publieke sector moet een leider een veel bredere diversiteit aan doelstellingen bereiken. Een zeer zichtbare uiting van de vele doelstellingen zijn de dashboards of balanced scorecards die onderwijsinstellingen gebruiken voor sturing en verantwoording. Die bevatten veelal een diversiteit aan indicatoren en datavisualisaties. In het primair en voortgezet onderwijs is er inmiddels een zekere standaardisatie bij het gebruik van dashboards. Het project Vensters voor Verantwoording is door een meerderheid van de scholen geadopteerd (zie www.scholenopdekaart.nl en voor iedereen zichtbaar. DA SH BOARD Wij vroegen drie hogescholen om (delen van) een instellingsdashboard met ons te delen. Het eerste voorbeeld laat een volledig dashboard zien, het tweede voorbeeld toont enkele schermafdrukken uit een online systeem, en het derde voorbeeld laat zien dat je met visualisaties ook complexere bewegingen in kaart kunt brengen. 83
TH MA 5-14 Vernieuwingen in de praktijk IP/ OCW Indicator ONDERWIJS 2011 (nulmeting) REALISATIE DOELSTELLING 2012 2013 2013 2015-2016 1/- Survival (na één jaar inschrijving bij de instelling, bachelor) vt 69,2% 70,9% 70,9% 71,1% 70,2% nee dt 71,6% 71,1% 74,8% 72,1% 73,5% nee du 67,6% 65,9% 70,8% 67,6% 70,9% nee 2/- Diplomarendement na 5 jaar (survivors, bachelor) vt 65,9% 66,4% 63,2% 65,7% 70,2% nee dt 61,8% 64,1% 63,7% 61,5% 61,8% nee du 69,9% 75,7% 64,4% 72,0% 70,9% nee -/1 Uitval (na één jaar inschrijving instelling, bachelor) vt 30,2% 29,7% 29,5% 30,0% 30% ja HBO 1 -/2 Switch (na één jaar inschrijving instelling, bachelor) vt 11,3% 11,5% 11,2% 13,0% < 13% ja HBO 2 -/3 Diplomarendement (survivors, bachelor) vt 66,2% 68,2% 64,4% 66,0% 66% ja HBO 3 3/4 Studenttevredenheid vt 85,5% 90,2% 95,2% 98% 100% ja Percentage opleidingen met minimaal 7,0 dt 74,3% 63,2% 82,1% 80% 100% ja Gemiddelde studenttevredenheid 4/5 Geprogrammeerde contacttijd du 71,4% 83,3% 85,7% 76% 100% ja inst 7,17 7,25 7,28 7,30 7,3 ja HBO 4 M 7,41 7,43 7,32 7,43 7,4-7,5 ja Minimaal 15 uur in 1e jaar vt 82,2% 88,3% 95,0% 97% 100% ja HBO 6 Minimaal 15 uur in 2e jaar vt 50,8% 78,3% 88,5% 85% 100% ja ONDERZOEK 5/6 Aantal fte voor onderzoek inst 116,7 124,0 140,3 152,0 134,2 fte ja 6/7 Implementatie leerlijn onderzoek in curriculum vt 69% 72% 77% 76% 100%* ja 7/8 Middelen voor onderzoek Percentage faculteiten dat 150.000 euro aan externe middelen per fte lector verwerft inst 75% 75% 75% 84% 100% ja Gemiddelde verwerving van externe middelen per fte lector inst 202.000 234.000 214.800 187.000 200.000 ja BEROEPSPRAKTIJK EN REGIO 8/9 Personele inzet in valorisatie en ondernemerschap inst 8,0% nb 8,7% 8,0% 8,0% ja 9/10 Middelen voor valorisatie en ondernemerschap inst 5,5% nb 6,2% 5,5% 5,5% ja 10/11 Omzet contractonderwijs inst 6,0% nb 3,8% 6,0% 6,0% ja 11/12 Deelname studenten aan ondernemerschapsonderwijs Percentage opleidingen met minimaal tussen de 1% en 3% ondernemerschapsonderwijs vt - 47% nnb 32,5% 65% ja Percentageopleidingen met meer dan 3% ondernemerschapsonderwijs vt - 43% nnb 15,0% 30% ja Percentage afgestudeerden dat de minor Ondernemerschap heeft gevolgd inst 3,8% 4,4% 3,4% 3,8% 1% ja KWALITEIT IS MENSENWERK 12/13 Docenten met een mastergraad dan wel gepromoveerd Voorbeeld 1 Realisatie van het instellingsplan Het eerste voorbeeld toont een dashboard waarmee de instelling zowel intern als extern de voortgang ten aanzien van het instellingsplan laat zien. Het instellingsbestuur gebruikt deze rapportage in de externe verantwoording naar de raad van toezicht en het ministerie van OCW. De rapportage is onderdeel van het jaarverslag en de rapportages over de managementafspraken aan de raad van toezicht. De afdelingen krijgen afgeleide versies hiervan, als hulpmiddel bij het rapporteren over de voortgang op de managementafspraken door de afdelingsdirecteuren aan het college van bestuur. Percentage met ten hoogste een mastergraad inst 57,2% 59,2% 61,3% 60,8% ja HBO 5 76% Precentage docenten met ten hoogste een doctorsgraad inst 6,3% 6,7% 7,9% 7,0% ja HBO 5 13/14 Medewerkerstevredenheid inst 7,8 7,6 7,6 7,7 minimaal 7,8 ja 14/- Ziekteverzuim inst 4,4% 4,4% 4,5% 4,0% 4,0% nee 15/15 Professionaliseringsuitgaven inst 5,6% n.n.b. n.n.b. minimaal 5% ja 16/16 Percentage OP (in fte) inst 60,9% 62,2% 62,9% 63,0% 65,0% ja HBO 7 PRESTATIE- AFSPRAAK 99% of meer van de begroting 2013 gerealiseerd. Waar niet opgenomen in begroting 2013: op koers m.b.t. instellingsplan tussen de 99% en 95% van begroting 2013 gerealiseerd: Waar niet opgenomen in begroting 2013: redelijk op koers m.b.t. instellingsplan minder dan 95% van de begroting 2013 gerealiseerd. Waar niet opgenomen in begroting 2013: niet op koers m.b.t. instellingsplan * Percentage is pas 100% als alle curriculumjaren van een opleiding van doorlopende leerlijn zijn voorzien vt voltijd inst instelling nb niet bekend dt deeltijd M master nnb nog niet bekend du duaal 84
Vernieuwingen in de praktijk TH MA themahogeronderwijs.org Opleiding Deze rapportage geeft in de kern weer in hoeverre de instelling slaagt in de realisatie van het instellingsplan 2012-2016. De signalering is gebaseerd op het verschil tussen de doelstellingen voor 2013 (conform de begroting) en de realisatie in 2013. In de doelstellingen wordt onderscheid gemaakt tussen streefwaarden, prestatieafspraken en de verplichte prestatieafspraken met het ministerie van ocw. Op bepaalde aspecten zijn de doelstellingen voor 2013 hoger dan de initiële doelstellingen op de prestatieafspraken in 2012. Afdeling A visitatie of audit jaar visitatie of audit S1 S2 S3 Survival 1e jaar cohort 2012 Diplomarendement na 5 jaar cohort 2008 Eindkwalificaties (Afgestudeerden 2013) 1 visitatie 2014 0 + + - - 0 + + + 0 + - + 0 2 visitatie 2013 0 0 0 0-0 0 0 0-0 - 0-3 visitatie 2013 + 0 0 0 + - 0 0 0 0 0 + - 0 Afdeling B Studiesucces Accreditatiekalender Accreditatie/a udit Accreditatie / auditoordeel Tevredenheid op standaarden 4 audit 2012 + + 0 + + - + 0 0 0 + + 0 0 5 audit 2013 + + - + + + + 0 + 0 - + + 0 6 audit 2013 ++ + 0 + - + + 0 + + + 0 + + 7 audit 2013 ++ + 0 0 0 + + 0 + + + 0 + + 8 visitatie 2014 + + + 0 - + + + + + + - + + Programma (NSE 2014) Aanvullend op dit dashboard maakt de instelling gebruik van een onderwijsmonitor. De monitor geeft een indicatie van de status van de kwaliteit van de opleidingen vanuit vier perspectieven, te weten; accrediteerbaarheid, studiesucces, tevredenheid op de standaarden en de algemene tevredenheid. De gegevens worden maandelijks bijgewerkt. Hoewel de monitor onderdeel uitmaakt van het instrumentarium van de planning & control is het geen verantwoordingsinstrument. De monitor doet geen absolute uitspraken over de onderwijskwaliteit van een opleiding; het is een hulpmiddel bij het monitoren van de kwaliteit van het onderwijs en dient als gemeenschappelijk referentiekader bij het bepalen van opleidingen die extra aandacht en/of hulp nodig hebben. De monitor geeft vooralsnog de totaalstatus van de opleidingen weer zonder onderscheid naar inrichtingsvorm en locatie. De monitor is operationeel en tevens in ontwikkeling. Aanpassingen vinden plaats op basis van ervaringen van het bestuur, de verfijning/aanpassing van de methodologische onderbouwing en de gewenste normering. Toetsing (NSE 2014) Algemene te vrede nheid Studenttevredenheid Medewerkerstevredenh eid (2014) Werkgeverstevredenheid In ontwikkeling Samenvatting Studiesucces Tevredenheid op standaarden Algemene tevredenheid 85
TH MA 5-14 Vernieuwingen in de praktijk Voorbeeld 2 Managementdashboard Het tweede voorbeeld laat een intern managementdashboard zien, dat ontwikkeld is in een presentatietool. Het dashboard bestaat uit verschillende tabbladen: ontwikkeling studentenpopulatie, behaalde graden, NVAO-tabellen & scores uit de NSE (Nationale Studenten Enquête). Cijfers worden in beginsel voor de hogeschool als geheel weergegeven, maar vervolgens kan ingezoomd worden op instituten, afdelingen en opleidingen. Ook kunnen de gegevens uitgesplitst worden naar jaren. Een belangrijk nieuw en complex onderwerp is het voortgangsrendement (gemiddeld aantal ec s ofwel studiepunten per onderwijsperiode). Daarmee krijgt de instelling snel een overzicht van het gemiddelde aantal ec s dat studenten binnen een onderwijsperiode behalen ten opzichte van de te behalen norm. Het dashboard is tot nu toe opengesteld voor directeuren van instituten, afdelingshoofden en beleidsmedewerkers van de staf. Op termijn kan de informatie ook zinvol zijn voor studieloopbaanbegeleiders, zodat (ook) zij meer zicht krijgen op de voortgang van de studentenpopulatie. 86
Vernieuwingen in de praktijk TH MA themahogeronderwijs.org Voorbeeld 3 Studentenstromen Een van de uitdagingen bij het weergeven van ontwikkelingen binnen een organisatie, is de dynamiek van de studentenpopulatie. Het volgende plaatje geeft weer hoe een instroomcohort studenten uit 2007 zich heeft ontwikkeld. Dit gestapeld vlakdiagram is gemaakt met Excel. DASH BOARD Een nog krachtiger visualisatie van studentenstromen is het zogenaamde Sankey-diagram. Met dit diagram kunnen studentenstromen goed gevisualiseerd worden. De breedte van een weergegeven stroom is evenredig met de omvang van de groep die gerepresenteerd wordt door de stroom. De hogeschool gebruikt dit diagram om inzicht te krijgen in interne switchpatronen: van welke eenheid (sector/insituut) naar welke eenheid wordt er geswitcht. In de onderstaande (fictieve) afbeelding valt bijvoorbeeld op dat waar het gros van de switchers vanuit eenheid C in eenheid C blijven, de switchers van eenheid F vooral vertrekken naar eenheid A. 87