Evaluatie Stimulans 2009-2010 Actis Advies drs. D.M.S. Heijnens Rotterdam, 11 juni 2010
Inhoudsopgave 1 Inleiding 3 2 Uitkomsten 4 2.1 Activiteiten Stimulans scholen 4 2.2 Tevredenheid ten aanzien van Stimulans 6 2.3 Kwaliteitszorg nu en in de toekomst 7 3 Beschouwing 10 2
1 Inleiding Het praktijkonderwijs heeft de ambitie om tot het beste deel van het voortgezet onderwijs te behoren. Het Landelijk Werkverband Praktijkonderwijs (LWV-PrO) stelde het Platform Praktijkonderwijs in om samen met de scholen die ambitie te realiseren. Sinds 2007 coördineert het Platform Praktijkonderwijs het traject Stimulans. Binnen Stimulans ligt de focus op het werken aan kwaliteitszorg, het in beeld brengen van opbrengsten en het opstellen van goede verslagen. Het merendeel van de scholen voor praktijkonderwijs, zo n 83%, neemt deel aan Stimulans. Doelstelling evaluatie Werken aan kwaliteitszorg en het in beeld brengen van opbrengsten betekent dat ook de eigen activiteiten tegen het licht dienen te worden gehouden. Om die reden evalueert het Platform Praktijkonderwijs jaarlijks het traject Stimulans middels een vragenlijst. Op basis van de verkregen antwoorden wordt nagegaan of en waar het traject verbeterd kan worden. Vragenlijst en uitvoering De vragenlijst bestaat uit drie onderdelen. Ten eerste wordt gevraagd naar de activiteiten die de scholen de afgelopen jaren hebben ondernomen in het kader van Stimulans. Ten tweede wordt gevraagd naar de tevredenheid van de scholen met betrekking tot het traject. Tot slot staan de opbrengsten van het traject tot dusverre én de toekomstige activiteiten gericht op kwaliteitszorg centraal. De vragenlijst is begin april per post en e-mail naar de directeuren van de aan Stimulans deelnemende scholen verstuurd. Het verzoek was om de ingevulde vragenlijst voor de meivakantie op te sturen naar het secretariaat van het Platform Praktijkonderwijs. Een week voor het verstrijken van de responstermijn zijn de scholen via de begeleiders herinnerend aan het tijdig retourneren van de vragenlijst. Uiteindelijk is van 92 scholen een ingevulde vragenlijst ontvangen. Dan gaat het om 64% van de aan Stimulans deelnemende scholen. De vragenlijst is voornamelijk ingevuld door directeuren (63%) en in mindere mate door kwaliteitscoördinatoren (14%), afdelingshoofden (13%), teamleiders (5%) en zorgcoördinatoren (5%). Leeswijzer In deze notitie wordt gerapporteerd over de uitkomsten van de evaluatie Stimulans 2009-2010. In hoofdstuk 2 worden de antwoorden van de vragenlijst gepresenteerd. In hoofdstuk 3 komen daarna de belangrijkste uitkomsten van de evaluatie puntsgewijs aan de orde. 3
2 Uitkomsten De vragenlijst bestaat grofweg uit drie onderdelen: de activiteiten die de scholen ondernemen in het kader van Stimulans, de tevredenheid ten aanzien van Stimulans en een meer reflectief gedeelte onder de noemer kwaliteitszorg nu en in de toekomst. Deze onderdelen achtereenvolgens aan de orde. 2.1 Activiteiten Stimulans scholen Binnen het traject Stimulans worden verschillende activiteiten onderscheiden. Het afnemen van de verschillende enquêtes is er een van. In tabel 1 is per trajectjaar het aantal afgenomen enquêtes vermeld. Uit de tabel is af te lezen dat bijna de helft van de scholen in het eerste trajectjaar (2007-2008) nog geen enquêtes hadden afgenomen. In het tweede trajectjaar (2008-2009) namen de meeste scholen daarentegen twee enquêtes af, tegen drie enquêtes in het derde trajectjaar (2009-2010). Een stijgend aantal scholen kiest ervoor om alle enquêtes in één schooljaar af te nemen. tabel 1 Aantal afgenomen enquêtes per trajectjaar bij de aan Stimulans deelnemende scholen (n=92) 2007-2008 2008-2009 2009-2010 5 enquêtes 9% 11% 14% 4 enquêtes 12% 11% 10% 3 enquêtes 13% 14% 22% 2 enquêtes 7% 26% 18% 1 enquête 8% 11% 11% Geen 46% 21% 21% Onbekend 6% 6% 4% Totaal 100% 100% 100% In tabel 1 staat beschreven hoeveel enquêtes de scholen per schooljaar hebben afgenomen, maar om welke enquêtes gaat het dan? In tabel 2 is te zien welk type enquête de scholen per trajectjaar hebben afgenomen. tabel 2 Type afgenomen enquêtes op schoolniveau, per trajectjaar (n=92) 2007-2008 2008-2009 2009-2010 Management en personeel 39% 44% 42% Ouders 37% 46% 55% Leerlingen 41% 53% 52% Stagebedrijven 23% 36% 41% Partners in de omgeving 11% 25% 29% 4
Uit tabel 2 blijkt dat de enquête voor leerlingen het vaakst is afgenomen in de eerste twee trajectjaren. In het derde trajectjaar kiezen de scholen daarentegen het vaakst voor het enquêteren van de ouders. De scholen beginnen steeds meer de omgeving van de school te enquêteren. Een stijgend aantal scholen maakt namelijk gebruik van de enquêtes voor stagebedrijven en partners in de omgeving. Hebben alle scholen na drie trajectjaren Stimulans alle vijf enquêtes afgenomen? Uit analyse blijkt dat alle scholen minimaal één keer de enquête voor ouders en leerlingen hebben afgenomen. De enquête voor management en personeel (4 scholen), stagebedrijven (5) en/of partners in de omgeving (16) is niet door alle scholen afgenomen. In sommige gevallen hebben de scholen aangegeven waarom ze een enquête (nog) niet hebben afgenomen. Bij de enquête voor management en personeel geven twee scholen aan dat ze hiervoor gebruik maken van een andere enquête dan die van ProZO! De enquête voor de partners in de omgeving is voor enkele scholen niet relevant ( het gaat voor 90% om stagebedrijven ), organisatorisch moeilijk te regelen of stond nog niet op de planning omdat eerst intern metingen plaatsvinden en dan pas externe metingen. Na het afnemen van de enquêtes kunnen de scholen consentgesprekken voeren over de uitkomsten. De uitkomsten van de enquête en het consentgesprek worden vertaald in een ontwikkelagenda voor de komende periode. Als deze is uitgevoerd spreken we over een afgeronde kwaliteitscyclus. In tabel 3 is per trajectjaar aangegeven hoeveel procent van de scholen een consentgesprek hebben gevoerd, een ontwikkelagenda hebben opgesteld en een volledige kwaliteitscyclus hebben doorlopen. tabel 3 Gevoerde consentgesprekken, opgestelde ontwikkelagenda s en afgeronde kwaliteitscycli per school, per trajectjaar (n=92) 2007-2008 2008-2009 2009-2010 Consentgesprek gevoerd 28% 61% 46% Ontwikkelagenda opgesteld 37% 65% 58% Afgeronde kwaliteitscyclus 22% 39% 39% Na een voorzichtige start in het eerste trajectjaar, zijn de meeste scholen in het tweede trajectjaar vrij actief in het voeren van consentgesprekken en het opstellen van ontwikkelagenda s (tabel 3). Trajectjaar 2009-2010 blijft nog achter bij het vorige trajectjaar, waarschijnlijk omdat het schooljaar op het moment van meten nog niet is afgerond. Het aantal scholen met een afgeronde kwaliteitscyclus is vooralsnog beperkt. Slechts twee van de vijf scholen geeft aan in 2008-2009 en/of 2009-2010 een volledige kwaliteitscyclus te hebben afgerond. Uit analyse blijkt dat zo n 15% van de scholen in de eerste drie trajectjaren nog geen enkel consentgesprek heeft gevoerd, dat 13% nog geen enkele ontwikkelagenda heeft opgesteld en dat 35% nog geen kwaliteitscyclus heeft afgerond in de eerste drie trajectjaren. Andersom geformuleerd hebben dus ruim drie op de vijf scholen inmiddels een volledige kwaliteitscyclus afgerond. 5
2.2 Tevredenheid ten aanzien van Stimulans Net als in de voorgaande twee trajectjaren is ook nu gevraagd naar de tevredenheid van de scholen met betrekking tot Stimulans. In tabel 4 worden negen thema s onderscheiden. Per thema is de tevredenheidbevinding van de scholen aangegeven. tabel 4 Tevredenheid scholen per thema Totaal niet tevreden Niet helemaal tevreden Tevreden Zeer tevreden Totaal Bereikbaarheid begeleider 0 3 46 42 91 0% 3% 51% 46% 100% Ondersteuning begeleider 0 5 51 35 91 0% 5% 56% 38% 100% Zelfevaluatie instrument ProZO! 0 11 67 11 89 0% 12% 75% 12% 100% Afname ProZO! Via VO-Spiegel 0 4 61 23 88 0% 5% 69% 26% 100% Helpdesk VO-Spiegel 0 5 53 27 85 0% 6% 62% 32% 100% Informatie/materialen Platform 0 5 60 24 89 0% 6% 67% 27% 100% Bereikbaarheid Platform 1 3 65 13 82 1% 4% 79% 16% 100% Regiobijeenkomsten Platform 2 20 36 3 61 3% 33% 59% 5% 100% Kwaliteitsslag school 0 16 64 9 89 0% 18% 72% 10% 100% De scholen zijn het vaakst zeer tevreden over de bereikbaarheid van de Stimulans begeleider en het vaakst totaal niet tevreden over de regiobijeenkomsten van het Platform. Om de scores uit tabel 4 beter te kunnen duiden zijn deze omgezet naar gemiddeldes. De gemiddeldes zijn berekend door de tevredenheidbevinding van de scholen om te zetten in een score. Totaal niet tevreden staat daarbij voor een score van 1, zeer tevreden voor een score van 4 et cetera. 6
Kijkend naar de gemiddelde scores valt op dat de scholen het meest tevreden zijn over de bereikbaarheid en ondersteuning van de begeleider (tabel 5). De scholen zijn het minst tevreden over de regiobijeenkomsten en de kwaliteitsslag die de school heeft gemaakt. In vergelijking met voorgaande trajectjaren valt op dat de meeste scores vrij stabiel zijn. Het Platform Praktijkonderwijs verspreidde in het huidige schooljaar diverse informatie/materialen (bijvoorbeeld de map beheersingsdoelen taal&rekenen en diverse nieuwsbrieven). Deze werden positief ontvangen. De grootste toename in tevredenheid is namelijk waar te nemen bij het thema informatie/materialen van het Platform. Van de grootste afname in tevredenheid is sprake bij de tevredenheid met betrekking tot de helpdesk van de VO-Spiegel. Ondanks een nog steeds ruim voldoende score zijn de scholen dus blijkbaar minder tevreden over de helpdesk. Opvallend is ten slotte dat de scholen ook na drie jaar Stimulans nog niet helemaal tevreden zijn over de kwaliteitsslag die de school gemaakt heeft. tabel 5 Gemiddelde scores tevredenheid scholen per thema Score 2008 Score 2009 Score 2010 Bereikbaarheid begeleider 3,41 3,40 3,43 Ondersteuning begeleider 3,32 3,33 3,33 Zelfevaluatie instrument ProZO! 2,94 3,05 3,00 Afname ProZO! Via VO-Spiegel 3,20 3,20 3,22 Helpdesk VO-Spiegel 3,32 3,34 3,26 Informatie/materialen Platform 3,11 3,09 3,21 Bereikbaarheid Platform 3,10 3,08 3,10 Regiobijeenkomsten Platform - - 2,66 Kwaliteitsslag school - 2,94 2,92 2.3 Kwaliteitszorg nu en in de toekomst Met behulp van het traject Stimulans heeft het thema kwaliteitszorg extra aandacht gekregen in het praktijkonderwijs. Wat zien de scholen na drie trajectjaren als de meerwaarde van Stimulans? tabel 6 Meerwaarde traject Stimulans Meerwaarde Aantal keer genoemd Systematisch werken aan kwaliteitsbeleid Ondersteuning begeleider Start en ondersteuning van verbeterprocessen Reflectie op de eigen aanpak Specifiek meetinstrument voor het praktijkonderwijs Mogelijkheid landelijke/regionale benchmark Werken met een ontwikkelagenda 23 19 17 16 15 8 7 7
De meeste scholen noemen het systematisch werken aan kwaliteitsbeleid de belangrijkste meerwaarde van Stimulans. Kwaliteitsbeleid heeft een belangrijke plek gekregen binnen scholen voor praktijkonderwijs. De ondersteuning van een begeleider daarbij wordt belangrijk geacht. Het sparren en het verkrijgen van inzichten van een buitenstaander worden als positief ervaren. Stimulans wordt ook gezien als startpunt en/of ondersteuner van verbeterprocessen. Als startpunt omdat de enquêtes diverse ontwikkelpunten opleveren. En als ondersteuner omdat de effecten van gepleegde interventies in beeld kunnen worden gebracht met nieuwe metingen. Wat zijn dan die ontwikkelpunten? Aan de scholen is gevraagd de drie belangrijkste thema s te benoemen die zijn opgepakt naar aanleiding van Stimulans. De meest genoemde thema s staan vermeld in tabel 7. tabel 7 Thema s opgepakt naar aanleiding van Stimulans Als eerste genoemd Als tweede genoemd Als derde genoemd Werken met een IOP 34 14 4 Vergroten ouderbetrokkenheid 9 3 5 Uitdagender onderwijs 8 6 3 Verbeteren veiligheid(sbeleid) 5 6 7 Verbeteren stages 4 6 3 Professionalisering school 3 2 9 Relatie aangaan met schoolomgeving 1 4 0 Het werken met een Individueel Ontwikkel Plan, IOP wordt het vaakst genoemd als eerste én tweede thema dat is opgepakt naar aanleiding van Stimulans. De scholen willen de focus leggen op wat een leerling kan en wat een leerling wil bereiken om daar vervolgens het onderwijs op af te stemmen. Het vergroten van de ouderbetrokkenheid is ook een belangrijk thema dat is opgepakt naar aanleiding van Stimulans. De scholen onderstrepen zo de belangrijke rol van ouders bij het onderwijs en zoeken naar manieren om ouders meer bij het onderwijs aan hun kind(eren) te betrekken. In de enquête is ook gevraagd naar de aandachtspunten, betreffende het thema kwaliteitszorg, voor het komende schooljaar. Bijna drie op de tien scholen noemt daarbij het verhogen van de respons op bepaalde type enquêtes. Het verhogen van de respons bij het enquêteren van ouders wordt daarbij het vaakst genoemd. Scholen zoeken naar manieren waarop de ouders makkelijker met de enquête kunnen werken. Aandachtspunt daarbij is het makkelijker kunnen interpreteren van de vragen. Andere genoemde aandachtspunten voor het komende schooljaar zijn: het voor het eerst voeren van een consentgesprek, het beter terugkoppelen van de resultaten naar ouders en leerlingen en nagaan hoe de school het beste enquêtes kan afnemen bij partners in de omgeving. 8
Tot slot is gevraagd naar hoe de scholen in de toekomst verder willen werken met het thema kwaliteitszorg. Ruim drie op de vijf scholen geven aan graag gebruik te blijven maken van mogelijke vervolgactiviteiten van het Platform Praktijkonderwijs. De overige scholen geven aan vooruit te kunnen met het inmiddels bestaande kwaliteitsbeleid van de school of stichting. 9
3 Beschouwing De belangrijkste uitkomsten van de evaluatie Stimulans 2009-2010 komen nu puntsgewijs aan de orde. Activiteiten Kijkend naar de drie trajectjaren van Stimulans tot dusverre vallen een aantal zaken op. De scholen maken bijvoorbeeld steeds meer gebruik van de enquêtes van ProZO! Het aantal afgenomen enquêtes per school stijgt per trajectjaar. Alle scholen hebben minimaal één keer de enquête voor leerlingen en ouders afgenomen. De enquête voor partners in de omgeving wordt het minst afgenomen. Deze enquête wordt door niet alle scholen als relevant gezien naast de overige enquêtes. Verder hebben ruim vier van de vijf scholen minimaal één consentgesprek gevoerd en één ontwikkelagenda opgesteld. Toch heeft zo n 35% van de scholen na drie trajectjaren nog geen volledige kwaliteitscyclus afgerond. Tevredenheid De tevredenheidscores van de scholen vertonen een vrij stabiel beeld. Net als in voorgaande trajectjaren zijn de scholen vooral te spreken over de bereikbaarheid en ondersteuning van de begeleider. De scholen zijn in 2009-2010 extra tevreden over de informatie en materialen die door het Platform Praktijkonderwijs worden verspreid. De map beheersingsdoelen taal&rekenen en nieuwsbrieven over visitaties, de volgmodule én bewijzen, certificeren en kwalificeren zijn positief ontvangen. De tevredenheid met betrekking tot de regiobijeenkomsten is erg laag. In de eerste twee trajectjaren werd gewerkt met aansprekende sprekers, in het huidige trajectjaar werd voor het eerst gewerkt met themabijeenkomsten over bijvoorbeeld opbrengsten en taal&rekenen. Om de tevredenheid met betrekking tot de regiobijeenkomsten te verbeteren zal in de toekomst getracht worden om meer aan te sluiten op de agenda van de diverse regio s van het LWV-PrO. Opvallend is tenslotte dat de meeste scholen nog niet tevreden zijn over de kwaliteitsslag die de school gemaakt heeft. Ook na drie trajectjaren is er blijkbaar nog veel werk te verzetten binnen de scholen. Drie jaar Stimulans Na drie jaar Stimulans kan gekeken worden naar de meerwaarde van het traject tot dusverre. De scholen noemen in dat kader het systematisch werken aan kwaliteitszorg, het sparren met de begeleider en de rol van Stimulans als startpunt en ondersteuner van verbeterprocessen als de belangrijkste meerwaarde van Stimulans. Naar aanleiding van Stimulans zijn belangrijke thema s als het werken met IOP s, het vergroten van de ouderbetrokkenheid en het leveren van uitdagender onderwijs door de scholen opgepakt. Het voornaamste aandachtspunt op het gebied van kwaliteitszorg is het vergroten van de respons bij met name de ouders en partners in de omgeving. In het kader van kwaliteitszorg, het in beeld brengen van opbrengsten maken zo n drie op de vijf scholen voor praktijkonderwijs in de nabije toekomst graag gebruik van vervolgactiviteiten van het Platform Praktijkonderwijs. 10