Evaluatie Stimulans

Transcriptie

1 Evaluatie Stimulans Actis Advies drs. D.M.S. Heijnens Rotterdam, 9 mei 2012

2 Inhoudsopgave 1 Inleiding 3 2 Resultaten enquête Deelname Kwaliteitszorg in Tevredenheid Doelstellingen Stimulans 11 3 Belangrijkste uitkomsten 15

3 1 Inleiding Voor u ligt de evaluatie Stimulans Het Platform Praktijkonderwijs voert jaarlijks een evaluatie uit met als doel het traject Stimulans daar waar nodig te verbeteren. Binnen het traject Stimulans werkt het Praktijkonderwijs sinds 2007 aan kwaliteit. Daarbij staan drie hoofddoelstellingen centraal, te weten: Het in beeld brengen van opbrengsten; Het werken aan kwaliteitszorg; Het schrijven van goede (jaar)verslagen. Om deze doelstellingen te realiseren werken scholen voor praktijkonderwijs in het kader van kwaliteitszorg met het zelfevaluatie-instrument ProZO! Bij het in beeld te brengen van de opbrengsten werken de scholen onder andere met de uitstroommonitor/volgmodule, IOP/portfolio s en beheersingsdoelen. In het kader van deze evaluatie is begin 2012 een korte enquête uitgezet onder de scholen voor praktijkonderwijs. In paragraaf 2.1 wordt de wijze van dataverzameling en de deelname van scholen toegelicht. Vervolgens is aandacht voor de vraag in hoeverre de scholen in aan kwaliteit werken (paragraaf 2.2), de tevredenheid van de scholen ten aanzien van het traject Stimulans (paragraaf 2.3) én een evaluatie van de hoofddoelstellingen van het traject (paragraaf 2.4). In hoofdstuk 3 worden de belangrijkste uitkomsten gepresenteerd. De belangrijkste uitkomsten worden besproken binnen het Platform Praktijkonderwijs. Daar waar nodig zal het traject Stimulans vervolgens verbeterd of aangepast worden. 3

4

5 2 Resultaten enquête Aan de hand van een korte enquête is het traject Stimulans geëvalueerd. In dit hoofdstuk gaan we in op de belangrijkste resultaten van deze enquête. We starten met een paragraaf over de deelname van de scholen aan de enquête. 2.1 Deelname Sinds schooljaar wordt binnen het traject Stimulans gewerkt met pakketten. Het zogenaamde totaalpakket bestaat uit het zelf-evaluatie instrument ProZO! én de uitstroommonitor/volgmodule. In totaal 125 scholen maken gebruik van dit pakket. Het tweede pakket bestaat alleen uit de uitstroommonitor/volgmodule. Hiervan maken 21 scholen gebruik. De scholen die gebruik maken van een van beide pakketten hebben eind maart een korte enquête ontvangen met het verzoek deze voor 25 april 2012 te retourneren. In tabel 1 is de uiteindelijke deelname per pakket weergegeven. tabel 1 Deelname aan de enquête in per pakket Deelname aan enquête Totaal aantal scholen Deelnamepercentage Totaalpakket % Uitstroommonitor % Totaal % Uiteindelijk is van 85 scholen een ingevulde enquête retour ontvangen. Dat betekent dat ruim 58% van de scholen heeft meegewerkt aan de evaluatie. In tabel 1 is te zien dat de deelname iets hoger is onder de scholen die alleen gebruik maken van de uitstroommonitor. Wie heeft de enquête voor de school ingevuld? Deze vraag komt aan de orde in tabel 2. tabel 2 Functie invuller enquête Aantal Percentage Directeur 52 61% Kwaliteitscoördinator 15 18% Teamleider 11 13% Afdelingshoofd 7 8% In de meeste gevallen is de enquête ingevuld door de directeur (61%). De kwaliteitscoördinator (18%), teamleider (13%) of het afdelingshoofd (8%) hebben de enquête in iets mindere mate ingevuld. 5

6 2.2 Kwaliteitszorg in In deze paragraaf staan we stil bij het werken aan kwaliteit. In hoeverre hebben de scholen voor praktijkonderwijs in gewerkt aan kwaliteit? Daarbij gaan we uit van de scholen die gebruik maken van het zelfevaluatie-instrument ProZO! dat specifiek gemaakt is voor en door het Praktijkonderwijs. Hoeveel enquêtes hebben de scholen afgenomen in ? Zie tabel 3. tabel 3 Aantal afgenomen enquêtes per school in Aantal enquêtes Percentage scholen 5 enquêtes 8 11% 4 enquêtes 13 18% 3 enquêtes 15 21% 2 enquêtes 17 24% 1 enquête 7 10% Geen enquêtes 12 17% De meeste scholen hebben twee (24%) of drie (21%) enquêtes afgenomen in Iets meer dan één op de tien scholen (11%) heeft ervoor gekozen om alle enquêtes af te nemen. Dan hebben we het over de enquêtes voor management&personeel, ouders, leerlingen, stagebedrijven en de partners in de omgeving. Zo n 12 scholen (17%) hebben geen enquêtes afgenomen. De voornaamste reden voor het niet afnemen van enquêtes is het feit dat scholen een tweejaarlijkse cyclus hanteren. Dat betekent dat deze scholen in het huidige schooljaar de verbeterpunten implementeren die zijn opgesteld naar aanleiding van de enquêtes afgenomen in schooljaar Andere redenen voor het niet afnemen van enquêtes zijn: de verhuizing naar een nieuw gebouw of ziekte van betrokken medewerkers. Hoeveel enquêtes hebben de scholen gemiddeld afgenomen in de laatste vijf jaar? Zie figuur 1. Figuur 1 Gemiddeld aantal afgenomen enquêtes per schooljaar , , ,17 2, , In schooljaar hebben de scholen gemiddeld 2,47 enquête afgenomen. Dat betekent dat er minder enquêtes zijn afgenomen dan in het voorgaan- 6

7 de jaar (2.86), maar meer dan in de jaren tot en met De wisselingen in de cijfers zijn te verklaren door een aantal redenen. In het begin van het traject Stimulans moest het werken aan kwaliteit nog echt op de kaart worden gezet. Van tot is er een duidelijke toename te zien in het gemiddeld aantal afgenomen enquêtes. Een tweede belangrijke reden voor de wisselende cijfers is dat scholen met een kwaliteitscyclus werken. Bijvoorbeeld om de twee jaar een enquête bij ouders, leerlingen en manag e- ment&personeel en om de drie jaar een enquête bij stagebedrijven en partners in de omgeving. De conclusie kan in ieder geval getrokken worden dat anno 2012 het werken aan kwaliteit op de agenda staat van de scholen voor praktijkonderwijs. Dan nu de vraag welk type enquêtes de scholen hebben afgenomen in Zie tabel 4. tabel 4 Type afgenomen enquêtes per school in Aantal scholen Percentage scholen Leerlingen 48 67% Ouders 42 58% Management en personeel 37 51% Stagebedrijven 29 40% Partners in de omgeving 11 15% De meeste scholen hebben een enquête voor leerlingen (67%) of ouders (58%) afgenomen. Dit is waarschijnlijk te verklaren vanuit het feit dat deze enquêtes zijn gekoppeld aan het project Vensters voor Verantwoording van de VO-raad. Door deelname aan beide enquêtes worden de tevredenheidsindicatoren van Vensters gevuld met gegevens. Iets meer dan de helft van de scholen (51%) heeft een enquête uitgezet onder het management&personeel. Net als in voo r- gaande jaren worden het minst vaak enquêtes uitgezet onder stagebedrijven (40%) of partners in de omgeving (15%). De belangrijkste oorzaken hiervan zijn dat scholen niet het belang inzien van het enquêteren van deze (zeer belangrijke) doelgroepen of omdat scholen beide doelgroepen om de drie jaar een enquête voorleggen. Na het afnemen van enquêtes begint het werken aan kwaliteit. De resultaten van de school kunnen gedownload worden via de link naar de rapportages op en worden vervolgens met het team besproken in een zogenaamd consentgesprek. Hierin worden de belangrijkste uitkomsten besproken en eventuele onduidelijkheden opgelost. Vervolgens wordt er een ontwikkelagenda opgesteld, waarin wordt beschreven welke verbeteractiviteiten er worden ondernomen en wie deze gaat uitvoeren. De resultaten van deze activiteiten worden vervolgens weer in beeld gebracht via de enquêtes. Scholen die dit traject doorlopen, hebben een volledige kwaliteitscyclus afgerond. De activiteiten na het afnemen van de enquêtes zijn weergegeven in figuur 2. 7

8 Figuur 2 Activiteiten na afnemen enquêtes in (n=72) Consentgesprek voeren 41% 17% 41% ja Ontwikkelagenda opstellen 71% 13% 16% Nog in de planning voor dit schooljaar nee Afgeronde kwaliteitscyclus 33% 24% 43% 0% 20% 40% 60% 80% 100% Iets meer dan twee op de vijf scholen (41%) heeft een consentgesprek gevoerd over de belangrijkste uitkomsten. Bij 17% van de scholen staat het voeren van een dergelijk gesprek nog op de planning voor dit schooljaar. In totaal is op het eind van dit schooljaar in 58% van de gevallen een consentgesprek gevoerd. Om te kunnen interpreteren of dit een hoog of laag percentage is kijken we naar vorig jaar. Toen werd op 73% van de scholen een consentgesprek gevoerd. In die zin worden er dit schooljaar minder vaak dergelijke gesprekken gevoerd. Het wel of niet voeren van een consentgesprek is uiteraard afhankelijk van de kwaliteitscyclus waar een school voor kiest. In hebben veel scholen een ontwikkelagenda opgesteld. Ruim 71% is hier reeds in geslaagd en 13% van de scholen heeft deze opgesteld voor het eind van het schooljaar. In totaal heeft dan 84% van de scholen dit schooljaar een ontwikkelagenda opgesteld, tegenover 79% vorig jaar. Tot slot blijkt dat een derde (33%) van de scholen een kwaliteitscyclus heeft afgerond. Nog eens 24% verwacht deze afgerond te hebben op het eind van het schooljaar. Het percentage scholen met een afgeronde kwaliteitscyclus is daa r- mee gelijk aan vorig jaar. In vergelijking met vorig jaar kunnen we zeggen dat iets meer scholen een ontwikkelagenda hebben opgesteld en dat scholen minder vaak een consentgesprek voeren over de uitkomsten. Wel is het zo dat in gelijke mate sprake is van een afgeronde kwaliteitscyclus. 2.3 Tevredenheid In de enquête wordt de scholen ook gevraagd naar hun tevredenheid met betrekking tot het traject Stimulans. De tevredenheid is bevraagd aan de hand van een tiental vragen, zie tabel 5. De meeste vragen zijn ook in voorgaande evaluaties aan de orde gekomen waardoor een vergelijking over de jaren heen mogelijk is. Om een goede vergelijking te kunnen maken is het belangrijk om rekening te 8

9 houden met een aantal wijzigingen binnen het traject. Deze worden in onderstaand blok beschreven. Het project Stimulans loopt sinds schooljaar Om de gemiddelde tevredenheidsscores van de afgelopen jaren beter te kunnen interpreteren volgen eerst een aantal wijzigingen die de afgelopen jaren hebben plaatsgevonden: Ten aanzien van de bereikbaarheid en ondersteuning van de begeleider: van tot en met werkten alle scholen met een door het Platform PrO geselecteerde begeleider. Vanaf schooljaar kiezen scholen er zelf voor of ze gebruik maken van de ondersteuning van een begeleider. Ruim 36% van de scholen geeft aan in een begeleider in te huren. Ten aanzien van de afname en helpdesk van ProZO!. Tot en met werden de enquêtes afgenomen via de VOSpiegel.nl. Ook de helpdesk was hier ondergebracht. Vanaf worden de enquêtes afgenomen via Amplixs en is de helpdesk ondergebracht bij het secretariaat van het Platform PrO. Tot slot de regiobijeenkomsten. In werden de regiobijeenkomsten verzorgd in samenwerking met het Landelijk Werkverband PrO. tabel 5 Gemiddelde tevredenheidsscores van de afgelopen vijf jaren (minimale score is 1, maximale score is 4) Bereikbaarheid begeleider Ondersteuning begeleider Het instrument ProZO! Afname ProZO! Ondersteuning helpdesk Informatie en materialen Platform PrO Bereikbaarheid Platform PrO Regiobijeenkomsten Infoflits Kwaliteitsslag school als gevolg van Stimulans In het algemeen valt op dat de tevredenheid van de scholen ten aanzien van het traject Stimulans nog nooit zo hoog is geweest. Op één vraag na (de wijze van afname van de ProZO! enquêtes) is sprake van de hoogste tevredenheidsscore ooit. Een verklaring hiervoor kan zijn dat de scholen vanaf dit schooljaar binnen Stimulans de keuze hebben voor een tweetal pakketten (zie paragraaf 2.1). Sch o- len gebruiken of ProZO! en de uitstroommonitor/volgmodule of alleen het laatste instrument. Dat kan bijvoorbeeld verklaren waarom de tevredenheid ten aanzien van het zelfevaluatie-instrument ProZO! (3.12; ten opzichte van het voorgaande jaar) en de afname ervan via Amplixs (3.20; +0.13) is toegenomen. Immers, alleen de scholen die er van gebruik willen maken kiezen voor het instrument. De ondersteuning van de helpdesk wordt ook erg gewaardeerd door de scholen (3.40; +0.16). 9

10 10 Naast de keuze voor een van beide pakketten konden de scholen vanaf er ook voor kiezen om de ondersteuning van hun begeleider al dan niet te continueren. Dat kan verklaren waarom de scholen meer tevreden zijn over de bereikbaarheid (3,65; +0.20) en ondersteuning van de begeleider (3.61; +0.28). Waarschijnlijk is het zo dat de scholen die zeer tevreden waren over hun begele i- der de begeleiding hebben gecontinueerd. Anderzijds zal het waarschijnlijk zo zijn dat de scholen die juist minder tevreden waren of scholen die geen nut meer zagen in het werken met een begeleider de begeleiding hebben beëindigd. De scholen geven ook aan zeer tevreden te zijn over de communicatie, materialen en bereikbaarheid van het Platform Praktijkonderwijs. De voornaamste uitschieter is de Infoflits (3.43). De scholen vinden het zeer waardevol om wekelijks geïnformeerd te worden over die ontwikkelingen die van belang zijn voor het Praktijkonderwijs. Een andere verklaring voor de toegenomen tevredenheid van de scholen kan zijn dat de scholen een kwaliteitsslag ervaren als gevolg van Stimulans. De tevrede n- heid scoort hier 3.24, tegenover 3.01 in het voorgaande jaar. De scholen ervaren dat ze zich ontwikkelen. Dat wordt ook gezien door de Inspectie. Het percentage (zeer) zwakke scholen is namelijk het laagst in het praktijkonderwijs. Daar ku n- nen de scholen trots op zijn!

11 2.4 Doelstellingen Stimulans In hoofdstuk 1 werden de drie hoofddoelstellingen van Stimulans gepresenteerd. Per hoofddoelstelling is de scholen gevraagd naar waar ze echt trots op zijn en wat er nog beter kan. Deze uitkomsten worden hier gepresenteerd. We starten met het werken aan opbrengsten. Werken aan opbrengsten Waar zijn de scholen trots op en wat kan er nog beter? Zie tabel 6. tabel 6 Werken aan opbrengsten: waar is men trots op en wat kan beter in ? Waar is men trots op? Wat kan beter? Thema Aantal keer ge- Thema Aantal keer ge- noemd noemd De (uitstroom)resultaten 33 Meer uitstroom naar werk 8 Het werken met IOP s 11 Verbetering IOP S 8 Opbrengstgericht werken 8 Opbrengstgerichter werken 5 Het imago van de school 5 Werken met portfolio s 3 De scholen zijn vooral trots op hun uitstroomresultaten. De scholen slagen erin om de leerlingen in ruime mate toe te leiden naar de arbeidsmarkt of het vervolgonderwijs. Ook op de wijze hoe scholen werken met IOP s zijn ze zeer trots. De volgende citaten onderschrijven dit: Trots zijn we op onze uitstroomresultaten en de bestendigheid ervan. We zijn voor 100% in gesprek met ouders en leerlingen. Ook zijn er veel zachte opbrengsten zoals de nominatie voor Trots op Praktijkonderwijs. Opbrengstgerichtheid zit tussen de oren van de teams We zijn trots op hetgeen we bereikt hebben: een krachtige leeromgeving, een goede naam in de omgeving en een verbetering van het onderwijsaanbod De punten waar de scholen het meest trots op zijn zijn exact dezelfde punten waarin (andere) scholen zich nog dienen te verbeteren. Een aantal scholen vindt dat er vaker sprake moet zijn van uitstroom naar werk of vervolgonderwijs of dat de IOP s nog niet optimaal gebruikt worden. Zie bijvoorbeeld de volgende ui t- spraken: Er zijn nog altijd schoolverlaters zonder werk op opleiding De leerling moet nog meer eigenaar worden van zijn/haar ontwikkeling We willen graag de competenties van alle leerlingen in beeld brengen 11

12 Werken aan kwaliteitszorg In tabel 7 is aangegeven waar de scholen in dit kader echt trots op zijn en wat er nog beter kan. tabel 7 Werken aan kwaliteit: waar is men trots op en wat kan beter in ? Waar is men trots op? Wat kan beter? Thema Aantal Thema Aantal keer ge- keer ge- noemd noemd Cyclisch werken aan kwaliteit 15 Cyclisch werken aan kwaliteit 7 De overeengekomen verbeterpunten 11 Vertaling van de resultaten van de enquête in ontwikkelpunten 6 De tevredenheid van ouders, leerlingen, partners 8 Deelname aan enquête verhogen 4 Ontwikkeling kwaliteitsgericht denken en werken personeel 7 Werken aan kwaliteit leeft meer bij het personeel 4 Scholen waarderen vooral de wijze waarop ze cyclisch werken aan kwaliteit. De overeengekomen verbeterpunten en de tevredenheid van de stakeholders maakt de scholen ook trots, getuige de volgende citaten: We zijn trots op de wijze waarop het cyclische element in onze school is geïntegreerd. Het leeft echt in de teams en wordt gebruikt als middel om met elkaar in gesprek te gaan over ons onderwijs en onze professionaliteit Er zijn dit keer ook ouders betrokken naar aanleiding van de uitslagen van de enquêtes. Ouders reageerden enthousiast om met mij over de resultaten te k o- men praten Andere scholen vinden juist dat ze nog meer werk moeten maken van het cyclisch werken aan kwaliteit. Ook het analyseren van de tevredenheidsonderzoeken en de vertaling daarvan naar speerpunten blijft lastig: Het vertalen van de enquête in concrete actiepunten en deze ook implement e- ren blijft een belangrijk aandachtspunt Een gestructureerde, cyclische aanpak van de verbetertrajecten blijft in onze kleine organisatie een punt van zorg. Plannen en doen gaat goed, maar toetsen op resultaat en bijsturen gebeurd nog te weinig 12

13 Schrijven van (jaar)verslagen Ten slotte de laatste hoofddoelstelling: het naar aanleiding van het werken aan kwaliteit en opbrengsten schrijven van goede (jaar)verslagen. tabel 8 Schrijven van verslagen: waar is men trots op en wat kan beter in ? Waar is men trots op? Wat kan beter? Thema Aantal Thema Aantal keer ge- keer ge- noemd noemd Het schoolplan 6 Schrijven gericht op de doelgroep 7 De ontwikkelagenda 5 Tijdige informatieverstrekking 5 Het jaarverslag 5 Kort en bondig rapporteren 3 De scholen geven aan trots te zijn op het tot stand gekomen schoolplan. Ook de ontwikkelagenda en het jaarverslag stemmen tot tevredenheid: We geven de kwaliteitsontwikkeling weer in ons jaarverslag Ik geef altijd korte samenvatting van de uitslagen van de enquêtes aan mijn collega s Scholen ervaren nog problemen bij hun afstemming op de doelgroep, het tijdig verstrekken van informatie en het kort en bondig rapporteren: Een snellere terugkoppeling naar het team en ouders via de nieuwsbrief is een aandachtspunt De formele verslagen blijven te afstandelijk voor collega s, dat is een ontwikke l- punt 13

14

15 3 Belangrijkste uitkomsten In de evaluatie van het traject Stimulans stonden drie thema s centraal: kwal i- teitszorg, de tevredenheid van de scholen ten aanzien van Stimulans en een evaluatie van de doelstellingen van het traject. De belangrijkste uitkomsten worden nu per thema gepresenteerd. Kwaliteitszorg De scholen hebben in gemiddeld 2,47 enquêtes afgenomen. In vergelijking met het voorgaande jaar hebben de scholen gemiddeld gezien iets minder enquêtes afgenomen (2.86), maar wel meer dan in de jaren tot en met In hebben de scholen vooral de leerling- (67%) en ouder-enquête (58%) afgenomen. De reden hiervoor is waarschijnlijk dat aan de hand van deze enquêtes de tevredenheidsindicatoren van Vensters voor Verantwoording worden gevuld. Bijna alle scholen (84%) hebben na het afnemen van de enquêtes een ontwikkelagenda opgesteld met concrete verbeterpunten. In vergelijking met de beginjaren van Stimulans staat het werken aan kwaliteit duidelijk op de agenda van de scholen voor praktijkonderwijs. Toch zijn er naar aanleiding van deze evaluatie nog voldoende verbeterpunten. Het jaarlijks peilen van de tevredenheid van in ieder geval de leerlingen en ouders staat in weinig scholen op de agenda. Het echt structureel en cyclisch werken aan kwaliteit s- zorg, waarbij niet alleen het management het stuur in handen heeft is ook nog niet overal verwezenlijkt. Het voeren van consentgesprekken naar aanleiding van de resultaten is nog geen gemeengoed. Dergelijke punten zijn speerpunten voor de komende jaren zodat het werken aan kwaliteit de scholen nog meer oplevert. Tevredenheid scholen De tevredenheid van de scholen ten aanzien van het traject Stimulans is nog nooit zo hoog is geweest. Hiervoor zijn twee mogelijke verklaringen. De scholen geven allereerst aan dat ze merken dat er een kwaliteitslag wordt gerealiseerd aan de hand van Stimulans. Dit beeld wordt ook bevestigd door de Inspectie. In het praktijkonderwijs is sprake van het laagste percentage (zeer) zwakke scholen. Een andere verklaring is het feit dat scholen vanaf de keuze hebben voor wel of geen ondersteuning van hun begeleider én wel of geen gebruik maken van ProZO! en/of de uitstroommonitor. Dit is terug te zien in de tevrede n- heidsscores. De scholen die ervan gebruik maken geven aan zeer tevreden te zijn over hun begeleider, het zelfevaluatie-instrument en het gebruik daarvan. De helpdesk, communicatie en materialen vanuit het Platform Praktijkonderwijs worden ook zeer gewaardeerd door de scholen. Vooral over de Infoflits, een wekelijks toegestuurd digitaal informatiebulletin, zijn de scholen zeer tevreden. De doelstellingen van Stimulans De scholen geven aan trots te zijn op de mate waarin hun leerlingen uitstromen naar werk en vervolgonderwijs. Het werken met IOP s en het cyclisch werken aan kwaliteit maakt de scholen ook trots. De scholen zijn ook steeds beter in staat om de ontwikkeling die de school heeft doorgemaakt en de verbeterpunten die er nog zijn te beschrijven in bijvoorbeeld een schoolplan. De punten waar scholen trots op zijn zijn tevens ontwikkelpunten voor andere sch o- 15

16 len. Meer leerlingen toeleiden naar werk, de leerlingen meer eigenaar laten zijn van het IOP, het structureel werken aan kwaliteit, het vertalen van de uitkomsten van enquêtes naar ontwikkeldoelen en het rapporteren naar stakeholders blijven aandachtspunten voor de scholen. Uit de evaluatie blijkt dat de scholen een kwaliteitsslag ervaren en dat het werken aan kwaliteit meer gemeengoed begint te worden. Ook blijkt dat er nog voldoende aandachtspunten zijn om de opbrengsten, de kwaliteit en de verslaglegging naar een (nog) hoger niveau te tillen. Het Platform Praktijkonderwijs zal de scholen daar waar nodig bij ondersteunen. 16