De vraag van het werkveld: een nieuw, aangepast instrument voor zelfevaluatie van basisscholen

Transcriptie

1 ZELFEVALUATIE IN HET BASISONDERWIJS: EEN NIEUW INSTRUMENT Inleiding In Basis-Schoolwijzer nr. 7 van april 2002 brachten we een overzicht van de resultaten die door een groep van 26 scholen werden behaald bij het werken met het IZES (Instrument voor Zelfevaluatie van Scholen) (Van Petegem & Brandt, 2000). Tevens kondigden we daar aan dat gewerkt werd aan een nieuwe versie van het IZES, oorspronkelijk bedoeld voor gebruik in het secundair onderwijs. Ondertussen is de nieuwe versie van dit instrument, IZES Basisonderwijs verschenen (Van Petegem & Cautreels, 2003). Er hebben reeds een aantal scholen gebruik gemaakt van IZES-basisonderwijs in het kader van nascholingsprojecten die door de onderzoeksgroep EduBROn (Universiteit Antwerpen) georganiseerd worden. In dit artikel stellen we dit nieuwe instrument voor, schetsen we diverse gebruiksmogelijkheden ervan en sluiten we af met een aantal eerste resultaten. De vraag van het werkveld: een nieuw, aangepast instrument voor zelfevaluatie van basisscholen Sinds het schooljaar werd door onderzoeksgroep EduBROn voor méér dan 200 scholen het project Vormgeven aan schoolbeleid door middel van zelfevaluatie georganiseerd. Daarbij nemen schoolteams (vertegenwoordigd door de directeur en een tweetal leerkrachten) deel aan drie projectdagen. Tijdens de eerste dag (begin oktober) wordt een algemeen-theoretisch kader geschetst in verband met kwaliteitszorg op school, (zelf)evaluatie van scholen, het effectieve-scholenonderzoek en het CIPO-model (zie daarvoor o.m. Van Petegem, 1998). Tijdens de tweede projectdag (eind oktober) wordt vervolgens, naast een aantal andere instrumenten voor zelfevaluatie, het IZES voorgesteld. De verschillende categorieën in dit instrument worden uitvoerig toegelicht aan de hand van concrete voorbeelden en enkele oefeningen worden voorzien in het interpreteren van het cijferrapport dat ontstaat na een IZES-afname. Nadat de deelnemers geïnformeerd zijn over het proces van zelfevaluatie en de verschillende fasen daarbij, worden zij uitgenodigd om met dit instrument aan de slag te gaan in de eigen schoolsituatie. Tijdens die zelfevaluatieproces kunnen zij beroep doen op de medewerking van een projectmedewerker die op basis van het IZES-cijferrapport een duidingsrapport redigeert en dit ook komt toelichten op een teamvergadering. Tijdens de derde projectdag (mei) krijgen de deelnemers ruim de gelegenheid om hun ervaringen bij het werken aan zelfevaluatie (en met name bij het werken met het IZES) uit te wisselen en wordt het geheel geplaatst binnen het groter geheel van kwaliteitszorg op school, waarbij het bepalen van prioriteiten, het opstellen van actieplannen en het inkaderen van dit alles in een nascholingsplan en beleid benadrukt worden. Tijdens de uitwisseling van ervaringen klonk de vraag naar een apart instrument voor zelfevaluatie van basisscholen zo vaak en zo indringend dat beslist werd om, vertrekkend van het bestaand instrument, een aangepaste versie te ontwikkelen. Het ontwikkelen van een nieuw instrument De werkzaamheden bij het ontwikkelen van het nieuwe instrument startten tijdens het academiejaar Aangezien het bestaande IZES gebaseerd is op het o.m. door de inspectie gehanteerde CIPO-model (zie daarvoor o.m. Van Petegem, 1998) werd in eerste instantie beslist om dit laatste als basis te behouden voor het nieuwe instrument. Maar het onderwijs is voortdurend in ontwikkeling. Het lag dan ook voor de hand dat bij het ontwerpen van een nieuwe, voor de basisschool aangepaste, versie van IZES rekening diende gehouden te worden met een aantal van deze ontwikkelingen. Voor de basisschool leken ons met name de ondertussen genoegzaam bekende Eindtermen en Ontwikkelingsdoelen (1995) een belangrijk gegeven, alsmede een aantal ontwikkelingen die in het onderwijslandschap aan het begin van dit millennium stilaan op gang komen. Tenslotte heeft het op héél wat punten toch eigen karakter van de kleuterschool ertoe geleid dat we hieraan een aparte rubriek gewijd hebben. Ten slotte werd een nieuwe rubriek Eigen vragen van de school toegevoegd. Hierbij kan men als school zelf items 1

2 toevoegen die men wil opgenomen zien bij de zelfevaluatie. De verwerking hiervan verloopt op dezelfde wijze als de andere IZES-items. In tabel 1 vindt men het geheel van rubrieken in de nieuwe versie van het IZES voor de basisschool (waarbij we de nieuwe rubrieken cursief afdrukken). In bijlage 1 vindt men per rubriek één voorbeelditem. SCHOOL- KLASNIVEAU NIVEAU S1 Prestatiegericht beleid K1 Effectieve leertijd S2 Onderwijskundig leiderschap K2 Gestructureerd onderwijs S3 Ordelijk en positief leerklimaat K3 Adequate leerstofkeuze en gelegenheid tot leren S4 Kwaliteit van het curriculum K4 Verwachtingen ten aanzien van de leerlingen S5 Gezamenlijke planning en samenwerking tussen leerkrachten K5 Evalueren en bijhouden van de vooruitgang van de leerlingen S6 Professionalisering van het team K6 Bekrachtiging van leerlingen S7 Evaluerend vermogen van de school K7 Zelfstandigheidsbevordering S8 Externe relaties van de school K8 Harmonische persoonlijkheidsontwikkeling KS Kleuterschool: schoolniveau KK Kleuterschool: klasniveau Doelen van de school Schoolprofiel Ja-neen-vragen Eigen vragen van de school Tabel 1: De verschillende rubrieken in IZES-basisonderwijs Het spreekt vanzelf dat bij de ontwikkeling van dit nieuwe instrument de (lange) weg van voorafgaand wetenschappelijk onderzoek (Van Petegem, 1999) werd overgedaan. In eerste instantie werden voor elke rubriek reeksen van itemvoorstellen opgesteld die nadien aan leerkrachten én inhoudelijke experts ter beoordeling werden voorgelegd vanuit de centrale vraag: Geeft de beantwoording van deze vraag een representatief beeld van de toestand op school (in de klas) met betrekking tot het onderzochte thema?. Leerkrachten kregen de kans hun commentaren te formuleren tijdens groepsbijeenkomsten die daartoe werden georganiseerd, de (54) experts werden schriftelijk bevraagd (januari juni 2001) Op basis van alle commentaren en kritieken werden een hele reeks vragen afgevoerd, andere werden al dan niet aangepast en werd tenslotte een eerste ontwerpversie van het nieuwe instrument samengesteld. Deze versie werd via een pilotstudy afgenomen in een viertal scholen waarbij de deelnemende leerkrachten eveneens de kans kregen hun bemerkingen bij het instrument en de afname zelf weer te geven (eerste trimester ). Op basis van de bekomen resultaten werd dan een tweede versie samengesteld die tijdens het tweede trimester van het schooljaar via een survey werd afgenomen bij een representatieve steekproef (94 basisscholen met in totaal 1897 respondenten). Diverse statistische analyses (naar betrouwbaarheid en validiteit) op het bekomen cijfermateriaal stelden ons in staat een laatste reeks aanpassingen uit te voeren en in het geheel een selectie van vragen te maken die in aanmerking kwamen voor een quickscan (zie verder). Uiteindelijk kwam de definitieve versie tot stand die vanaf januari 2003 zowel in papieren als in elektronische versie (CD-Rom) ter beschikking is (Van Petegem & Cautreels, 2003). 2

3 Hoe wordt er gewerkt met het IZES-basisonderwijs? In totaal worden voor de diverse rubrieken (S1-S8 en K1-K8) 214 vragen opgenomen in het instrument. Daarnaast zijn er nog de vragen voor de kleuterschool (zowel voor school- als klasniveau worden telkens 21 extra vragen voorzien). Verder zijn nog voorzien: een profielvraag, een vraag over de schooldoelen, een tiental ja-neen-vragen, en eventueel de vragen die de school zelf wenst toe te voegen (rubriek eigen vragen ). Bij het beantwoorden van de vragen uit de diverse rubrieken (inclusief de kleuterschool) spreekt de respondent in eerste instantie zijn oordeel aan in verband met de feitelijke toestand op school (in de klas) om vervolgens zijn wens tot verandering aangaande dezelfde statements duidelijk te maken. Bij de beoordeling van de feitelijke toestand hebben respondenten de keuze tussen: 1. helemaal niet van toepassing 2. eerder niet van toepassing 3. eerder wel van toepassing 4. in sterke mate van toepassing 0. weet niet Bij de beoordeling van de wenselijke toestand hebben de respondenten de keuze tussen: 1. geen actie nodig 2. actie nodig: geen prioriteit 3. actie nodig: prioriteit Vooraf dient door de school te worden bepaald wie de vragenlijst invult en voor welke groepen men een rapport wenst te bekomen (de basisschool in zijn geheel, lagere school en kleuterschool afzonderlijk, per vestigingsplaats, per graad, ). Hierbij kunnen tal van overwegingen mee een rol spelen (Van Petegem, 1998). Het gebruik van de elektronische versie van IZES biedt het voordeel dat de verwerking van de ingevulde gegevens automatisch verloopt. Bij gebruik van de papieren versie van IZES dient de verwerking manueel te gebeuren. Zowel de papieren als de digitale versie van IZES kunnen integraal (d.w.z. alle aandachtspunten worden meegenomen in de zelfevaluatie) of partieel (d.w.z. sommige aandachtspunten) worden gebruikt. Door de toevoeging van nieuwe categorieën is het totaal aantal vragen echter zo hoog geworden dat een gefaseerd gebruik van het instrument aangewezen lijkt. Daarom kan (als derde gebruiksmogelijkheid) beslist worden om in eerste instantie een quick scan af te nemen. Hierbij wordt via 73 vragen, die representatief (en betrouwbaar) zijn voor alle rubrieken, een eerste stand van zaken opgemaakt. Op basis van de analyse van het eerste cijferrapport die uit deze quick scan voortkomt, kan dan beslist worden om in een tweede stap een aantal (of alle) rubrieken grondiger aan bod te laten komen via een nieuwe reeks vragen. Dit leidt tot volgende mogelijke werkwijzen bij het gebruik van IZES-basisonderwijs: 1. Men kan starten met een quick scan voor de hele basisschool (alle personeelsleden kleuterschool en lagere school). Indien men vanuit een eerder vage, algemene doelstelling een zelfevaluatie opzet, is het aangewezen om deze fase (quick scan) zeker te voorzien en pas na een analyse van het eerste cijferrapport over te gaan naar eventueel vervolgonderzoek. Heeft men méér concrete doelen voor ogen, dan kan deze werkwijze overgeslagen worden en meteen opgestart worden met werkwijze Grondige bevraging voor de hele basisschool (vervolgonderzoek voor alle personeelsleden). Hierbij kan men alle voorziene rubrieken opnemen of een selectie daarvan. De ervaring leert ons dat een volledige grondige bevraging basisschool minimum een volledig uur vergt. Daarom is het aangewezen deze bevraging op te splitsen in twee invulbeurten. De respondent dient dan bij het verlaten van het programma na de eerste invulbeurt nauwkeurig zijn/haar codenummer te noteren. Dit heeft hij/zij namelijk nodig om terug in het programma te kunnen stappen bij de start van de tweede invulbeurt. 3. Quick scan of grondige bevraging van de kleuterschool. Deze kunnen in combinatie met hoger genoemde werkwijzen doorgaan of los daarvan. 3

4 Het resultaat: het door IZES gegenereerde Schoolrapport Bij het gebruik van de digitale versie van het IZES wordt automatisch een schoolrapport gegenereerd in de vorm van een reeks tabellen. Het rapport bevat de gegevens aangaande alle S-criteria ( school-, dus mesoniveau) en alle K-criteria ( klas-, dus microniveau). Dit zijn de aangehaalde procesvariabelen in tabel 1. In het rapport dat na afname van de quick scan wordt gegenereerd treft men per variabele de resultaten aan voor enkele representatieve vragen. In het eindrapport (na afname in de tweede fase) worden alle bekomen resultaten samengebracht (dus ook deze bekomen op de quick scan) en wordt tevens een ranking en aandachtsbalans aangemaakt voor de schooldoelen alsmede een aanduiding van het door de respondenten ingeschatte schoolprofiel. Het schoolrapport sluit af met de resultaten van de bevraging aan de hand van een tiental ja/neen-vragen en de eigen vragen van de school. Bij dit alles is tevens een aparte visuele voorstelling voorzien van de bekomen resultaten. De wetenschappelijke achtergrond bij de interpretatie van de statistische gegevens in het schoolrapport, alsmede een theoretische aanzet tot duiding van de vaststellingen vindt men in Van Petegem (1998). Voor voorbeelden van cijferrapporten en duidingsrapporten verwijzen we naar Van Petegem & Cautreels (2003). De eerste bevindingen In een eerder verschenen artikel hebben we een overzicht gebracht van de resultaten bij afname in basisscholen van de eerste versie van IZES (zie Van Petegem & Cautreels, 2002). Op dit moment zijn ons nog onvoldoende gegevens bekend van volledige afnames van het nieuwe instrument. Uit gegevens bekomen op basis van de survey kunnen we al wel enkele overzichten geven in verband met de nieuwe categorieën die ingevoerd werden (zie tabellen hieronder). We beperken ons hier tot enkele algemene gegevens. Eens méér cijfermateriaal ter beschikking is zal dit zeker kenbaar gemaakt worden. Categorie A B C D Aantal statements S6 Professionalisering S7 Evaluerend vermogen Van de school S8 Externe relaties van de school K7 Zelfstandigheidsbevordering K8 Harmonische persoonlijkheids ontwikkeling Tabel 2: Aantal vermeldingen van de nieuwe rubrieken in apart opgestelde toplijsten (basis: 94 scholen; 1897 respondenten) Toelichting bij tabel 2: In de kolommen wordt het aantal keer vermeld dat een item uit betreffende categorie voorkomt in de lijst van 20 (resp. 22) hoogste gemiddeldes. Kolom A: hoogste gemiddeldes feitelijke toestand Kolom B: laagste gemiddeldes feitelijke toestand Kolom C: hoogste gemiddeldes wenselijke toestand Kolom D: laagste gemiddeldes wenselijke toestand Aantal statements: het aantal vragen dat in het instrument voor de betreffende categorie voorzien is. 4

5 Commentaar bij tabel 2: De harmonische persoonlijkheidsontwikkeling scoort duidelijk het best (met 11 vermeldingen). Alle andere rubrieken komen niet zo sterk naar voren (kolom A). Dat wordt in kolom B sterk bevestigd, met name voor de professionalisering en het evaluerend vermogen van het team. Met beide is het duidelijk niet zo goed gesteld in scholen. Dit beeld komt overeen met hetgeen o.m. over nascholing door de inspectie in haar jaarlijkse Onderwijsspiegel werd genoteerd (2002). De rubriek externe relaties lijkt eerder een neutrale positie in te nemen. Ook zelfstandigheidsbevordering scoort niet zo hoog. Wensen voor verandering (kolommen C en D) blijken enkel duidelijk aanwezig te zijn voor professionalisering van het team en in mindere mate voor het evaluerend vermogen. Voor zelfstandigheidsbevordering is dit duidelijk in veel minder het geval. Ook voor de externe relaties wordt nagenoeg geen wens tot verandering uitgesproken. Dat dit voor harmonische persoonlijkheidsontwikkeling evenmin het geval is, kan duidelijk verklaard worden vanuit de mooie beoordeling die deze rubriek bij de feitelijke toestand behaalt. Het is zeker als positief te waarderen dat leerkrachten uitdrukkelijk wensen tot verbetering uitspreken in verband met hun eigen professionalisering. Anderzijds is het allicht zo dat het inzicht in het belang van interne kwaliteitszorg (met daarin een belangrijke plaats voor een systeem van zelfevaluatie) en het bewustzijn van het belang van de externe relaties nog niet in ruime mate verspreid is onder de Vlaamse leerkrachten. Uit de gegevens die in verband met de kleuterschool bekomen werden kunnen volgende tendensen afgeleid worden. Kleuterleid(st)ers spreken een hogere waardering uit ten aanzien van het klasniveau dan ten aanzien van het schoolniveau en wensen quasi uitsluitend veranderingen op dit laatste niveau ondanks het feit dat ook op het klasniveau een aantal gegevens erg laag scoren (zoals b.v. het voorzien van terugblikmomenten na een activiteit, het werken met pictogrammen, inbreng van kleuters bij de keuze van thema s en het noteren van persoonlijke reflecties n.a.v. het gepresenteerde aanbod en de wijze waarop kleuters daarmee omgaan). De wensen tot verandering (nagenoeg uitsluitend op schoolniveau) hebben o.m. te maken met verticale lijnen binnen het vormingsaanbod (visie op spelen, lijn in het aanbod, pictogrammen, samenwerking met de lagere school) en het systematisch aandacht geven aan en bespreken binnen het team van de ontwikkelingsdoelen. Uiteraard is het beschikbare cijfermateriaal in dit stadium (IZES-basis is pas recent in gebruik) te onvolledig om er reeds harde conclusies uit af te leiden. Eens dit wel het geval is, zullen we daar zeker over rapporteren. Conclusies Met het verschijnen van een aparte versie van het IZES voor de basisschool wordt duidelijk tegemoet gekomen aan een nood die de voorbije jaren sterk is beginnen leven op dit niveau van onderwijs. Naarmate méér scholen zich bewust worden van het belang van zelfevaluatie zal dit instrument allicht in toenemende mate een zinvolle rol kunnen gaan spelen bij het werken aan kwaliteit in de Vlaamse basisschool. Op die wijze kan het ook bijdragen aan waar het uiteindelijk allemaal om te doen is: het optimaliseren van het leren van de leerling. Bibliografische referenties MINISTERIE VAN DE VLAAMSE GEMEENSCHAP DEPARTEMENT ONDERWIJS (1995). Basisonderwijs: Ontwikkelingsdoelen en Eindtermen. Brussel. MINISTERIE VAN DE VLAAMSE GEMEENSCHAP ONDERWIJSINSPECTIE (2002). Onderwijsspiegel Verslag over de toestand van het onderwijs Schooljaar Brussel. VAN PETEGEM, P. (1998). Vorm geven aan schoolbeleid. Effectieve scholenonderzoek als inspiratiebron voor de zelfevaluatie van scholen. Leuven/Amersfoort, Acco. 5

6 VAN PETEGEM, P. (1999). Zelfevaluatie als instrument voor interne kwaliteitszor voor scholen. In: Ministerie van de Vlaamse Gemeenschap (red.), Bezorgd om kwaliteit! Concepten, instrumenten en procedures met betrekking tot de evaluatie van scholen. Brussel, Departement Onderwijs, Inspectie Secundair Onderwijs. VAN PETEGEM, P. & BRANDT, W. (2000). IZES. Het instrument voor de zelfevaluatie van scholen. Leuven/Amersfoort, Acco. VAN PETEGEM, P. & CAUTREELS, P. (2002). Vlaamse basisscholen geven vorm aan schoolbele id door middel van zelfevaluatie. In: Basis Schoolwijzer, jg. 109, nr. 149 (april 2002), p VAN PETEGEM, P. & CAUTREELS, P. (2003). IZES Basisonderwijs Instrument voor zelfevaluatie van basisscholen. Leuven/Leusden, Acco. P. Van Petegem is professor aan de Universiteit Antwerpen en leidt de onderzoeksgroep EduBROn. P. Cautreels is projectmedewerker aan de onderzoeksgroep EduBROn. Méér informatie over het nascholingsaanbod van EduBROn (met name over de projecten rond zelfevaluatie van scholen) is te vinden op Bijlage: Voorbeelditem per rubriek Schoolniveau Rubriek Code Voorbeelditem S1 Prestatiegericht beleid 2.9 Op mijn school komen kennisgerichte doelen voorop. S2 Onderwijskundig leiderschap 5.11 De directie heeft een duidelijke visie op leidinggeven. S3 Ordelijk en positief leerklimaat 2.2 Op mijn school is er voldoende discipline. S4 Kwaliteit van het curriculum 8.21 In mijn lessen zorg ik voor differentiatie naar tempo. S5 Gezamenlijke planning en 2.5 Op mijn school is er overleg bij de keuze van samenwerking tussen leerkrachten leerboeken en de aanschaf van materialen. S6 Professionalisering van het team 2.53 Op mijn school bestaat er een voor iedereen duidelijk nascholingsplan S7 Evaluerend vermogen van de sc hool 2.80 Op mijn school worden prioriteiten vertaald in voor iedereen duidelijke actiestappen. S8 Externe relaties van de school Op mijn school is er een constructieve samenwerking met het oudercomité. Klasniveau K1 Effectieve leertijd 8.53 In mijn lessen liggen materialen en hulpmiddelen klaar bij het begin van de les. K2 Gestructureerd onderwijs 8.62 In mijn lessen laat ik leerlingen hardop samenvatten wat ik heb uitgelegd K3 Adequate leerstofkeuze en gelegenheid tot leren 8.10 In mijn lessen probeer ik andere werkvormen uit wanneer leerlingen de leerstof niet vatten. K4 Verwachtingen t.a.v. de leerlingen 7.3 Als leerkracht ben ik ervan overtuigd dat de meeste leerlingen hun best doen. K5 Evalueren en bijhouden van de vooruitgang van de leerlingen 2.47 Op mijn school wordt er op een zinvolle wijze gewerkt met een leerling-/kindvolgsysteem. K6 Bekrachtiging van leerlingen 7.2 Als leerkracht werk ik eraan om het zelfvertrouwen van leerlingen te verbeteren. K7 Zelfstandigheidsbevordering 8.48 In mijn lessen wereldoriëntatie werk ik thema s uit die door de leerlingen zelf gekozen werden. K8 Harmonische persoonlijkheidsontwikkeling 8.41 In mijn lessen besteed ik aandacht aan de actualiteit. 6

7 7