4 Schoolfeedback als input voor interne kwaliteitszorg

Transcriptie

1 5_Reflectief vermogen.fm Page 65 Tuesday, November 30, :52 PM 4 Schoolfeedback als input voor interne kwaliteitszorg Auteur: Jean Pierre Verhaeghe Universiteit Gent, Vakgroep Onderwijskunde KULeuven, Centrum voor Onderwijseffectiviteit en -Evaluatie 1 Schoolfeedbacksystemen en interne kwaliteitszorg Wereldwijd zijn heel wat schoolfeedbacksystemen actief die scholen feedback bezorgen over de prestaties van hun leerlingen op basis van vergelijkingen met een nationale dataset. Vaak maken ze gebruik van nationale of centrale toetsen. Vlaanderen kent geen nationale toetsen, maar er zijn wel enigszins vergelijkbare feedbackinitiatieven, bijvoorbeeld de feedback die katholieke basisscholen kunnen krijgen bij deelname aan de interdiocesane proeven in het vierde en het zesde leerjaar en een gelijksoortig initiatief binnen het gemeentelijk basisonderwijs. Sedert 2009 stelt het Vlaamse ministerie van onderwijs toetsen ter beschikking die parallel zijn aan de instrumenten die in recent peilingsonderzoek gebruikt werden. Op basis van die paralleltoetsen kunnen scholen feedback krijgen waarin de gemiddelde prestatie van hun leerlingen (of subgroepen van leerlingen) gesitueerd wordt ten opzichte van de representatieve steekproef in het peilingsonderzoek. Zeker bij de Vlaamse initiatieven is het de bedoeling dat die feedback scholen helpt bij het verbeteren van de kwaliteit van hun onderwijs. Scholen krijgen een zicht op hun output. Zulke feedback is complementair aan de feedback die scholen vanuit andere kanalen krijgen: schooleigen toetsen, uitingen van ouders en leerlingen over hun tevredenheid over de school en het oordeel van de inspectie. Waar schoolfeedback zeker in Vlaanderen niet voor bedoeld is, is om publieke rangordeningen ( league tables ) van scholen op te stellen of om de subsidiërende of inrichtende overheid te informeren over de prestaties van individuele scholen. Afl. 5 december Reflectief vermogen 4 / 1

2 5_Reflectief vermogen.fm Page 66 Tuesday, November 30, :52 PM In deze bijdrage gaan we in op wat dat soort schoolfeedback voor scholen kan betekenen. We vertrekken daarbij van de realisaties uit het Schoolfeedbackproject, een onderzoeks- en ontwikkelingsproject dat liep van 2006 tot In het kader van dat project werd niet alleen een elektronisch schoolfeedbacksysteem ontwikkeld, maar werd ook onderzoek gedaan naar hoe directies en schoolteams de inhoud van schoolfeedback begrijpen en ermee omgaan. 2 Het Vlaamse Schoolfeedbackproject Het Schoolfeedbackproject beoogt de ontwikkeling van een systeem dat scholen op geautomatiseerde wijze feedback kan bezorgen over de leerprestaties (en andere in cijfers uit te drukken output) en leerwinst van groepen leerlingen en van de toegevoegde waarde die de school daarbij realiseert. Door een hoge mate van automatisatie wordt snelle feedback beoogd. Scholen loggen in op een beveiligde website, bepalen voor welke groepen en over welke leerdomeinen ze feedback willen, downloaden een of meer toetsen, nemen die af en sturen de antwoorden van de leerlingen via gebruiksvriendelijke invoerschermen door naar een centrale server. De verwerking van de gegevens en de productie van de feedbackrapporten verlopen geautomatiseerd: software die in het kader van het Schoolfeedbackproject ontwikkeld werd, stuurt een reeks van berekeningen en statistische analyses aan en de resultaten daarvan worden meteen omgezet in tabellen, grafieken en tekst, alles gebundeld in een feedbackrapport dat in pdf-formaat aangeboden wordt. De resultaten omvatten steeds een vergelijking met een representatieve dataset, ontleend aan recent uitgevoerd grootschalig onderzoek in het Vlaamse basis- en secundair onderwijs. Dat laat feedback toe die scholen in staat stelt de prestaties en ontwikkelingen van hun leerlingen te positioneren tegenover gelijke scholen in het Vlaamse onderwijs. 1 Het Schoolfeedbackproject werd gesubsidieerd door het Instituut voor de Aanmoediging van Innovatie door Wetenschap en Technologie Vlaanderen (IWT) onder projectnummer SBO Vanaf het voorjaar 2011 zullen scholen voor basis- of secundair onderwijs kunnen intekenen voor feedback op basis van toetsen wiskunde en Nederlands. Het Schoolfeedbackproject verleent ook diensten aan organisaties die op basis van eigen toetsen schoolfeedback willen organiseren. Voor meer informatie, 5. Reflectief vermogen 4 / 2 Afl. 5 december 2010

3 5_Reflectief vermogen.fm Page 67 Tuesday, November 30, :52 PM 3 Wat kunnen schoolfeedbackrapporten bieden? Wat schoolfeedbackrapporten kunnen bieden is onder meer afhankelijk van het tijdsperspectief. Betreft het toetsgegevens van één afname? Of wordt een groep leerlingen over langere tijd gevolgd? In dat laatste geval kan leerwinst gerapporteerd worden. 3.1 Feedback over één afname Feitelijk en verwacht gemiddelde Het daadwerkelijk behaalde ( feitelijke ) schoolgemiddelde vergelijken met het Vlaamse gemiddelde biedt al een eerste indicatie van waar de school staat. Met de zogenaamde rupsgrafiek (zie figuur 1) ziet men ook in een oogopslag hoe dat schoolgemiddelde (de grotere driehoek in figuur 1) zich positioneert binnen een representatieve groep van scholen Een vergelijking met een algemeen Vlaams gemiddelde (de horizontale stippellijn in figuur 1) is voor veel scholen niet echt een eerlijke vergelijking. De prestaties van een leerling worden immers niet alleen bepaald door wat in de klas en op school gebeurt, maar in belangrijke mate ook door factoren waarop de school geen invloed heeft: kindkenmerken, gezinsachtergrond e.d. (de I van input in het CIPO-model). Ook contextelementen zoals het rekruteringsveld van de school (bv. de wijk waarin de school gelegen is, de C in het CIPO-model) kunnen daarbovenop nog een rol spelen. Daarom kan het eigen schoolgemiddelde beter vergeleken worden met wat op grond van input- en contextkenmerken verwacht kon worden. We noemen dat het verwachte gemiddelde voor de school (de volle horizontale lijn in figuur 1). Dat verwachte gemiddelde wordt voor elke school afzonderlijk bepaald, op basis van de samenstelling van de leerlingengroep en rekening houdend met de algemene samenhangen in de steekproef tussen input- en contextkenmerken enerzijds en output (toetsresultaten) anderzijds. Scholen met een zwakkere input en een ongunstiger context hebben een verwacht gemiddelde dat lager ligt dan het Vlaamse gemiddelde. Scholen met een sterkere input en een gunstiger context hebben een hoger verwacht gemiddelde. Het verwachte gemiddelde voor een school kan men eigenlijk opvatten als het gemiddelde toetsresultaat van alle Vlaamse scholen met (voor de betreffende leerlingengroep) precies dezelfde samenstelling qua inputen contextkenmerken. De vergelijking maken met het eigen verwachte gemiddelde komt dus neer op gelijken met gelijken vergelijken. Afl. 5 december Reflectief vermogen 4 / 3

4 5_Reflectief vermogen.fm Page 68 Tuesday, November 30, :52 PM Figuur 1: Feitelijk gemiddelde voor uw school in vergelijking met de Vlaamse referentiesteekproef De toegevoegde waarde van een school Met de toegevoegde waarde van een school (TW) doelt men op dat aandeel in de leerresultaten dat voor rekening komt van de inspanningen van de school (de P van proces in het CIPO-model). Het verschil tussen het feitelijke schoolgemiddelde op een toets en het verwachte schoolgemiddelde kan gebruikt worden als maat voor de toegevoegde waarde. Het feitelijke gemiddelde is immers het resultaat van alle invloeden samen (C, I én P); het verwachte gemiddelde is het gemiddelde dat we op grond van input- en contextkenmerken mochten verwachten. Het verschil tussen beide is dan logischerwijze dat deel van de O (output) dat samenhangt met de proceskenmerken (P). Op de TW die een school realiseert, kan dus een cijfer (getal) geplakt worden. Dat getal is wel het resultaat van een onrechtstreekse benadering: we schatten eerst de impact van kind-, thuis- en contextkenmerken en wat overblijft, beschouwen we als het effect van de school. Dat getal is bovendien een relatieve maat voor TW. Het geeft immers het verschil aan met het verwachte gemiddelde en dat verschil kan positief of negatief zijn. Figuur 2 zet voor alle scholen in de steekproef én voor onze voorbeeldschool dat verschil in een rupsgrafiek. Een positieve TW (boven de stippellijn) wil zeggen dat de leerlingen in de school gemiddeld beter presteren dan op grond van hun (achtergrond)kenmerken en context verwacht kon worden; een negatieve TW dat ze gemiddeld minder presteren dan verwacht mocht worden. 5. Reflectief vermogen 4 / 4 Afl. 5 december 2010

5 5_Reflectief vermogen.fm Page 69 Tuesday, November 30, :52 PM Figuur 2: Toegevoegde waarde van uw school voor wiskunde einde eerste leerjaar in vergelijking met de scholen uit de steekproef De school in ons voorbeeld scoort voor wiskunde einde eerste leerjaar gemiddeld lager dan het Vlaamse gemiddelde, maar wel overeenkomstig haar verwachte gemiddelde (figuur 2). De toegevoegde waarde voor wiskunde einde eerste leerjaar is dus ongeveer nul, d.w.z. zo goed als gelijk aan wat in Vlaamse basisscholen gemiddeld aan toegevoegde waarde gerealiseerd wordt. Tabel 1 drukt de wiskundige vergelijking in enkele getallen uit. Tabel 1: Toegevoegde waarde voor uw school en twee vestigingsplaatsen voor wiskunde einde eerste leerjaar Feitelijk gemiddelde Verwacht gemiddelde Toegevoegde waarde Vlaanderen 68,7 68,7 0,0 Uw school 67,4 67,5-0,1 VP Schoolstraat 70,4 68,6 1,8 VP De Wijk 63,3 66,0-2,7 Tabel 1 toont de resultaten niet alleen voor alle eersteklassers uit onze voorbeeldschool samen, maar ook voor de twee vestigingsplaatsen afzonderlijk. De vergelijking tussen beide is bepaald leerzaam. Het lagere verwachte gemiddelde voor VP De Wijk wijst op een leerlingenpubliek Afl. 5 december Reflectief vermogen 4 / 5

6 5_Reflectief vermogen.fm Page 70 Tuesday, November 30, :52 PM met meer ongunstige achtergrondkenmerken dan in VP Schoolstraat. (Dat wordt nader geïllustreerd in tabel 2.) Maar het feitelijke gemiddelde in VP De Wijk blijft bovendien achter op wat voor VP De Wijk verwacht kon worden, terwijl in de Schoolstraat het feitelijke gemiddelde groter is dan wat voor de Schoolstaat verwacht kon worden. Dat resulteert in twee duidelijk verschillende cijfers voor de toegevoegde waarde: positief voor VP Schoolstraat en negatief voor VP De Wijk. Als het team van VP De Wijk meent dat het lagere resultaat (63,3) toegeschreven kan worden aan de minder gunstige sociale achtergrond van de leerlingen (en dat de cijfers van de twee vestigingplaatsen dus eigenlijk niet vergelijkbaar zijn), dan stelt tabel 1 hen toch gedeeltelijk in het ongelijk. Eersteklassers in andere Vlaamse basisscholen met een even ongunstige achtergrond als de leerlingen in VP De Wijk doen het gemiddeld toch nog 2,7 punten beter. Het lagere gemiddelde in VP De Wijk is dus niet alleen aan de achtergrond en context te wijten. Maar vooraleer we hierop verder kunnen gaan, moeten we wel eerst kijken of die TW-getallen significant verschillen van nul. De haartjes van de rups De haartjes van de rups in figuur 2 (de verticale lijnstukjes die door de driehoekjes gaan) stellen het zogenaamde 95%-betrouwbaarheidsinterval voor. De praktische betekenis is dat ze ons toelaten visueel na te gaan of de TW van een school significant verschilt van 0. Kruist het verticale lijnstukje de horizontale middellijn niét, dan is de TW significant hoger (of lager) dan 0. Significant wil zeggen dat het verschil niet aan toeval te wijten is. In figuur 2 zien we aan beide zijden een tiental scholen met een TW die significant lager respectievelijk hoger ligt dan de gemiddelde TW in Vlaanderen. In figuur 1 kunnen we op analoge wijze zien dat voor onze voorbeeldschool het feitelijke gemiddelde niet significant verschilt van het verwachte gemiddelde. De achtergrondkenmerken van de leerlingen Hoe ver in figuur 1 de horizontale lijn van het eigen verwachte gemiddelde boven of onder de lijn van het Vlaamse gemiddelde ligt, geeft al een idee van de kansarmoede / kansenrijkdom van het leerlingenpubliek. Het Schoolfeedbackproject vindt het wenselijk dat scholen daar een preciezer inzicht in krijgen. Voor de verschillende input- en contextkenmerken die in de schatting van het verwachte gemiddelde meegenomen worden, krijgen scholen een overzicht van de verdeling van hun leerlingen. Tabel 2 illustreert hoe dat gebeurt voor het kenmerk met de meeste impact: de sociale en culturele achtergrond van de leerlingen. Daarvoor worden leerlingen in categorieën opgedeeld die bij de scholen goed herkenbaar zijn: er is een opdeling naar GOK- en niet-gok-leerlingen (zoals voor het Gelijke Onderwijskansenbeleid gebeurt). Een verdere opdeling 5. Reflectief vermogen 4 / 6 Afl. 5 december 2010

7 5_Reflectief vermogen.fm Page 71 Tuesday, November 30, :52 PM gebeurt op basis van de thuistaal. Het verschil in leerlingenpubliek tussen de twee vestigingsplaatsen is heel duidelijk uit de cijfers af te lezen. Tabel 2. Verdeling van de leerlingen eerste leerjaar naar sociale en culturele achtergrond Categorie 3.2 Feedback over meer afnames Wanneer leerlingen voor een leerdomein langere tijd gevolgd worden, kunnen groeicurves getekend worden die de gemiddelde evolutie van leerlingen tonen, bijvoorbeeld van het begin van het eerste tot het einde van het zesde leerjaar. Vaardigheidsscores Uw school Vlaanderen Schoolstraat De Wijk Nederlandstalig niet-gok 64.5% 39.1% 59.3% 10.5% Nederlandstalig GOK 22.4% 19.6% 7.4% 36.8% Turks of Koerdisch GOK 2.0% 21.7% 22.2% 21.1% Arabisch of Berbers GOK 1.3% Andere taal GOK 3.9% 10.9% 26.3% Niet-Nederlandstalig niet-gok 5.9% 8.7% 11.1% 5.3% Leraren gebruiken vaak het aantal juiste antwoorden als toetsscore. Dat maakt een toetsscore van bijvoorbeeld einde zesde leerjaar uiteraard niet vergelijkbaar met een toetsscore begin eerste leerjaar. Daarvoor verschillen die toetsen te zeer in moeilijkheidsgraad. Om de evolutie van leerlingen over langere termijn in kaart te brengen, dienen de verschillende toetsen op één meetschaal geplaatst te worden. De achterliggende veronderstelling is dat de scores die een leerling in opeenvolgende leerjaren haalt, de uitdrukking vormen van één achterliggende vaardigheid die in de tijd evolueert, bijvoorbeeld een algemene wiskundevaardigheid of de vaardigheid in begrijpend lezen. Het vinden van de samenhang tussen toetsen van verschillende moeilijkheidsgraad vergt een complexe analyse, maar eenmaal die samenhang gevonden is, kunnen toetsscores of antwoordpatronen via formules of omzettingstabellen eenvoudig in vaardigheidsscores omgezet worden. In het schoolfeedbacksysteem gebeurt dat automatisch. Afl. 5 december Reflectief vermogen 4 / 7

8 5_Reflectief vermogen.fm Page 72 Tuesday, November 30, :52 PM Figuur 3. Groeicurves voor wiskunde in vestigingsplaats De Wijk en in Vlaanderen Feitelijke en verwachte gemiddelde groeicurves Net zoals men feitelijke en verwachte gemiddelde scores kan bepalen, kan men ook feitelijke en verwachte gemiddelde groeicurves bepalen. Figuur 3 toont zulke curves voor VP De Wijk. Wat onmiddellijk opvalt, is dat de leerlingen van VP De Wijk doorheen de leerjaren voor wiskunde een heel serieuze inhaalbeweging maken. Van een achterstand ten opzichte van het Vlaamse gemiddelde van gemiddeld bijna 13 punten, evolueren ze naar een gemiddelde dat nog nauwelijks van het Vlaamse gemiddelde verschilt. Uiteraard maken ze daarmee ook het verschil met de verwachte groeicurve (die voor hen onder de Vlaamse gemiddelde groeicrurve zit) goed. Feitelijke en verwachte leerwinst Leerwinst definiëren we als de vooruitgang die een leerling boekt. Dat valt eenvoudig te bepalen als het verschil tussen de vaardigheidsscore op een bepaald moment en de vaardigheidsscore op een vorig moment. In figuur 3 kan gemakkelijk per leerjaar afgelezen worden wat de feitelijke gemiddelde leerwinst bij de gevolgde groep leerlingen in VP De Wijk is, wat voor die groep de verwachte gemiddelde leerwinst is en wat de gemiddelde leerwinst voor Vlaanderen is. 5. Reflectief vermogen 4 / 8 Afl. 5 december 2010

9 5_Reflectief vermogen.fm Page 73 Tuesday, November 30, :52 PM De toegevoegde waarde op de leerwinst Ook voor de leerwinst die leerlingen maken, kan bepaald worden welk deel voor rekening komt van factoren buiten de school en welk deel men aan processen binnen de school kan toeschrijven. Een cijfer voor de TW op de leerwinst verkrijgt men door het verschil te maken tussen feitelijke leerwinst en verwachte leerwinst. Een visueel beeld van de TW op de leerwinst krijgt men door de beginpunten van de feitelijke en de verwachte groeicurve te laten samenvallen (zie figuur 4). Het hoogteverschil tussen de eindpunten geeft dan de TW weer. Figuur 4. Groeicurves voor wiskunde in vestigingsplaats De Wijk en in Vlaanderen De TW die in vestigingsplaats De Wijk gerealiseerd wordt op de leerwinst tussen begin eerste leerjaar en einde zesde leerjaar bedraagt 8,7 punten. Het betekent dat de leerlingen in vestigingsplaats De Wijk op 6 jaar tijd gemiddeld 8,7 punten méér vooruitgang in wiskunde boeken dan leerlingen met gelijke inputkenmerken in andere scholen met een gelijkaardige schoolcontext. Het gaat om een significant verschil. Maar wat betekent het praktisch? De omvang van achterstand, voorsprong en inhaalbewegingen Een idee van de praktische betekenis van de achterstand of voorsprong van leerlingen kan men krijgen door die achterstand of voorsprong (of de inhaalbeweging die leerlingen maken) te vergelijken met de gemiddelde leerwinst die in het Vlaamse basisonderwijs gemaakt wordt. Op de meet- Afl. 5 december Reflectief vermogen 4 / 9

10 5_Reflectief vermogen.fm Page 74 Tuesday, November 30, :52 PM schaal en de toetsen in ons voorbeeld bedraagt de gemiddelde leerwinst voor wiskunde per leerjaar 8,2 punten. Dat is een gemiddelde over de zes leerjaren. In het eerste leerjaar bedraagt de gemiddelde leerwinst voor wiskunde 12,9 punten. Bij het begin van het eerste leerjaar stonden de leerlingen van VP De Wijk gemiddeld dus omzeggens een vol jaar achter. Door de extra leerwinst die ze boeken, halen ze die achterstand in. De problematiek van neveninstroom en voortijdige uitstroom Het bepalen van leerwinst en TW op de leerwinst over langere termijn wordt in de praktijk soms sterk bemoeilijkt door de grote neveninstroom en/of grote voortijdige uitstroom van leerlingen. Dat komt vaker voor in scholen met veel kansarme leerlingen. Het Schoolfeedbackproject opteert ervoor om per meetmoment steeds alle leerlingen in rekening te brengen die zich op dat moment in de gevolgde leergroep bevinden. Wie voortijdig de groep verlaat, is meestal een zittenblijver die in de groep van een navolgend geboortejaar terechtkomt; de neveninstromers zijn meestal zittenblijvers uit een vorig geboortejaar. Neveninstroom en voortijdige uitstroom compenseren elkaar grotendeels; bovendien worden bij de bepaling van de verwachte gemiddelden op elk moment de inputkenmerken van de aanwezige leerlingen in rekening gebracht. De schatting van de TW op de leerwinst blijft dus goeddeels correct. Maar we moeten hierbij wel beseffen dat de feedback daardoor niets zegt over de tijdsspanne waarbinnen de leerwinst gerealiseerd wordt. De TW-cijfers bieden dus wel feedback over de effectiviteit van de school (welk niveau wordt gehaald, welke leerwinst wordt geboekt), maar niet over de efficiëntie (binnen welke tijdspanne). Bovendien zijn er ook leerlingen die de eindmeet niet halen (omdat ze naar het buitengewoon onderwijs overstappen of naar het secundair onderwijs 1B gaan zonder ooit in het zesde leerjaar aangekomen te zijn). Het is daarom nuttig scholen te informeren over hoe sterk neveninstroom en voortijdige uitstroom bij hen verschilt van het gemiddelde in Vlaanderen. 4 Aan de slag met schoolfeedback Schoolfeedback is bedoeld om schoolteams input voor reflectie over hun onderwijspraktijk te geven. Een overzicht van de stappen die daarbij idealiter doorlopen worden, vindt men bij Vanhoof en Verhaeghe. 1 We beperken ons tot een aantal kritische elementen. 1 Vanhoof & Verhaeghe, Reflectief vermogen 4 / 10 Afl. 5 december 2010

11 5_Reflectief vermogen.fm Page 75 Tuesday, November 30, :52 PM 4.1 Bepaal met wie van het team je de feedback wil bespreken Meestal is de directie diegene die de schoolfeedback eerst in handen krijgt, hetzij omdat het naar hem of haar opgestuurd wordt, hetzij omdat de directeur over het paswoord beschikt om het van de beveiligde website te downloaden. Schoolfeedbackrapporten zijn bedoeld voor intern gebruik. Wie daarbij concreet betrokken wordt, hangt van verschillende factoren af: van het doel dat men voor ogen heeft, de mate waarin het team er klaar voor is, bestaande taakafspraken e.d. 4.2 Bepaal wat je met de schoolfeedback wil bereiken Schoolfeedback kan voor verschillende concrete doeleinden aangewend worden, bijvoorbeeld: de bestaande bril om naar de school te kijken in vraag stellen en verrijken; blinde vlekken zichtbaar maken; het schoolteam betrekken bij interne kwaliteitszorg; komen tot legitieme en gedragen beleidskeuzes; argumenten vinden om het bestaande of nieuwe beleid te ondersteunen (bv. GOK-beleidsplannen); motiveren of prikkelen van teamleden; oplossen van concrete problemen; opsporen en/of bevestigen van goede voorbeelden. Schoolfeedback zoals het hier voorgesteld werd, biedt geen directe handvatten voor schoolontwikkeling. Het kan een schoolteam wel helpen zien op welke terreinen een school sterker of zwakker presteert. Het kan gebruikt worden als vertrekpunt, maar voor inspiratie inzake concrete verbeteracties moeten bijkomende bronnen aangesproken worden. Een heel specifiek doel waarvoor schoolfeedback aangewend kan worden, is de evaluatie van specifieke innovaties. Daarvoor is een beginmeting nodig bij de generatie (cohorte) leerlingen vóór de invoering van de innovatie en een nameting bij een navolgende generatie, bij voorkeur twee of drie jaar na de invoering ervan. (Innovaties hebben wat tijd nodig om te verankeren.) Door de twee TW s te vergelijken krijgt men een goed beeld van het effect van de innovatie, ook al hebben de twee groepen leerlingen niet perfect dezelfde samenstelling qua leerlingkenmerken (input). 4.3 Zorg voor een correcte interpretatie van de resultaten Hoewel de opstellers doorgaans veel moeite doen om schoolfeedbackrapporten zo begrijpelijk mogelijk uit te werken en hier in het School- Afl. 5 december Reflectief vermogen 4 / 11

12 5_Reflectief vermogen.fm Page 76 Tuesday, November 30, :52 PM feedbackproject ook expliciet onderzoek naar gedaan werd, blijven schoolfeedbackrapporten voor directies en teamleden meestal taaie kost. Het kost tijd om alle grafieken, tabellen, het (weliswaar beperkte) statistische jargon te doorgronden. Wanneer men met verschillende teamleden het rapport bekijkt, is het aangewezen elkaars interpretatie af te toetsen en te zien of men op hetzelfde spoor zit. En als er een helpdesk ter beschikking is, aarzel dan niet die te contacteren bij twijfel over de interpretatie van resultaten. Een bijzonder aandachtspunt is de vergelijkingsbasis die aangeboden wordt. Op basis van onderzoek bij gebruikers koos het Schoolfeedbackproject ervoor om in dat verband het concept verwachte gemiddelde te hanteren. Men doet er goed aan nauwkeurig na te kijken met welke input- en contextkenmerken hiervoor rekening gehouden werd. Zolang daar alleen leerlingkenmerken in voorkomen, is de interpretatie eenvoudig: je feitelijke gemiddelde vergelijken met je eigen verwachte gemiddelde, komt erop neer dat je je eigen school vergelijkt met scholen met een gelijkaardig leerlingenpubliek. De benadering via het verwachte gemiddelde voor de eigen school biedt in dat verband een fijnere afstemming dan het werken met vier of vijf verschillende referentiegroepen waaruit de school dan de best passende moet kiezen, maar de achterliggende filosofie (gelijke met gelijken vergelijken) is dezelfde. Moeilijker wordt het wanneer de feedbackverschaffer om reden van fairness bij het definiëren van de vergelijkingsbasis ook rekening houdt met bepaalde school- of groepskenmerken. Voor de eerste graad van het secundair onderwijs kan men bijvoorbeeld de aard van de bovenbouw (ASO-school, TSO/BSO-school, multilaterale school) of in het geval van middenscholen de afwezigheid van een bovenbouw in rekening brengen. De redenering is dan dat afhankelijk van de aard van de bovenbouw (of het bestaan als middenschool) een school al van bij de eerste graad een ander leerlingenpubliek aantrekt. En dat is iets wat misschien niet noodzakelijk buiten de invloedssfeer van het schoolbestuur, maar wel buiten de invloedsfeer van de leraar in de klas ligt. Dat klopt, maar dat in rekening brengen heeft als gevolg dat de toegevoegde waarde die in de feedback gerapporteerd wordt, alleen maar een vergelijking met gelijksoortige scholen (andere middenscholen, andere ASO-scholen enz.) biedt. Nochtans zijn de eindtermen in de eerste graad voor al die verschillende types van scholen dezelfde. Iets analoogs doet zich voor wanneer men bijvoorbeeld vanuit het argument dat de leerplannen verschillen het onderwijsnet mee in rekening brengt. In dat geval zal de TW alleen een vergelijking bieden met scholen uit het eigen onderwijsnet, ook al toont de rupsgrafiek een representatieve steekproef die uit scholen van verschillende netten samengesteld is. De regel is: van zodra in de analysemodellen een bepaald gegeven mee opgenomen wordt, 5. Reflectief vermogen 4 / 12 Afl. 5 december 2010

13 5_Reflectief vermogen.fm Page 77 Tuesday, November 30, :52 PM wordt het effect van dat gegeven op de resultaten uitgevlakt en word je alleen met je eigen categorie vergeleken. Met betrekking tot feedback over gegevens waarmee leerlingen over langere termijn gevolgd worden, wezen we er reeds op hoe belangrijk het is de omvang van de neveninstroom en voortijdige uitstroom mee in beschouwing te nemen. Een punt dat ook van belang is voor feedback over één enkele afname, betreft de omvang van de leerlingengroep die aan de toetsafname deelnam. Bij kleine groepen (bijvoorbeeld wanneer er in alle klassen van hetzelfde leerjaar samen minder dan 25 leerlingen zijn) kunnen de resultaten van schooljaar tot schooljaar sterk fluctueren. We raden daarom aan om in die gevallen de resultaten voor verschillende opeenvolgende schooljaren samen te beschouwen. 4.4 Zoek naar verklaringen voor de resultaten Een gulden tip is hier: wees kritisch, over de eigen werking maar ook over de resultaten die gerapporteerd worden. Vooraleer te gaan zoeken naar verklaringen in de eigen werking (de P in het CIPO-model), is het goed zich af te vragen of de resultaten een correct beeld van de werkelijkheid bieden. Er zijn verschillende factoren die aanleiding kunnen geven tot een vertekening van de resultaten, bijvoorbeeld: fouten bij de toetsafnames (instructies niet gevolgd, te weinig tijd, te veel hulp ); storingen tijdens de afnames; een onaangepaste vergelijkingsbasis (wat bijvoorbeeld mogelijk is als de school een heel uitzonderlijk publiek heeft). Als hier geen problemen mee zijn, kan naar verklaringen in de eigen werking gezocht worden. Die kunnen betrekking hebben op het curriculum (en de relatie tot de toetsen), methodes en onderwijsmiddelen, aspecten van doelgerichtheid, e.a. 1 Belangrijk is dat de verklaringen die men vooropstelt als werkhypothesen behandeld worden. Andere informatiebronnen, bijkomende toetsgegevens, externe begeleiders alsmede de bevindingen van acties die men onderneemt, kunnen meer licht op de zaak werpen. Wellicht zal men vaak geneigd zijn vooral verklaringen te zoeken voor resultaten die men als ondermaats beoordeelt. Nochtans is ook het goed grip te krijgen op wat aan de basis van goede resultaten ligt. Op die manier kunnen goede resultaten en de professionele kennisbasis die eraan ten grondslag ligt, bewaard worden, ook wanneer bepaalde personeelsleden de school verlaten. 1 Voor een gedetailleerde behandeling, zie Vanhoof & Verhaeghe, Afl. 5 december Reflectief vermogen 4 / 13

14 5_Reflectief vermogen.fm Page 78 Tuesday, November 30, :52 PM 4.5 Plan en implementeer acties Verklaringen die betrekking hebben op processen op het niveau van de klas of de school monden idealiter uit in schoolontwikkelings- of verbeterinitiatieven. Vanaf dit punt is de rol van de schoolfeedback zoals in vorige secties voorgesteld, uitgespeeld. Ze komt opnieuw in beeld van zodra men de effecten van die initiatieven op de output bij de leerlingen wil gaan vaststellen (zie ook 4.2). 4.6 Evalueer het gebruik van de feedback Soms ontwikkelt het gebruik van schoolfeedback zich in een andere richting dan men zich oorspronkelijk vooropgesteld had. Een reflectie daarover kan toekomstige gebruik ten goede komen. Heeft men de feedback vooral aangewend om de eigen kijk op functioneren en output van de school te verruimen en te verdiepen? Heeft men ze aangewend als startpunt voor verbeteringsinitiatieven? Of eerder als middel tot onderbouwing, verdediging of verantwoording? (En ten aanzien van wie dan?) Zo n reflectie veronderstelt in de eerste plaats een terugkoppeling aan de doelstellingen die met betrekking tot het feedbackgebruik vooropgesteld werden (zie 4.2). Maar het is ook aangewezen aandacht te geven aan: wenselijke en ongewenste neveneffecten; de ervaringen die men opdeed met de wijze waarop de feedback gebruikt werd en de voorwaarden die men daaruit kan afleiden om dat gebruik in de toekomst effectiever of efficiënter te laten verlopen; de feedback waaraan men in de toekomst behoefte heeft (aard en thema). 5 Besluit en nabeschouwing Outputgerichte schoolfeedback kan een waardevol element vormen in het realiseren van een informatierijke omgeving die het beleidvoerend vermogen van scholen helpt versterken. De complexiteit van de werkelijkheid waarover feedback verstrekt wordt, maakt dat dit soort feedback nooit eenvoudig zal zijn. De gerapporteerde cijfers, tabellen en grafieken moeten met de nodige aandacht, kritische zin en voorzichtigheid bekeken worden. Gezien de focus op de output zal men er geen directe aanwijzingen in vinden voor de bijsturing van de processen die mede tot die output leiden. Wel kan zulke feedback scholen helpen de eigen output beter in perspectief te plaatsen, d.w.z. in relatie tot wat de leerlingen vanuit hun achtergrond en de plaatselijke context inbrengen en in relatie tot wat andere scholen in gelijkaardige posities realiseren. Dat geeft scholen een betere kijk op waar ze staan. Dat is niet alleen nuttig voor het 5. Reflectief vermogen 4 / 14 Afl. 5 december 2010

15 5_Reflectief vermogen.fm Page 79 Tuesday, November 30, :52 PM opsporen van de eigen tekorten maar ook voor het herkennen van de eigen sterktes. Het spreekt vanzelf dat de complexe schoolrealiteit nooit volledig in enkele cijfers of grafieken gevat kan worden. Informatie uit andere bronnen, cijfermatig of meer kwalitatief-beschrijvend, moet het beeld vervolledigen. In deze bijdrage werd het begrip output uitsluitend in termen van toetsresultaten ingevuld. Maar schoolfeedbacksystemen bieden in principe de mogelijkheid om ook andere output (aspecten van welbevinden, van sociale cohesie) of fenomenen waarvoor scholen ook een preventietaak hebben (geweld, pesten ) in beeld te brengen en ook op die vlakken het schoolbeleid te ondersteunen. Bibliografie VANHOOF, J. en VERHAEGHE, G., Stappenplan voor het gebruik van de SiBO-schoolfeedbackrapporten, VERHAEGHE, J.P., Knipperlichten bij de spiegel. Kritische voorwaarden voor een schoolfeedbacksysteem, Impuls, 2008, 38 (4), VERHAEGHE, J.P. en VAN DAMME, J., School performance feedback in Vlaanderen, een schets op basis op van een projectvoorstel, Informatie vernieuwing onderwijs (IVO), 2006, 27 (103), Afl. 5 december Reflectief vermogen 4 / 15