Een evaluatie van Project XL

Een evaluatie van Project XL Wat is het effect van Project XL op de deelnemende leerlingen? Koen Hollander Bart Verbaan December 01 1

1. Aanleiding voor dit onderzoek De Populier is een school voor vmbo-tl, havo en vwo in de Haagse Bomenbuurt. De schoolpopulatie bestaat vooral uit leerlingen uit de directe omgeving, uit Scheveningen Duindorp en uit de wijken van de binnenstad met een allochtone achtergrond. In de jaren vóór 01 had de Populier te maken met een steeds groter wordend aantal leerlingen, voornamelijk in de onderbouw, dat het niveau niet bleek te halen. Dit ondanks positieve cito-scores en opvattingen van docenten (ook uit het basisonderwijs) dat deze leerlingen het niveau toch wel aan moesten kunnen. Veelal bleek dat leerlingen die doubleerden of een niveau lager werden geplaatst slechter gingen presteren, waardoor het risico op uitstroom juist toenam (Verbaan, 011). Om deze problematiek aan te pakken heeft dhr. Bart Verbaan, docent aardrijkskunde, in samenwerking met het schoolbestuur Project XL opgezet. Leerlingen die dreigen te doubleren of op een lager niveau te worden geplaatst, en bovendien te maken hebben met problemen thuis of daarbuiten, krijgen hierin een kans om onder begeleiding aan schoolwerk te werken. Er is voor zo n aanpak gekozen omdat dit volgens literatuur van groot belang is om risicoleerlingen (weer) te betrekken bij school. De doelstelling van dit onderzoek is dat de begeleiders van Project XL, de schooldirectie en zorgcoördinator een beter inzicht krijgen in de effecten van Project XL op de deelnemende leerlingen. Sinds het schooljaar 011-01 loopt het project en is dus sinds september het vierde jaar ingegaan. Van ieder jaar is een beknopte evaluatie gedaan, waarin de kwantitatieve resultaten zijn gebaseerd op overgang naar het volgende leerjaar, afstroom naar een lager niveau of uitstroom naar ander onderwijs: In 011-01 hebben 7 leerlingen deelgenomen, waarvan er zes zijn afgestroomd naar een lager niveau en vijf zijn uitgestroomd naar ander onderwijs. In 01-013 hebben 5 leerlingen deelgenomen, waarvan twee zijn afgestroomd naar een lager niveau, één is gedoubleerd en vier zijn uitgestroomd naar ander onderwijs. Voor het jaar 013-01 zijn nog geen cijfers paraat. Op de Populier leeft sterk het gevoel dat Project XL succesvol is: alle deelnemers waren immers kwetsbaar voor uitstroming, maar slechts een minderheid heeft de school daadwerkelijk moeten verlaten. Toch geven deze cijfers alleen geen compleet beeld van de effecten van Project XL op de leerlingen zelf. Hoe ervaren de leerlingen het project, hoe is de ontwikkeling van hun cijfers geweest tijdens deelname aan Project XL? Een dergelijke evaluatie is niet alleen nodig om de dagelijkse gang van zaken binnen Project XL te verbeteren, maar ook, voor het verkrijgen van nieuwe subsidies voor het project en, via het regionale netwerk van de zorgcoördinator, eventuele implementatie van soortgelijke projecten op andere scholen in de regio Den Haag.. Onderzoeksvragen en methoden De centrale onderzoeksvraag is als volgt: Wat zijn de resultaten van Project XL wat betreft de cijferontwikkeling (kwantitatief) en meningen en ervaringen (kwalitatief) van leerlingen die deelnemen of hebben deelgenomen aan Project XL, en wat zijn succesfactoren en potentiële verbeterpunten voor het project?

Hieruit kunnen drie deelvragen worden gegenereerd: 1. Hoe hebben de cijfers van leerlingen zich ontwikkeld tijdens hun deelname aan Project XL en hoe verhouden deze zich met de cijferontwikkeling van reguliere leerlingen?. Wat zijn de meningen en ervaringen van leerlingen die deelnemen of hebben deelgenomen aan Project XL, en hoe verhouden deze zich met de voorwaarden die in de literatuur worden genoemd? 3. Wat zijn de succesfactoren en potentiële verbeterpunten voor Project XL die voortvloeien uit deelvraag 1 en? Methode voor deelvraag 1 Om dit te onderzoeken heb ik voor deelvraag 1 een analyse gemaakt van de cijferontwikkeling en ontwikkeling van het aantal tekortpunten, waarbij zowel naar de gemiddelden is gekeken als naar de spreiding hiervan. Hiervoor is een steekproef genomen van leerlingen die in 011-01, 01-013 en 013-01 aan Project XL hebben meegedaan. Leerlingen die bijvoorbeeld korte tijd hebben meegedaan, incidenteel gekomen zijn of tijdens een schooljaar van niveau gewisseld zijn, zijn niet meegenomen in de steekproef. Sommige leerlingen binnen de steekproef hebben meerdere schooljaren geparticipeerd in Project XL. Deze leerlingen zijn ieder jaar opnieuw meegenomen als aparte case, omdat Project XL als doel heeft leerlingen over te laten gaan. Ieder jaar telt dus opnieuw voor deze leerlingen. De uiteindelijke lijst bevat de gegevens van 3 unieke leerlingen verspreid over 3 cases. Van deze cases zat 8% in een tweede klas mavohavo en 5% in een derdeklas mavo. Er zijn analyses gemaakt naar twee verschillende soorten periodes: periodes dat leerlingen achter elkaar in Project XL zitten (per schooljaar) en naar rapportperiodes. De periodes dat leerlingen in Project XL zitten, lopen niet synchroon tussen de leerlingen (leerling A stroomt al in rapportperiode 1 in, maar leerling B pas in rapportperiode 3), maar de rapportperiodes lopen wel altijd synchroon. Voor de cijfergemiddelden is ook een vergelijk gemaakt met reguliere schoolklassen van het jaar 013-01. In totaal zijn acht klassen met in totaal ca. 00 leerlingen geanalyseerd, waarbij het accent net als bij de steekproef van Project XL ligt op tweede klassen mavo/havo en derde klassen mavo. Binnen deze klassen zaten een aantal leerlingen die dat jaar ook in Project XL participeerden, maar op de totale steekproef hebben zij niet zoveel invloed. Daarnaast was het praktisch heel lastig om deze leerlingen eruit te filteren. De vergelijking bleek wat betreft het aantal tekortpunten niet mogelijk omdat deze gegevens niet via de schooladministratie beschikbaar waren. Methode voor deelvraag Voor het kwalitatieve aspect is een vragenlijst opgesteld en verspreid onder huidige deelnemers van Project XL. Oud-deelnemers die nog op school zitten zijn ook gevraagd, maar hierop is geen respons gekomen. Oud-deelnemers die niet meer op school zitten zijn om praktische reden niet meegenomen in het onderzoek. Dat betekent dat alleen 19 van de 7 deelnemers in het schooljaar 01-015 de vragenlijst hebben ingevuld. Een aantal van die 7 zijn echter net met Project XL begonnen en zijn daarom niet benaderd wegens gebrek aan ervaring. De uitkomsten dus geïnterpreteerd worden als de zienswijze van de huidige groep deelnemers aan Project XL. Het kan zijn dat dit beeld in de voorgaande jaren negatiever of positiever was. 3

De vragen in de vragenlijst gingen over zaken die in de literatuur genoemd worden als voorwaarden om risicoleerlingen (weer) bij school te betrekken. Hieruit blijkt dat dergelijke leerlingen in verhoogde mate behoefte hebben aan drie basisvoorwaarden die ieder mens nodig heeft voor zijn of haar welzijn: je gekend voelen door anderen (relatie), het gevoel hebben dat je iets kan wat ertoe doet (competentie) en je eigen lot deels kunnen bepalen (autonomie) (Deci & Ryan, 000). Wanneer de Project XL de leerlingen het gevoel geeft hieraan te voldoen, dan zal de motivatie en zelfvertrouwen in eigen kunnen en leervermogen dankzij Project XL toenemen. Darling-Hammond (006), Klem & Connell (00) en de WRR (009) noemen daarnaast ook nog het belang van een duidelijke structuur en uitdagende leerstof (ofwel leerdruk), als een vereiste. De vragenlijst bevat 5 vragen waarbij de leerlingen conform een vijfpunts Likertschaal (helemaal mee eens tot helemaal mee oneens) moesten aangeven of Project XL al dan niet voldoet aan het scheppen van de hierboven genoemde condities. De gemiddelde scores zijn vervolgens per conditie (=de drie basisvoorwaarden,, motivatie, zelfvertrouwen en structuur + leerdruk) geanalyseerd. De standaarddeviatie geeft aan in welke mate de antwoorden van het gemiddelde afwijken. 3. Resultaten Resultaten voor deelvraag 1 De gemiddelde cijfers van de steekproef van Project XL laat voor de eerste periode in Project XL een positieve stijging zien, maar dit stagneert de daaropvolgende. De spreidingsanalyse laat hetzelfde beeld zien voor de 50% van de cases die het dichtst bij de mediaan zitten. De scores liggen echter wel steeds verder uit elkaar. De gegevens zijn weergegeven in Figuur 1 en. Figuur 1 6,5 6, 6,3 6, 6,1 6,0 5,9 5,8 5,7 5,6 5,5 Ontwikkeling gemiddelde cijfer naar perioden bij Project XL schooljaar 011-01, 01-013, 013-01 Periode vóór XL Periode 1 bij XL Periode bij XL Periode 3 bij XL Periode bij XL

Figuur 7, 7,0 6,8 6,6 6, 6, 6,0 5,8 5,6 5, 5, 5,0,8 Ontwikkeling spreiding gemiddelde cijfer naar perioden bij Project XL schooljaar 011-01, 01-013, 013-01 Periode vóór XL Periode 1 bij XL Periode bij XL Periode 3 bij XL Periode bij XL Tevens is voor de ontwikkeling van het cijfergemiddelde voor de steekproef van Project XL afgezet tegen de cijferontwikkeling van reguliere schoolklassen. Hierbij is de vergelijking gemaakt naar rapportperioden. Waar bij de reguliere schoolklassen tijdens het schooljaar de gemiddelde cijfers dalen, laat de steekproef van Project XL juist een stijging van het gemiddelde cijfer zien. Zie Figuur 3. Figuur 3 6,90 6,70 Ontwikkeling gemiddelde cijfer naar rapportperioden 6,50 6,30 6,10 5,90 5,70 Project XL (schooljaar 011-01, 01-013, 013-01) Reguliere klassen (schooljaar 013-01) 5,50 R1 R R3 R Ook is gekeken naar het aantal tekortpunten. Het gemiddelde aantal tekortpunten van de Project XL-steekproef laat een duidelijke daling zien vanaf het moment dat leerlingen instromen. Dit loopt licht op naarmate leerlingen langer aan Project XL meedoen, maar blijft duidelijk lager dan hun periode vóór instroom. De spreidingsanalyse laat ook hier echter zien dat de scores per leerling ver uit elkaar blijven liggen. Eén leerling heeft in zijn/haar vierde periode bij Project XL zelfs 17 tekortpunten. Dit kan beschouwd worden als een extreme outlier. Zie Figuur en 5. 5

Figuur 6 Ontwikkeling tekortpunten naar perioden bij Project XL schooljaar 011-01, 01-013, 013-01 5 3 1 0 Periode vóór XL Periode 1 bij XL Periode bij XL Periode 3 bij XL Periode bij XL Figuur 5 18 16 1 1 10 8 6 0 Ontwikkeling spreiding tekortpunten naar perioden bij Project XL schooljaar 011-01, 01-013, 013-01 Periode vóór XL Periode 1 bij XL Periode bij XL Periode 3 bij XL Periode bij XL Ondanks het feit dat de cijfers per rapportperioden voor de reguliere schoolklassen niet beschikbaar is, is een dergelijke analyse naar rapportperioden toch uitgevoerd voor de steekproef van Project XL. Deze analyse laat in rapportperiode een stijging zien ten opzichte van rapportperiode 1. Blijkbaar denken leerlingen in rapportperiode het makkelijkst over deze zaken. Daarna is gelukkig sprake van een dalende trend. In rapportperiode is het aantal tekortpunten het laagst, precies wanneer het telt voor de overgang. Zie Figuur 6. Figuur 6 6 Ontwikkeling tekortpunten naar rapportperioden bij Project XL schooljaar 011-01, 01-013, 013-01 5 3 1 0 R1 R R3 R 6

Resultaten voor deelvraag De leerlingen zijn bijna unaniem erg tevreden over Project XL, op alle vlakken die zijn onderzocht. Het meest tevreden zijn ze met de drie basisvoorwaarden, en dan vooral met de autonomie die hen geboden wordt. De standaarddeviatie hier bovendien het laagst van allemaal, wat aangeeft dat écht lage scores van 1 of nauwelijks voorkomen. Bij de open vragen wordt vaak aangegeven dat de begeleiders aardig, lief en behulpzaam zijn. Zie Figuur 8. Ook wordt volgende de leerlingen veel structuur en leerdruk geboden. De leerlingen worden altijd gecontroleerd op het maken van hun huiswerk en overhoord als dat nodig is. Eén leerling gaf aan dat de begeleiders van project XL een mooi evenwicht bieden: leerlingen die het goed doen krijgen wat meer vrijheid en verantwoordelijkheid dan anderen. De moeilijkheid van de vragen bij overhoringen wordt enigszins laag ingeschat en de leerlingen zijn van mening dat de begeleiders niet heel streng zijn wanneer de leerlingen zich niet aan de regels houden. Zie Figuur 8. De mate waarin leerlingen zelfvertrouwen krijgen in hun eigen kunnen dankzij Project XL is hoog, maar hierin zit wel de meeste spreiding. De algemene motivatie van de leerlingen voor Project XL scoort (met 3,7 op maximaal 5) het laagst van allemaal maar is feitelijk nog steeds erg hoog. Dit is uiteraard ook logisch: niemand zit écht uit vrije wil bij Project XL. Zie Figuur 7. Figuur 7 5 Score van Project XL op vier vlakken 3 St.dev. 1 0 Relatie, autonomie en competentie Structuur en leerdruk Zelfvertrouwen Algemene motivatie. Succes- en verbeterpunten De laatste deelvraag luidt : Wat zijn de succesfactoren en potentiële verbeterpunten voor Project XL die voortvloeien uit deelvraag 1 en? Hiervoor is dus geen apart onderzoeksinstrument of data-analyse gebruikt. De uitkomsten kunnen dus direct benoemd worden. Uit deelvraag 1 blijkt dat de succesfactor m vooral zit in het terugbrengen van het aantal tekortpunten en in mindere mate in het verbeteren van het gemiddelde cijfer. Ten opzichte van reguliere schoolklassen blijkt dat ook de cijferontwikkeling zeer gunstig is. Uit deelvraag blijkt Project XL op alle de uit de literatuur genoemde zaken goed te scoren. De grootste succesfactor is echter dat de begeleiders van Project XL het gevoel geven erbij te horen (relatie), dat ze goed zijn in hun schoolwerk (competentie) en ze zelf dingen ook laten bepalen (autonomie Waar een verbeterslag plaats zou moeten vinden is in de spreiding van de resultaten. Het blijkt dat ondanks deelname aan Project XL, de gemiddelde cijfers en tekortpunten voor de 7

deelnemers gedurende deelname aan project XL toch veel uiteen blijven lopen. Het is goed om na te denken over methoden om meer leerlingen te bereiken. Op basis van de vragenlijst is het lastig om verbeterpunten te noemen. Kleine tips zijn: meer aandacht voor het stellen van moeilijke inhoudelijke vragen en meer consequenties verbinden aan het niet houden aan de regels. Literatuur Ryan, R.M. & E.L. Deci (000), Self-Determination Theory and the Facilitation of Intrinsic Motivation, Social Development, and Well-Being. American Psychologist, vol. 55, no. 1, pp. 68-78 Klem, A.M. & J.P. Connell (00), Relationships Matter: Linking Teacher Support to Student Engagement and Achievement. Journal of School Health, vol. 7, no. 7, pp. 6-73 Darling-Hammond, L. P. Ross & M. Milliken (006), High School Size, Organization, and Content: What Matters for Student Success? Brookings Papers on Education Policy, pp. 163-03 Verbaan, B.M. (011), Schooluitval, problemen en oplossingen. Afstroom en uitstroom op de Populier. Den Haag: interne beleidsnotitie Christelijk College de Populier WRR (009), Vertrouwen in de School, Over de Uitval van Overbelaste Jongeren. Den Haag: Wetenschappelijke Raad voor het Regeringsbeleid. 8