Managementsamenvatting evaluatieonderzoek De Nieuwste School

Transcriptie

1 ESoE Evaluatie De Nieuwste School 1 Managementsamenvatting evaluatieonderzoek De Nieuwste School Maart 2012 Dr. Maaike Koopman Prof. dr. Douwe Beijaard Inleiding Van september 2010 tot februari 2012 heeft een grootschalig evaluatieonderzoek op De Nieuwste School (DNS) plaatsgevonden. Dit onderzoek is uitgevoerd in opdracht van de Ons Middelbaar Onderwijs door de Eindhoven School of Education. Het onderzoek bestond uit een vooronderzoek, waarin het expliciteren van de ambities van DNS en het in kaart brengen van de instroomkenmerken van leerlingen centraal stonden, en een hoofdonderzoek, waarin is gekeken naar de meerwaarde van en de maatschappelijke behoefte aan het onderwijs van DNS. Het hoofdonderzoek had de volgende twee doelstellingen: (1) Het in kaart brengen van het werk- en leefklimaat, de kenmerken van de leeromgeving, het leerproces en de leerresultaten, zodat een beeld ontstaat van de sterke en zwakke kanten van het onderwijs op DNS (meerwaarde). (2) Het in kaart brengen van de belangrijkste motieven die een rol spelen bij het ontstaan van en kiezen voor een vernieuwingsschool als DNS, zodat inzicht wordt verkregen in de maatschappelijke behoefte aan het onderwijs zoals gegeven op DNS (maatschappelijke behoefte). Om deze doelen te bereiken, is een vijftal onderzoeksvragen vastgesteld: 1. Wat zijn de sterke en zwakke punten van het werk- en leefklimaat op DNS? 2. Wat zijn de sterke en zwakke punten van de manier waarop de leeromgeving is ingericht en hoe leerlingen op DNS worden begeleid bij het leren? 3. Wat zijn de sterke en zwakke punten van het leerproces van leerlingen op DNS? 4. Hoe manifesteren leerresultaten, in termen van ontwikkelde competenties, persoonlijke kwaliteiten en examenresultaten, zich bij leerlingen uit verschillende leerjaren van DNS? 5. Wat zijn voor betrokkenen de belangrijkste motieven om te kiezen voor een vernieuwende school als DNS en in hoeverre heeft DNS initiatieven genomen om draagvlak te creëren voor het onderwijsconcept? Opzet en uitvoering van het onderzoek Het hoofdonderzoek is tot stand gekomen op basis van de opdracht van OMO en de resultaten van het vooronderzoek. Deze vormden het uitgangspunt voor het uitvoeren van een literatuurstudie, waarmee is gezorgd voor het definiëren en theoretisch onderbouwen van de belangrijkste concepten uit het onderzoek. Deze concepten waren werk- en leefklimaat (in termen van welbevinden en de mate waarin sprake is van een professionele leergemeenschap), kenmerken van de leeromgeving (in termen van inhoud en organisatie en van begeleiding), leerproces (in termen van motivatie, cognitieve en metacognitieve leeractiviteiten), leerresultaten (handelingsgericht en cognitief) en motieven en opvattingen over onderwijs gerelateerd aan het sociaal constructivisme. In deze literatuurstudie is tevens aandacht besteed aan mogelijke instrumenten voor het in kaart brengen van de concepten.

2 2 ESoE Evaluatie De Nieuwste School De concepten zijn vervolgens op DNS onderzocht door middel van het combineren van kwalitatieve en kwantitatieve methoden en technieken, zoals vragenlijsten, interviews, observaties en analyse van gegevens omtrent leerresultaten. Met betrekking tot de gebruikte vragenlijsten is er steeds voor gekozen om een bestaande vragenlijst in te zetten, zodat een vergelijking mogelijk was met referentiescholen waarop de vragenlijst eerder was ingezet. Zo konden de resultaten van DNS worden afgezet tegen resultaten gevonden bij vergelijkbare groepen deelnemers. Het onderzoek kende verschillende typen deelnemers. Voor het deel van het onderzoek met betrekking tot de meerwaarde van DNS waren dat leerlingen, docenten, de schoolleiding en oud-leerlingen en hun docenten in het vervolgonderwijs. Voor het deel van het onderzoek met betrekking tot de maatschappelijke behoefte waren dat experts op het gebied van sociaal-constructivisme, ouders (van DNS en een meer traditionele referentieschool), directeuren van andere OMO-scholen en de schoolleiding van DNS. Belangrijkste resultaten en conclusies De belangrijkste resultaten per onderzoeksvraag worden hieronder samengevat. Tot slot wordt nog de bijzondere positie van vmbo-t in vergelijking met havo en vwo toegelicht. 1. Wat zijn de sterke en zwakke punten van het werk- en leefklimaat op DNS? Met het oog op het welbevinden kan er onderscheid worden gemaakt tussen het welbevinden, ofwel de tevredenheid, van docenten en leerlingen over het onderwijs en het welbevinden ten aanzien van het werken op DNS. Met betrekking tot het onderwijs moet worden geconcludeerd dat het welbevinden van zowel leerlingen als docenten op hoofdlijnen in orde is. Leerlingen percipiëren in behoorlijk sterke mate de aanwezigheid van bepaalde kenmerken van een leeromgeving die in verband staan met tevredenheid. Deze kenmerken zijn voor een deel vrij algemeen (en worden dus ook voor meer traditioneel onderwijs wenselijk geacht) en voor een deel meer specifiek gerelateerd aan de sociaalconstructivistische insteek van scholen als DNS (zoals samenwerkend leren of onderzoek doen). DNS doet het ten aanzien van de meeste gemeten kenmerken beter dan referentiescholen. Leerlingen op DNS ervaren bijvoorbeeld veel ondersteuning door de docent en constateren veel samenhang in de groep leerlingen. Bijna alle leerlingen zijn bovendien tevreden over het onderwijs en de lessen op DNS. Docenten bevestigen het beeld dat door leerlingen wordt geschetst: ook zij zijn op hoofdlijnen tevreden over het onderwijs dat op DNS wordt gegeven. Ze constateren dat de school door de jaren heen een ontwikkeling heeft doorgemaakt en dat er meer realisme is ontstaan. Wat winst valt volgens hen te nog behalen op het gebied van het verder intrinsiek motiveren van leerlingen in de bovenbouw, wat ten goede zou komen aan actieve betrokkenheid tijdens lessen en het als relevant beoordelen van opdachten. Met het oog op het aanwezig zijn van een leergemeenschap van docenten en schoolleiding, ofwel het welbevinden ten aanzien van het werken op DNS, is het beeld iets minder positief te noemen. Docenten ervaren weliswaar veel afwisseling en leermogelijkheden in hun werk, zijn betrokken en hebben over het algemeen een goede relatie met collega s. Echter, de werkdruk wordt als hoog ervaren en men is relatief ontevreden over de organisatie van het werk. Een aantal kenmerken van professionele leergemeenschappen is op DNS, in vergelijking met referentiescholen, meer of ongeveer evenveel aanwezig. DNS scoort bijvoorbeeld gunstig op het gebied van actief reflectief en kritisch kennis (re)construeren en er is een ondersteunende cultuur van leren aanwezig op de school. Vergelijkbare scores (ten opzichte van referentiescholen) zijn gevonden op het gebied van de aanwezigheid van gedeelde waarden en een gedeelde visie op leren en op collectief leren en gedeelde praktijken. In vergelijking met referentiescholen is er op DNS relatief weinig sprake van ondersteunende condities als bronnen, structuren en systemen en ondersteunend, stimulerend en gedeeld leiderschap. De gevonden verschillen zijn echter klein (binnen één standaarddeviatie). Vooral docenten die langer op DNS werken

3 ESoE Evaluatie De Nieuwste School 3 zijn minder tevreden over het aanwezig zijn van een leergemeenschap op de school. Docenten en schoolleiding geven aan dat er wel tamelijk veel wordt samengewerkt door personeel. Ook wordt er redelijk veel feedback gegeven aan elkaar. Het evalueren van de kwaliteit van het onderwijs en randvoorwaarden die daaraan bijdragen op de school is een punt dat aandacht verdient. 2. Wat zijn de sterke en zwakke punten van de manier waarop de leeromgeving is ingericht en hoe leerlingen op DNS worden begeleid bij het leren? Als wordt gekeken naar de percepties van docenten ten aanzien van de mate waarin bepaalde kenmerken in de leeromgeving aanwezig zijn op DNS valt op dat de leeromgeving als krachtig te typeren is. Dit geldt voor zowel voor de inhoud van het onderwijs en de manier waarop het onderwijs georganiseerd wordt als voor de manier waarop leerlingen begeleid worden. In vergelijking met referentiescholen komt DNS op het gebied van de meeste gemeten kenmerken positief uit de verf. Op basis van de observaties wordt dit beeld van de kracht van de leeromgeving bevestigd. Alle kenmerken uit het gehanteerde model van krachtige leeromgevingen waren in meer of mindere mate zichtbaar. Met betrekking tot begeleiding was wel een verschil te constateren: er werd in de geobserveerde lessen juist veel sterk gestructureerde begeleiding gegeven, terwijl dit uit de vragenlijst niet zo duidelijk naar voren kwam. De begeleidingsvormen die het meest werden gebruikt door de docenten waren de vormen die volgens het gebruikte model met kenmerken van krachtige leeromgevingen het meest krachtig zijn (inzicht bevorderen, actief ondersteunen, coachen en instructie geven). Er werd echter veel minder geëvalueerd en feedback gegeven. Het gebruik van het portfolio en leerlingen laten leren door reflecteren was in de geobserveerde lessen in mindere mate zichtbaar. Op basis van de resultaten van het vooronderzoek is er extra aandacht besteed aan de rol van coach die door een deel van de docenten wordt uitgevoerd in de bovenbouw. Leerlingen waren behoorlijk tevreden over de begeleiding die zij kregen van hun coach. Deze begeleiding is vaak gericht op de voortgang van leerlingen en het begeleiden bij de studiekeuze. Coaches begeleiden vooral het leerproces van de leerlingen en proberen aan te zetten tot reflectie en zelfsturing. Ook onderhoudt de coach contacten met ouders. De betreffende docenten waren veel minder tevreden over de manier waarop deze taken uitgevoerd dienen te worden. Vooral de geringe hoeveelheid beschikbaar gestelde tijd wordt als een probleem ervaren. 3. Wat zijn de sterke en zwakke punten van het leerproces van leerlingen op DNS? In relatie tot het leerproces van de leerlingen van DNS is gekeken naar de motivatie - in termen van doeloriëntaties - van leerlingen en de cognitieve en meta-cognitieve leeractiviteiten die zij uitvoeren. De resultaten ten aanzien van doeloriëntaties wijzen op behoorlijk sterke voorkeuren van leerlingen voor het beheersen van de leerstof, een oriëntatie die voortkomt uit intrinsieke motivatie. De voorkeuren van leerlingen voor de doelen presteren en werk vermijden, die voortkomen uit extrinsieke motivatie, liggen een stuk lager. Na vergelijking met leerlingen uit een referentiegroep valt te constateren dat de leerlingen van DNS relatief vaker intrinsiek gemotiveerd zijn, wat in theorie een gunstig effect zou moeten hebben op de leerresultaten van de leerlingen. Met betrekking tot de cognitieve leeractiviteiten van leerlingen is eveneens een positief beeld zichtbaar. Leerlingen van DNS geven in de vragenlijst daarover aan een ongeveer even sterke voorkeur te hebben voor oppervlakkige als voor diepe leeractiviteiten 1. In de praktijk lijken, zoals naar voren kwam in 1 Oppervlakkige leeractiviteiten hebben te maken met het onthouden en herhalen van leerstof en het stapsgewijs verwerken van informatie zoals die door de docent wordt aangeboden. Diepe leeractiviteiten hebben te maken met relaties leggen en structuur aanbrengen in de leerstof, met kritisch nadenken tijdens het leren en met concrete voorstellingen maken van wat je leert.

4 4 ESoE Evaluatie De Nieuwste School uitgevoerde observaties, leerlingen echter meer diepe dan oppervlakkige leeractiviteiten uit te voeren. In vergelijking met leerlingen uit een referentiegroep, hebben de leerlingen van DNS een relatief sterkere voorkeur voor diepe leeractiviteiten. Ook dit zou een gunstig effect moeten hebben op hun leerresultaten. Ten aanzien van meta-cognitieve leeractiviteiten hebben de leerlingen van DNS, op basis van analyse van resultaten van de vragenlijst, vooral een voorkeur voor externe sturing (sturing verzorgd door de docent). Ook in de observaties is dit terug te zien: leerlingen vragen bijvoorbeeld om hulp, feedback of nadere uitleg. Lagere scores zijn gevonden voor zelfsturing door de leerlingen en leerlingen hebben de minst sterke voorkeur voor een ongerichte (ofwel stuurloze) aanpak. De score van de leerlingen van DNS op zelfsturing is echter hoger dan die van leerlingen uit een referentiegroep. Wel zijn er op DNS meer leerlingen met een ongerichte aanpak dan in de referentiegroep. De zelfsturing is in de observaties vooral terug te zien in de bovenbouw en tijdens uren van de mentor of coach. Op basis van veronderstellingen over het onderwijsconcept van DNS zou men wellicht een duidelijkere prevalentie van zelfsturing ten opzichte van externe sturing verwachten. Echter lijkt er tijdens de observaties wel sprake te zijn van een soort balans: het initiatief voor het in handen leggen van de sturing bij de docent ligt namelijk meestal bij de leerling. Zij geven aan wanneer zij extra uitleg kunnen gebruiken of feedback willen hebben. Docenten springen vervolgens in op die vragen van leerlingen. Bovendien blijkt het succes van het type onderwijs dat op DNS wordt gegeven vaak sterk in verband te staan met de begeleiding die door docenten wordt gegeven. Het feit dat er op DNS sprake is van relatief veel externe sturing zou een belangrijke bijdrage kunnen leveren aan de effectiviteit van het onderwijs. 4. Hoe manifesteren leerresultaten, in termen van ontwikkelde competenties, persoonlijke kwaliteiten en examenresultaten zich bij leerlingen uit verschillende leerjaren van DNS? In relatie tot de leerresultaten van leerlingen is onderscheid gemaakt tussen handelingsgerichte leerresultaten, waarbij aandacht uitging naar ontwikkeling van door DNS vastgestelde competenties en kwaliteiten en aansluiting op het vervolgonderwijs, en cognitieve leerresultaten, waarbij aandacht uitging naar examenresultaten en rendement. Met betrekking tot de handelingsgerichte leerresultaten was een groei van competenties en kwaliteiten gedurende de schoolcarrière op DNS meetbaar. De aansluiting op het vervolgonderwijs is over het geheel genomen, volgens geïnterviewde oud-leerlingen en hun docenten in het vervolgonderwijs, goed. De oud-leerlingen hoeven weinig te wennen en constateren, vooral binnen het HBO, veel overeenkomsten in de manier van werken tussen DNS en hun huidige opleiding. De geïnterviewde docenten die hen begeleiden in het vervolgonderwijs zijn zeer tevreden over het functioneren van de oud-leerlingen van DNS en constateerden vooral aan het begin van de vervolgopleiding een voorsprong ten aanzien van het leren binnen een competentiegerichte leeromgeving en het werken aan competenties. Met betrekking tot de cognitieve leerresultaten van leerlingen is ten eerste gekeken naar de examenresultaten van leerlingen van DNS. De slagingspercentages van leerlingen van havo en vwo zijn ongeveer te vergelijken met de landelijke cijfers. Die van leerlingen van het vmbo zijn lager, maar er is wel een stijgende lijn zichtbaar. In vergelijking met andere scholen die vmbo-t aanbieden op basis van percentielscores doet DNS het ten aanzien van vmbo niet goed. Daarnaast is een vrij groot verschil te constateren tussen cijfers voor de schoolexamens en cijfers voor de centrale examens (gemiddeld groter dan 0.5 punt). Bij veel vakken scoren leerlingen hoger op de schoolexamens. Regelmatig scoorden zij gemiddeld een onvoldoende voor het centraal examen. Ook hier is echter een voorzichtig positieve ontwikkeling zichtbaar: de verschillen tussen cijfers voor schoolexamens en centrale examens lijken vooral bij havo en vwo - door de jaren heen kleiner te worden. Ten tweede is gekeken naar het rendement van DNS, in termen van doorstroom en uitval. Het onderbouwrendement van DNS is

5 ESoE Evaluatie De Nieuwste School 5 enigszins moeilijk te vergelijken met landelijke cijfers, aangezien leerlingen op DNS tot en met de derde klas niet gescheiden worden per opleidingsniveau en niet blijven zitten. Dit leidt uiteraard steeds tot een onderbouwrendement van 100 %. Er is daarom ook gekeken naar het percentage leerlingen dat in het vierde leerjaar het, op basis van het advies van de basisschool, verwachte niveau haalt. Deze cijfers zien er gunstig uit: tussen de 90 en 100 % van de leerlingen haalt het verwachte of zelfs meer dan het verwachte niveau. Het bovenbouwrendement lijkt zich, na een matige start, positief te ontwikkelen. In het afgelopen examenjaar liggen de percentages voor zowel havo als vwo hoger dan landelijk. De nietreguliere uitval van leerlingen op DNS is iets hoger dan gemiddeld. In het verleden vielen vrij veel leerlingen uit door onvrede van ouders of doordat het concept niet goed aansloot bij het gedrag van een leerling. Deze reden voor uitval neemt de laatste jaren in frequentie af. Samenvattend: meerwaarde in relatie tot referentiegroepen - Leef- en werkklimaat: o Welbevinden t.a.v. het onderwijs: leerlingen waarderen de meeste kenmerken van het onderwijs hoger dan leerlingen in de referentiegroep o Welbevinden van docenten /aanwezig zijn van een leergemeenschap: wisselend beeld (meer werkdruk, minder goed leiderschap en minder goede ondersteunende structuren; sterkere cultuur van leren en meer collectief leren) - Kenmerken van de leeromgeving: krachtiger leeromgeving dan referentiescholen - Leerproces: o Meer gerichtheid op intrinsieke doelen dan leerlingen in de referentiegroep o Meer diepe leeractiviteiten dan leerlingen in de referentiegroep o Meer zelfsturing dan in de referentiegroep - Leerresultaten: o Handelingsgericht: de geïnterviewde docenten uit het vervolgonderwijs zijn (zeer) tevreden over het niveau van de betreffende oud-leerlingen van DNS o Cognitief: slagingspercentages voor havo en vwo zijn te vergelijken met landelijke cijfers maar die van het vmbo zijn lager (de percentielscores voor vmbo zijn laag maar wel is er sprake van een licht stijgende lijn); het verschil tussen de cijfers voor SE en CE is relatief groot (maar lijkt af te nemen); het onderbouwrendement is in orde, dat van de bovenbouw heeft zich positief ontwikkeld en is nu vergelijkbaar of hoger dan landelijk; de uitval is iets hoger dan landelijk, maar is wel afgenomen 5. Wat zijn voor betrokkenen de belangrijkste motieven om te kiezen voor een vernieuwende school als DNS en in hoeverre heeft DNS initiatieven genomen om draagvlak te creëren voor het onderwijsconcept? Aansluitend op de mening die de geïnterviewde experts zijn toegedaan, kiezen ouders met behoorlijk specifieke motieven voor DNS. Ze kiezen voornamelijk voor de school vanwege het onderwijsconcept dat gehanteerd wordt of omdat de school bij het kind past. Andere redenen om voor DNS te kiezen zijn de sfeer en de kleinschaligheid van de school en de gedachte dat DNS leerlingen goed voorbereidt op de manier van werken in het vervolgonderwijs. De geïnterviewde ouders hebben een overwegend leerlinggerichte visie op onderwijs. DNS voldoet volgens de meeste ouders aan deze verwachtingen. De onderwijsconcepties van de ouders van DNS over onderwijs verschillen bovendien significant van die van ouders van een referentieschool. De opvattingen van de ouders van DNS zijn namelijk sterker leerlinggericht en minder leerstofgericht dan die van ouders van de meer traditionele school waarmee zij zijn vergeleken. Er is daarmee sprake van een te onderscheiden groep ouders die leerlingen naar DNS stuurt. Met betrekking tot de taak die DNS heeft op het gebied van het uitdragen van het onderwijsconcept zegt de school zelf, na een periode waarin de school wat meer op de achtergrond is gebleven, hernieuwde

6 6 ESoE Evaluatie De Nieuwste School initiatieven te nemen. Men zou graag willen dat er, ook bij andere scholen, meer oog ontstaat voor de behoeften van individuele leerlingen. Er zijn verschillende aanpakken voor het uitdragen van het concept voor verschillende partijen zoals het basisonderwijs, het voortgezet onderwijs en het vervolgonderwijs. Richting het voortgezet onderwijs wordt er informatie gedeeld met allerlei scholen, bijvoorbeeld doordat zij op bezoek komen op DNS of door meer structurele samenwerking met scholen die, net als DNS, aangesloten zijn bij het Platform voor Eigentijds Onderwijs (Pleion). Ondanks dat de belangstelling voor DNS weer wat lijkt aan te trekken, worden er weinig gerichte vragen aan de school gesteld. De school heeft zelf echter de indruk dat er vooral belangstelling is voor de manier waarop het mentoraat wordt ingevuld, het onderzoeken door de leerlingen en de manier waarop de school leerlingen motiveert. Enkele scholen lijken iets van DNS overgenomen te hebben, maar dit is niet op grote schaal gebeurd tot nu toe. Ook zoekt DNS een vaste samenwerkingspartner binnen OMO, zodat er geprofiteerd kan worden van meer schaalgrootte en er kruisbestuiving tussen de scholen kan plaatsvinden. De geïnterviewde directeuren van andere OMO-scholen bevestigen dat DNS wat naar de achtergrond is verdwenen. Zij zouden echter graag zien dat de school met de resultaten van de experimenteerjaren naar buiten treedt. Wellicht is het concept moeilijk één-op-één te vertalen naar andere scholen, maar er is wel enige belangstelling onder directeuren om bepaalde vragen bij de school neer te leggen. Opvallend is de mate waarin het onderwijsconcept de geïnterviewde directeuren aanspreekt. De meeste elementen uit het onderwijs van DNS worden in meer of mindere mate interessant gevonden door de meeste directeuren. Op veel van de scholen zijn, maar dan meestal in delen van het onderwijs, vergelijkbare elementen zichtbaar. Zo worden er op sommige scholen vergelijkbare projecten gedaan of is een manier van werken zichtbaar die lijkt op die van DNS in een aantal lesuren per week of binnen een bepaalde afdeling van de school. Een deel van de directeuren zou dit eventueel willen uitbreiden, maar het is vaak moeilijk om het docententeam mee te krijgen of om dergelijke veranderingen op een bestaande school door te voeren. Het onderwijsconcept van DNS (of een vergelijkbare manier van werken) in zijn geheel invoeren, wordt meestal niet wenselijk of mogelijk geacht door de directeuren. De positie van vmbo-t binnen de school verdient hier extra aandacht. De vmbo-leerlingen onderscheiden zich op een aantal gebieden negatief van de leerlingen van havo en vwo. Ter eerste ervaren zij dat een aantal kenmerken, gerelateerd aan welbevinden, in mindere mate aanwezig is dan andere leerlingen. Ten tweede hebben zij een relatief lagere voorkeur voor diepe leeractiviteiten en hebben zij relatief vaker een ongerichte meta-cognitieve aanpak. Ten derde, constateren zij dat, op het gebied van de aansluiting op het vervolgonderwijs, de kenmerken van het onderwijs van DNS vaak slechts in delen van het MBO zijn terug te zien. Ten vierde is het slagingspercentage van vmbo-leerlingen lager dan landelijk en zijn er meer onvoldoendes voor het centraal examen. Hetzelfde geldt voor het bovenbouwrendement. Het lijkt erop dat vmbo-leerlingen, ten opzichte van havisten en vwo ers, een te onderscheiden groep zijn, die het wat minder goed doet op DNS. Het is daarom het overwegen waard om na te denken over een meer specifieke manier van onderwijs aanbieden en begeleiden voor vmboleerlingen dan nu het geval is. Een advies zou kunnen zijn om te gaan kijken naar vmbo-scholen die, eventueel binnen andere leerwegen, bezig zijn met competentiegericht onderwijs, hetgeen enigszins te vergelijken is met de manier van werken op DNS. Samenvattend: maatschappelijke behoefte in relatie tot referentiegroepen - Onderwijsconcepties: opvattingen van ouders van DNS verschillen van die van ouders van een meer traditionele referentieschool en zijn meer leerlinggericht en minder leerstofgericht Indien u een overzicht wilt hebben van de belangrijkste sterke en zwakke punten van het onderwijs op DNS, verwijzen wij u naar de tabellen 6.1 t/m 6.5 van de volledige rapportage over het hoofdonderzoek.