Proceskwaliteit onderzocht op peutercentrum De Blokkendoos

Transcriptie

1 Proceskwaliteit onderzocht op peutercentrum De Blokkendoos Dr. Lotte Henrichs Centrum voor Onderwijs en Leren, Onderwijsadvies & Training Universiteit Utrecht m.m.v. Imara van Zantwijk en Judith Schmidt

2 Centrum voor Onderwijs en Leren Onderwijsadvies & Training Inhoudsopgave Hoofdstuk 1 2 Aanleiding voor het onderzoek Onderzoeksvragen 2 Hoofdstuk 2 4 Methode Participanten in het onderzoek Procedure Observeren van proceskwaliteit Meten van woordenschat 5 Hoofdstuk 3 6 Resultaten Resultaat onderzoeksvragen 1 en Resultaat onderzoeksvraag Resultaat onderzoeksvraag 4 8 Hoofdstuk 4 10 Conclusie 10 Geraadpleegde literatuur 11

3 Hoofdstuk 1 Aanleiding voor het onderzoek Peutercentrum De Blokkendoos is sinds begin van schooljaar 2014/2015 met een pilot waarin twee wijzigingen ten opzichte van de eerdere werkwijze worden uitgeprobeerd. Ten eerste is besloten tot een groepsindeling waarbij doelgroepkinderen en nietdoelgroep kinderen samen in één groep zitten, zogenaamde gemengde groepen. Gemengde groepen zijn een betere afspiegeling van de wijk waarin het peutercentrum staat (de Rivierenbuurt) dan groepen waarin louter doelgroep kinderen of nietdoelgroepkinderen zijn opgenomen. Ten tweede is een ochtend op de Blokkendoos uitgebreid van 2,5 uur naar 3,5 uur, en komen doelgroepkinderen een extra dagdeel terug voor extra herhaling van het aanbod. Naast deze pilot met de gemengde groepen en extra tijd, investeert de leiding van de Blokkendoos ook op het niveau van de pedagogisch medewerkers (voorts PM er) in kwaliteit. Een van de PM ers volgt de in-company opleiding Jonge kind expert aan de Hogeschool Utrecht, en alle PM ers nemen deel aan lerende netwerken in het kader van het project Nu voor Later. De pedagogisch medewerkers en de gebiedsmanager van Spelenderwijs zijn enthousiast over de pilot en geven aan positieve effecten op de kinderen waar te nemen. Spelenderwijs wil dit gevoel graag objectiveren. De vraag aan het Centrum voor Onderwijs en Leren van de Universiteit Utrecht richt zich daarmee op het in kaart brengen van de kwaliteit van het huidige aanbod aan de kinderen van de Blokkendoos, en op het terugkoppelen van deze bevindingen aan de betrokken pedagogisch medewerkers. Met kwaliteit van het aanbod wordt in het huidige onderzoek gedoeld op de proceskwaliteit: de kwaliteit van de interacties tussen pedagogisch medewerkers en kinderen. De kwaliteit van bijvoorbeeld materialen of inrichting wordt in het huidige onderzoek buiten beschouwing gelaten. Naast de proceskwaliteit op de groepen, wordt ook de woordenschat van de kinderen in kaart gebracht, alsmede informatie verzameld over hun thuisomgeving, om de kinderen op de Blokkendoos te kunnen vergelijken met kinderen op andere peutercentra van Spelenderwijs (hiervan zijn reeds data beschikbaar vanuit het VVE Utrecht onderzoek). 1.1 Adviesaanvraag 1. De huidige kwaliteit van het aanbod in kaart te brengen middels observatieinstrument CLASS. 2. De bevindingen genoemd onder 1. terug te koppelen aan de pedagogisch medewerkers in een individueel coachingsgesprek en observatieverslag. 3. Herhaling van de onder 1. Genoemde observaties om te bekijken of de coachingsgesprekken effect hebben gesorteerd 4. Een vergelijking te maken met de CLASS scores van andere Spelenderwijslocaties die tussen 2012 en 2014 participeerden in het VVE Utrecht Onderzoek 5. In kaart brengen van de woordenschat en achtergrondvariabelen van de kinderen op de Blokkendoos, en deze te matchen aan / vergelijken met de scores binnen de VVE Utrecht onderzoeksgroep Onderzoeksvragen Op basis van de adviesvraag zijn onderstaande onderzoeksvragen geformuleerd. 1. Hoe kan de proceskwaliteit op de groepen van de Blokkendoos worden gekarakteriseerd? 2. Is er sprake van een verschil in proceskwaliteit tussen observatie 1 (zomer 2015) en observatie 2 (najaar 2015)? 2

4 3. Hoe verhoudt zich de proceskwaliteit tijdens observatie 2 tot de proceskwaliteit die op onderzoekslocaties van het VVE Utrecht onderzoek is vastgesteld? 4. Is er een verschil in woordenschatscore tussen doelgroepkinderen op de Blokkendoos en de doelgroepkinderen uit het VVE Utrecht onderzoek? 3

5 Hoofdstuk 2 Methode In dit hoofdstuk wordt de gevolgde onderzoeksmethode uiteengezet. 2.1 Participanten in het onderzoek In het onderzoek participeerden a) de vier pedagogisch medewerkers op de Blokkendoos, werkzaam in de twee groepen en b)37 kinderen (16 meisjes, 21 jongens). Er is een selectie gemaakt van kinderen die tenminste een half jaar aanbod op de Blokkendoos hebben gehad. Van de 37 kinderen die aan het onderzoek meededen, waren 22 kinderen zogenaamde doelgroepkinderen. Zij hebben een indicatie voor VVE gekregen. De ouders van de kinderen vulden een vragenlijst in waarin werd gevraagd naar opleidingsniveau, geboorteland van de ouders, en de talen die thuis gesproken worden. Deze vragenlijst is ook gebruikt in het VVE Utrecht onderzoek (Henrichs & Leseman, in voorbereiding), wat als referentie-onderzoek wordt gebruikt voor het huidige ondezoek. De vragenlijstgegevens laten zien dat de doelgroep kinderen op de Blokkendoos sterk vergelijkbaar waren met de kinderen uit het VVE Utrecht onderzoek. 2.2 Procedure De pedagogisch medewerkers op de Blokkendoos zijn 2 keer geobserveerd, met gebruikmaking van het instrument CLASS (zie 2.3). De observaties vonden plaats in juni 2015 en in december Tussen de twee observaties zat dus een periode van 6 maanden. Na elke observatie werd met de pedagogisch medewerkers besproken wat die ochtend was geobserveerd. Ook ontvingen de pedagogisch medewerkers een schriftelijk verslag, waar hun scores in de vorm van tops (midden-hoge tot hoge scores) en tips (midden of laag-midden scores) werden toegelicht. De kinderen werden getest op woordenschat (zie 2.4). Het afnemen van de taak vond plaats tijdens een ochtend of middag op de Blokkendoos. Veertien van de deelnemende kinderen waren doorgestroomd naar de basisschool tussen de twee observaties die voor het onderzoek werden uitgevoerd in. Met deze scholen werd contact gelegd, en werd toestemming gevraagd om de kinderen tijdens schooltijd een kwartiertje uit de klas te kunnen halen om de woordenschattaak uit te voeren. Alle scholen gingen hiermee akkoord. Bij twee kinderen kon de woordenschat niet worden afgenomen. Deze kinderen waren te zeer afgeleid, waardoor hun scores niet als betrouwbaar konden worden gezien. Het betrof één doelgroepkind en één niet-doelgroepkind. De ouders van alle kinderen gaven expliciete schriftelijke toestemming voor deelname aan het onderzoek. Ook vulden zij een vragenlijst in, soms met hulp van een van de pedagogisch medewerkers, waarnaar gevraagd werd naar enkele belangrijke achtergrondvariabelen zoals thuistaal en opleidingsniveau van de ouders. Deze achtergrondvariabelen waren nodig om ene betrouwbare vergelijking te kunnen maken met de kinderen uit het VVE Utrecht onderzoek (zie onderzoeksvraag 4). 2.3 Observeren van proceskwaliteit De proceskwaliteit word gemeten met de peutervariant van de Classroom Assessment Scoring System (CLASS). Het instrument is door onderzoekers van de Universiteit Utrecht in samenwerking met de Amerikaanse auteurs van CLASS vertaald in het Nederlands (Pianta, La Paro, Hamre, 2008; Slot, Leseman, Mulder & Verhagen 2010). De peutervariant van CLASS splitst het brede begrip proceskwaliteit op in twee domeinen: Emotionele Ondersteuning en Educatieve Ondersteuning. De onderzoeker observeert aan de hand van CLASS vier keer 20 minuten. In principe worden alle activiteiten geobserveerd, zolang ze representatief zijn voor een gewone ochtend op de groep. Een groep krijgt een gemiddelde score toegekend voor elke kwaliteitsdimensie, gebaseerd op de vier observaties van één ochtend. Daarmee wordt dus de kwaliteit 4

6 beoordeeld die de pedagogisch medewerkers gezamenlijk bieden. De score moet de ervaring van het gemiddelde kind representeren (dus niet alleen doelgroepkinderen). Incidenten worden in de regel niet te zwaar gewogen. Op deze manier wordt met CLASS geprobeerd een voor de groep zo representatief mogelijke score te rapporteren. Een onderzoeker kent scores toe op een schaal van 1 tot 7. Scores 1 en 2 worden volgens het model van CLASS gekenmerkt als zijnde laag, scores 3 tot en met 5 worden gekenmerkt als de midden-range en scores 6 en 7 worden gekenmerkt als zijnde hoog. Een lage score betekent dat de te observeren gedragsmarkeerders (bijvoorbeeld responsief reageren op kinderen) nooit tot zelden gezien zijn, of dat er sprake was van veel gemiste kansen binnen de cyclus van 20 minuten. Een middenscore betekent dat de te scoren gedragsmarkeerder enkele keren gezien is, maar niet consequent. Binnen de middenrange kan de onderzoeker een nuancering maken tussen laag-midden en midden-hoge scores. Een midden-hoog score is bijvoorbeeld van toepassing als de te scoren gedragsmarkeerder vaker wel dan niet gezien werd, zij het net niet consequent genoeg om in de hoge range te scoren. Een hoge score betekent dat de te observeren gedragsmarkeerder zeer vaak tot consequent gezien is tijdens de observatiecyclus. 2.4 Meten van woordenschat De woordenschat van de kinderen is gemeten met een woordenschattest voor receptieve woordenschat. Deze test is een verkorte versie van de Peabody Picture Vocabulary Test (Veen et al. 2014). Tijdens afname krijgt een kind op een computerscherm een plaatje te zien zoals is weergegeven in Figuur 1. Vervolgens krijgt het kind de vraag waar is [doelwoord]. In het geval van Figuur 1 waar is hond?. Het kind kan volstaan met aanwijzen van het juiste woord. Er worden 28 afbeeldingen gepresenteerd (25 voor 3- jarigen), een afname duurt ongeveer 10 minuten per kind. Deze taak heeft in onderzoek in het verleden laten zien een goed te differentiëren tussen kinderen. Kinderen vinden de taak meestal leuk om te doen, en ervaren deze als een zoekspelletje. De onderzoeker geeft uitsluitend positieve feedback, ook als niet naar het juiste plaatje wordt gewezen. Hulp bieden is niet toegestaan. Na afloop van de taak mogen kinderen altijd een stickertje uitkiezen. 5

7 Figuur 1: Oefenitem uit de woordenschattest Hoofdstuk 3 Resultaten In dit hoofdstuk wordt een antwoord gegeven op de gestelde onderzoeksvragen. 3.1 Resultaat onderzoeksvragen 1 en 2 In figuur 2 worden de scores voor proceskwaliteit weergegeven, op respectievelijk observatie 1 en observatie 2. Met deze gegevens kunnen wij onderzoeksvragen 1 en 2 beantwoorden. 1. Hoe kan de proceskwaliteit op de groepen van de Blokkendoos worden gekarakteriseerd? 2. Is er sprake van een verschil in proceskwaliteit tussen observatie 1 (zomer 2015) en observatie 2 (najaar 2015)? Figuur 2: CLASS scores op emotionele en educatieve domein ,19 6,25 6,38 5,38 5,00 4,50 5,50 5, Groep A Groep B 1 0 Observatie 1 Observatie 2 Observatie 1 Observatie 2 Emotionele Ondersteuning Educatieve Ondersteuning 6

8 Alle scores zijn te kenmerken als midden-hoog. Uit figuur 2 blijkt dat groep B gegroeid is naar hogere scores tijdens de tweede observatie. Groep A behoudt vergelijkbare scores, maar scoorde dan ook al hoog tijdens de eerste observatie. Voor emotionele ondersteuning scoren beide groepen tussen de 5 en de 6. Een score van 5 kan gekenmerkt worden als een midden-hoge score, een score van 6 als een hoge score. Een hoge score betekent dat de interacties die binnen het domein horen consequent plaatsvinden. Een midden-hoge score betekent dat deze interactie verschillende keren zijn geobserveerd, maar niet consequent. Binnen het domein emotionele ondersteuning vallen de volgende dimensies: sfeer op de groep, sensitiviteit van de pedagogisch medewerker, aandacht voor kindperspectief en reguleren van gedrag. De hoge score betekent concreet dat er op beide groepen op de Blokkendoos zeer veel positieve interacties plaatsvinden. Er wordt regelmatig gelachen, er is fysieke en verbale affectie zichtbaar, de pedagogisch medewerkers zijn sensitief voor de behoeften van de kinderen en ze volgen de kinderen regelmatig in hun interesse. Er is aandacht voor verantwoordelijkheid, waarmee de autonomie van de kinderen wordt vergroot. De scores op het educatieve domein zijn voor alle observaties te kenmerken als midden - hoog. Dit betekent dat interacties die onder dit domein vallen regelmatig voorkomen. Hierbij moet gedacht worden aan het introduceren van nieuwe woorden of concepten, het ondersteunen van deze nieuwe concepten met bestaande kennis, met voorwerpen, en koppelingen naar het dagelijks leven van de kinderen. Er wordt regelmatig feedback gegeven die gericht is op het proces, in plaats van op een product. De vragen die worden gesteld zijn een mix van gesloten kennisvragen en open vragen die kinderen uitnodigen om te redeneren en zelf met ideeën te komen. Uit de grafiek in figuur 2 blijkt dat beide groepen groei laten zien tussen de twee verschillende observaties. Groep A scoort een half punt hoger tijdens de tweede observatie, groep B zelfs bijna een heel punt (0.8 punt). Groep had dan ook iets meer ruimte voor groei, doordat de score van het educatieve domein tijdens de eerste observatie iets lager was. Tijdens de tweede observatie scoren de twee groepen vrijwel gelijk. 3.2 Resultaat onderzoeksvraag 3 Onderzoeksvragen 3 en 4 luidden als volgt: 3. Hoe verhoudt zich de proceskwaliteit tijdens observatie 2 tot de proceskwaliteit die op onderzoekslocaties van het VVE Utrecht onderzoek is vastgesteld? 4. Is er een verschil in woordenschatscore tussen doelgroepkinderen op de Blokkendoos en de doelgroepkinderen uit het VVE Utrecht onderzoek? In Figuur 3 staan de proceskwaliteit scores van de Blokkendoos (gemiddeld over de twee groepen) afgezet tegen de scores van verschillende groepen die participeerden in het Utrechtse actie-onderzoek (Henrichs & Leseman, in voorbereiding) 7

9 Figuur 3: Class scores onderzoekslocaties actieonderzoek afgezet tegen Blokkendoos scores Gemiddelde actie-onderzoek op T3 (N=15) Gemiddelde actie-onderzoek Follow up Blokkendoos (gemiddelde 2 groepen) Binnen het actieonderzoek werd op een aantal locaties in een periode van drie jaar de proceskwaliteit vastgesteld. In de grafiek staan de observaties van T3 (najaar 2013) en de Follow up (najaar 2015) weergegeven. In de periode tussen deze twee observaties is er door Spelenderwijs op verschillende manieren ingezet op professionalisering van de pedagogische medewerkers. In de grafiek is dan ook te zien dat er tijdens de Follow up aanzienlijk hogere scores gevonden werden dan op T3 (het derde meetmoment van het actieonderzoek. Het valt buiten de strekking van dit onderzoeksrapport om nader op deze resultaten in te gaan. Hier is het van belang, om de Blokkendoos resultaten te vergelijken met de resultaten uit het actie-onderzoek, om zo antwoord te geven op onderzoeksvraag 3. We zien dat de Blokkendoos aanzienlijk hoger scoort dan de actieonderzoeklocaties wanneer we een vergelijking met de scores op T3 maken. Vergelijken we met de scores op Follow up (dus, na aanzienlijke investering in het verhogen van proceskwaliteit middels professionalisering) dan zien we dat de Blokkendoos op de meeste dimensies een zeer vergelijkbaar resultaat behaalt. Voor de dimensies Aandacht voor kindperspectief en Begeleiden van gedrag geldt zelfs dat de Blokkendoos hoger scoort dan de actie-onderzoeklocaties tijdens de follow-up (zie voor overwegingen hierbij straks conclusies). 3.3 Resultaat onderzoeksvraag 4 Onderzoeksvraag 4 luidde als volgt: Is er een verschil in woordenschatscore tussen doelgroepkinderen op de Blokkendoos en de doelgroepkinderen uit het VVE Utrecht onderzoek? In Figuur 4 staan de woordenschatscores afgebeeld van respectievelijk de kinderen uit het VVE Utrecht onderzoek, de doelgroep kinderen van de Blokkendoos, en de niet-doelgroepkinderen van de Blokkendoos. We zien dat de niet-doelgroepkinderen de hoogste score behalen (59,64 % van de items goed), gevolgd door de scores van de doelgroepkinderen op de Blokkendoos (46,72 % goed). De kinderen waarmee we de Blokkendooskinderen vergelijken, de kinderen die in 2013 deelnamen aan het Utrechtse actie-onderzoek, scoren gemiddeld het laagst met 38,57% goed. 8

10 Statistische analyse 1 laat zien dat de gevonden verschillen niet aan toeval gewijd kunnen worden. De verschillen tussen de drie groepen zijn dus significant. Figuur 4: De woordenschatscores van de drie onderscheiden groepen 70 Woordenschatscore (% goed) 60 64, , , VVE Utrecht Pre (n=70) Blokkendoos_Doelgroep (n=22) Blokkendoos_niet doelgroep (n=12) In aanvulling op de onderzoeksvragen is nog extra gekeken naar de woordenschatscores van niet doelgroep kinderen uit ander onderzoek (PreCool 2 ). In het PreCool onderzoek waren de kinderen die deze test maakten echter aanzienlijk ouder: gemiddeld 4 jaar en 8 maanden, waar de niet-doelgroep kinderen in dit onderzoek gemiddeld 3 jaar en 8 maanden waren. De niet doelgroep kinderen uit het PreCool onderzoek, die dus een jaar ouder waren, scoorden op deze woordenschat-test gemiddeld 76,86 (met een standaardafwijking van 12,51). Een echte statistische vergelijking maken is niet mogelijk, vanwege het leeftijdsverschil, maar er lijkt geen reden te zijn om aan te nemen dat de niet-doelgroep kinderen op de Blokkendoos lager scoren dan nietdoelgroep kinderen uit PreCOOL die op niet gemengde voorzieningen zitten. 1 Omdat er van tevoren gerichte hypothesen waren gesteld (Blokkendoos niet-doelgroep > Blokkendoos doelgroep > actie-onderzoek), is een ANOVA met geplande contrasten uitgevoerd. De varianties tussen de groepen zijn gelijk. Statistische gegevens van de geplande contrasten zijn voor VVE Utrecht / Blokkendoos doelgroep: t(101)=5,01, p<.01 en voor Blokkendoos_Doelgroep / Blokkendoos_niet doelgroep: t(101)=3,45, p <.01 2 De niet-doelgroep kinderen uit het PreCool onderzoek zijn voor wat betreft opleidingsniveau van ouders en etniciteit vergelijkbaar met de niet-doelgroep kinderen van de Blokkendoos. 9

11 Hoofdstuk 4 Conclusie Naar aanleiding van dit onderzoek kunnen we stellen dat Peutercentrum De Blokkendoos in Utrecht een good practice locatie is. De pedagogisch medewerkers laten zeer sterke interactievaardigheden zien, wat resulteert in hoge proceskwaliteit. Daarbij laten de pedagogisch medewerkers ook zien te profiteren van professionalisering; hun scores groeiden nog extra in de loop van het onderzoek een periode waarin zij aan verschillende professionaliseringsactiviteiten deelnamen: Zij participeerden in een lerend netwerk van het professionaliseringsproject Nu voor Later 3, volgden masterclasses, enkelen deden de HBO module jonge kind expert, en zij kregen in het kader van dit onderzoek persoonlijke feedback. De behaalde scores zijn hoog te noemen, ook in vergelijking met internationaal onderzoek (Bijvoorbeeld Burchinal et al 2010). De analyses met betrekking tot de woordenschat van de kinderen ondersteunen de bevinding uit het Utrechtse actie-onderzoek dat een sterke educatieve ondersteuning positief samenhangt met de ontwikkeling van woordenschat (Henrichs & Leseman, in voorbereiding). De resultaten moeten om methodologische redenen met voorzichtigheid worden geïnterpreteerd, maar geven aanleiding tot optimisme. De doelgroepkinderen op de Blokkendoos, waar hoge proceskwaliteit is geobserveerd, laten aanzienlijk hogere scores zien dan de doelgroep kinderen uit het Utrechtse actie-onderzoek. In veel van de groepen uit het Utrechtse actie-onderzoek werd aanzienlijk lager gescoord op educatieve ondersteuning. Daarbij werden er geen aanwijzingen gevonden dat de niet-doelgroep kinderen benadeeld zouden worden: hun woordenschatscore lijkt vergelijkbaar te zijn met de woordenschat score van kinderen op niet gemengde voorzieningen. Concluderend kan worden gesteld dat de pilot maatregelen op de Blokkendoos (extra tijd, gemengde groepen, en investeringen in de professionaliteit van de pedagogisch medewerkers) een positieve uitwerking hebben gehad. De extra tijd stelt pedagogisch medewerkers beter in staat te differentiëren tussen kinderen met verschillende ontwikkelingsniveaus een kenmerkend gegeven voor gemengde groepen. Doordat de ochtend of middag iets langer duurt kunnen er extra begeleide ontwikkelingsstimulerende activiteiten ingepland worden in kleine groepen, voor kinderen die meer ondersteuning nodig hebben dan anderen. Deze activiteiten hebben aangetoond positieve effecten op de ontwikkeling van taal- en rekenvaardigheden van jonge kinderen (De Haan, Leseman & Elbers 2013). Daarbij geven de pedagogisch medewerkers aan dat er meer rust is ontstaan om kinderen te ondersteunen in hun autonomie: Omdat er minder tijdsdruk is om alle ontwikkelingsactiviteiten in een korte ochtend te vatten, mogen activiteiten meer tijd in beslag nemen, en kunnen kinderen beter een eigen rol krijgen in alles wat er op de groep gebeurt. Door de investeringen in professionaliteit zijn de pedagogisch medewerkers zich sterk bewust van hun eigen handelen, en zijn ze in staat van en met elkaar te leren. Zij herkennen de verschillende ontwikkelingsniveaus die door het mengen van de groep ontstaan, en zij kunnen hierop inspelen. Op de Blokkendoos wordt een hoge mate van educatieve ondersteuning gecombineerd met bijzonder veel plezier

12 Geraadpleegde literatuur Burchinal, M., Vandergrift, N., Pianta, R., & Mashburn, A. (2010). Threshold analysis of association between child care quality and child outcomes for low-income children in pre-kindergarten programs. Early Childhood Research Quarterly, 25(2), de Haan, A., Elbers, E., Hoofs, H., & Leseman, P. (2013). Targeted versus mixed preschools and kindergartens: effects of class composition and teacher-managed activities on disadvantaged children's emergent academic skills.school Effectiveness and School Improvement, 24(2), Pianta, R. C., La Paro, K. M., & Hamre, B. K. (2008). Classroom Assessment Scoring System: Manual toddler. Baltimore: Paul H. Brookes Slot, P., Leseman, P.P.M., Mulder, H. & Verhagen, J. (2010) Classroom Assessment Scoring System. Nederlandse handleiding CLASS toddler. Niet gepubliceerd document, Universiteit Utrecht. Veen, A., Veen, I. van der, Heurter, A.M.H., Ledoux, Mulder, L., Paas, Leseman, P., Mulder, H., Verhagen, J., Slot, P. (2014). Pre-COOL cohortonderzoek Technisch rapport tweejarigencohort tweede meting Amsterdam: Kohnstamm Instituut (Rapport 913, projectnummer 20379). 11