Offerte evaluatie VoorleesExpress

Transcriptie

1 Offerte evaluatie VoorleesExpress Contactgegevens: Erasmus Universiteit Rotterdam, Department of Psychology, Education and Child Studies Prof. Dr. Roel van Steensel, kamer T13-44 Postbus 1738, 3000 DR Rotterdam Telefoon:

2 Inhoud 1/Offerteverzoek /Eerder onderzoek /Onderzoeksdoelen /Onderzoeksopzet... 5 Design/steekproef... 5 Instrumenten... 6 Procedure en planning /Rapportage /CV hoofdaanvrager /Begroting... Fout! Bladwijzer niet gedefinieerd. Referenties... 8

3 1/Offerteverzoek VoorleesExpress en Stichting Lezen hebben de Erasmus Universiteit om een offerte verzocht voor een evaluatie-onderzoek, dat antwoord moet geven op deze onderzoeksvragen: 1-In hoeverre beïnvloedt VoorleesExpress de taal-/leesontwikkeling van kinderen? 2-In hoeverre beïnvloedt VoorleesExpress ouderbetrokkenheid bij de taal-/leesontwikkeling van kinderen? 3-In hoeverre beïnvloedt VoorleesExpress de taal-/leesomgeving in het gezin? 4-Hoe ontwikkelt de taal-/leesomgeving in deelnemende gezinnen zich na VoorleesExpress-deelname? 5-Heeft VoorleesExpress een langetermijneffect op de taal-/leesontwikkeling? Deze offerte is geschreven m.m.v. Stichting Hoedje van Papier, uitvoerder van VoorleesExpress in Rotterdam en samenwerkingspartner van de Erasmus Universiteit. 2/Eerder onderzoek VoorleesExpress beoogt voorleesgedrag en -attitudes van ouders van kinderen met (het risico op) een taalachterstand te bevorderen en taalaanbod/leescultuur in de gezinnen van deze kinderen te stimuleren. VoorleesExpress maakt gebruik van vrijwilligers die in gezinnen stimulerend voorleesgedrag modelleren. Naar verwachting hebben veranderingen in het aanbod in gezinnen een positief effect op leesmotivatie, leesgedrag en leesvaardigheid van kinderen, zoals hieronder weergegeven: Er zijn verschillende (scriptie-)onderzoeken uitgevoerd naar VoorleesExpress (Joppe/2012; Ruiter/2012; Ter Beest/2013; Van Buuren/2010). De meest recente studie is van De Vries e.a. (2015), die in Amsterdam programma-effecten onderzochten op de woordenschat van kinderen, hun leesattitude, voorleesgedrag van ouders, de kwaliteit van voorleesinteracties en de taalomgeving. De onderzoekers vergeleken 53 VoorleesExpress-gezinnen met 26 controlegezinnen en observeerden het volgende: Op receptieve noch productieve woordenschat waren er hoofdeffecten van VoorleesExpressdeelname. Bij directe nameting waren er wel positieve deelname-effecten op productieve woordenschat voor oudere kinderen (6-8) en taalvaardigere kinderen. Bij de retentiemeting was er een positief deelname-effect voor kinderen van wie de ouders na VoorleesExpress-deelname nog steeds voorlazen. Eerder geconstateerde effecten voor oudere/meer taalvaardige kinderen ontbraken. Kinderen bleken bij directe nameting niet meer leesplezier te hebben en ook niet vaker/langer te lezen. Ze vroegen wel vaker om voorgelezen te worden, hoewel dit effect bij de retentiemeting ontbrak.

4 Voorleesgedrag van ouders bleek na interventie niet veranderd. Kinderen bleken bij de directe nameting wel meer vragen te stellen tijdens het voorlezen; dat effect ontbrak bij de retentiemeting. VoorleesExpress-gezinnen bezochten na interventie vaker de bibliotheek en gebruikten vaker digitale prentenboeken. Deze verschillen bleken ook bij de retentiemeting aanwezig. Er zijn dus indicaties dat VoorleesExpress bepaalde effecten sorteert, maar er lijkt ook ruimte voor verbetering. Tegelijkertijd zijn er bij bijv. het onderzoek van De Vries e.a. kanttekeningen te plaatsen. Allereerst was de steekproef, gegeven de effectgrootten die o.b.v. meta-analyses naar voorleesinterventies mogen worden verwachten (zie verder), mogelijk te klein om effecten robuust te kunnen vaststellen. Daarnaast zijn sommige variabelen beperkt geoperationaliseerd. Zo is taalvaardigheid alleen gemeten met woordenschattaken. Verder is de kwaliteit van voorleesinteracties vastgesteld met vragenlijsten; er kunnen vraagtekens worden geplaatst bij de validiteit van zo n benadering. Bovendien is onduidelijk hoe de controlegroep precies is samengesteld. Internationaal is veel onderzoek gedaan naar de effecten van zogenaamde family literacy -programma s (FLP s). Veel effectstudies zijn samengevat in meta-analyses. O.b.v. een overzichtsstudie van metaanalyses constateerden Van Steensel e.a. (2012) dat FLP s gemiddeld genomen effectief zijn, maar dat er tegelijkertijd veel variatie is in effecten. In verschillende meta-analyses is meer specifiek gekeken naar de effecten van voorleesprogramma s. Mol e.a. (2008), bijvoorbeeld, vatten effectstudies naar het Amerikaanse Dialogic Reading-programma samen. Zij constateerden dat het programma i.h.a. positieve effecten sorteert, maar juist voor kinderen in risicosituaties geen effecten laat zien. Van Steensel e.a. (2011) voerden eveneens een meta-analyse uit, waarbij ze keken naar een grotere variëteit aan FLP s. De onderzoekers constateerden dat alleen programma s waarin voorlezen werd gecombineerd met andere stimulerende activiteiten een significant positief effect op geletterdheid lieten zien (hoewel klein in statistische termen). Het REAL-programma (Hirst/2010), dat zich exclusief richt op kwetsbare doelgroepen (w.o. anderstaligen) en, zoals VE, werkt met huisbezoeken, bouwt voort op het idee dat het belangrijk is om een breder perspectief op de geletterde thuisomgeving in te nemen en bijvoorbeeld ook gebruik te maken van activiteiten die ouders zelf al met kinderen uitvoeren. Dat gebeurt via het ORIM-raamwerk, dat bestaat uit vier componenten: Opportunities (ouders bieden kinderen gelegenheid tot interactie met schriftelijk materiaal), Recognition (ouders erkennen de verrichtingen van het kind), Interaction (ouders en kinderen interacteren rond allerlei schriftelijk materiaal) en Models (ouders modelleren omgang met schriftelijk materiaal). Kern van het programma is dat het voortbouwt op wat ouders al doen en deze activiteiten uitbreidt. Het programma sorteert positieve effecten op de ontluikende geletterdheid van kinderen (Hirst/2010). 3/Onderzoeksdoelen O.b.v. eerdergenoemde onderzoeksvragen en bovenstaand literatuuroverzicht stellen we een evaluatie voor, waarbinnen we nagaan: 1. In hoeverre VE-deelname bijdraagt aan de taalvaardigheid van kinderen, hun (voor)leesattitudes, hun betrokkenheid bij voorleesactiviteiten en hun eigen leesgedrag (tot 20 weken na het programma). Dit doel sluit aan bij onderzoeksvragen 1/5. Hoewel

5 VoorleesExpress zich ook op jongere kinderen richt, focussen wij op kinderen in groep 1-4 (o.a. omdat het testen van jongere kinderen te instabiele resultaten oplevert). 2. In hoeverre VoorleesExpress-deelname bijdraagt aan de (voor)leesattitudes van ouders, hun opvattingen over de rol die ze spelen in de geletterde ontwikkeling van hun kind, het vertrouwen dat zij die rol ook kunnen vervullen ( parent self-efficacy ), de mate waarin ouders gezamenlijke (geletterde) activiteiten initiëren, de interactiekwaliteit tijdens zulke activiteiten en de beschikbaarheid van boeken/ander stimulerend materiaal (waaronder educatieve apps/digitale prentenboeken). Dit doel sluit aan bij onderzoeksvragen 2/3/4. Alle effecten meten we direct na afloop van het programma en op langere termijn. We willen graag nog twee doelen toevoegen: 3. De in internationaal onderzoek geconstateerde bescheiden effecten van voorleesprogramma s worden toegeschreven aan het gegeven dat het vooral voor laagopgeleide ouders/migrantenouders moeilijk kan zijn om zulke programma s optimaal uit te voeren (Manz/2010; Van Steensel/2012). Ook VoorleesExpress-vrijwilligers in Rotterdam merken dat het soms lastig is ouders actief bij het programma te betrekken. Onderzoekers pleiten daarom voor een sterkere focus in onderzoek op uitvoeringskwaliteit (De la Rie/2016; Powell/2012). We stellen dus voor om in de studie ook te kijken naar de kwaliteit van de programma-overdracht aan ouders en de mate waarin ouders zich betrokken tonen bij het programma (door Powell/2012 resp. aangeduid als delivery en receipt ). 4. Gegeven die bescheiden effecten pleiten Manz e.a. (2010) er daarnaast voor om meer aan te sluiten bij activiteiten die ouders zelf al uitvoeren. Dat principe wordt ook toegepast in eerdergenoemd REAL-programma (Hirst/2010). We willen voorstellen in de experimentele conditie elementen uit het REAL-programma/ORIM-raamwerk aan VoorleesExpress toe te voegen. 4/Onderzoeksopzet Design/steekproef Basis voor het onderzoek is een quasi-experimentele studie, met een voormeting van variabelen op kind- en ouderniveau, een nameting en retentiemeting. De experimentele groep wordt gevormd door gezinnen die worden geworven voor VE-participatie in najaar Deze gezinnen nemen deel aan een verrijkte VE-conditie (met elementen uit het ORIM-raamwerk). Voor samenstelling van de controlegroep zijn twee scenario s denkbaar, afhankelijk van de praktische mogelijkheden: De controlegroep wordt idealiter gevormd door gezinnen die op de wachtlijst staan voor VoorleesExpress in voorjaar Deze gezinnen vormen de best denkbare vergelijkingsgroep, omdat zij net als de gezinnen in de experimentele groep tot de doelgroep van VoorleesExpress behoren en gemotiveerd zijn om aan het programma mee te doen. Kanttekening: deze gezinnen kunnen in de periode tussen directe nameting en retentiemeting niet meer als controlegroep dienen, want zij doen dan mee aan VoorleesExpress. We kunnen dan alleen nagaan of de

6 experimentele groep de lijn uit de VoorleesExpress-periode voortzet (op zichzelf waardevolle informatie), maar geen zuivere vergelijking met een niet-voorleesexpress-groep meer maken. Een alternatief is een externe controlegroep samen te stellen via scholen die geen VoorleesExpress-leerlingen hebben, maar wel een groot percentage doelgroepkinderen. Bij het zoeken naar zulke scholen kan gebruik worden gemaakt van gegevens van de Onderwijsinspectie of van de SES-index van postcodegebieden van het SCP. Voor een beslissing over de steekproefgrootte hebben we een power-analyse uitgevoerd, waarbij tevoren wordt bepaald hoe groot het verwachte effect is. Hiervoor hebben we het gemiddelde genomen van de effectgrootten die in de review van Van Steensel e.a. (2012) werden gerapporteerd (ongeveer Cohen s d = 0.35). Om dit effect in een eenzijdige toets (alpha=0.05, power(1-beta)=0.80) aan te kunnen tonen, zijn in elke conditie plusminus 100 kinderen nodig (totaal: 200). We beseffen dat dit een grote steekproef is, maar willen benadrukken dat dit nodig is om effecten indien aanwezig te kunnen vaststellen. Dit betekent dat we de medewerking van meerdere VoorleesExpress-locaties nodig hebben. Stichting Hoedje van Papier (Rotterdam) ondersteunt deze aanvraag en kan als een van de onderzoekslocaties dienen. We gaan ervan uit dat we gebruik kunnen maken van de contacten van SoDa-producties om andere gemeenten te werven. Instrumenten We gebruiken instrumenten die we eerder in vergelijkbaar onderzoek hebben ontwikkeld/toegepast: Taalvaardigheid: toetsen uit de Taaltoets Alle Kinderen (behalve woordenschat ook verhaalbegrip). Deze toetsen zijn geschikt voor (taalzwakke) kinderen in groep 1-4. Ook kunnen via scholen aanvullende toetsgegevens worden verzameld (Cito). (Voor)leesgedrag en -attitudes van ouders en kinderen, parent self-efficacy, beschikbaarheid boeken/stimulerend materiaal: een combinatie van onderdelen uit bestaande vragenlijsten uit (eigen) lopend onderzoek (Boekstart/VVE-Thuis) en (vertaalde) vragenlijsten uit bijvoorbeeld het internationale PIRLS-onderzoek. Uitgangspunt is een korte, snel af te nemen vragenlijst (eventueel vertaald in een aantal veel voorkomende talen). Implementatie: een korte vragenlijst voor vrijwilligers en ouders. Aan vrijwilligers wordt o.a. gevraagd hoeveel geplande huisbezoeken zijn doorgegaan, hoezeer ouders betrokken waren tijdens huisbezoeken en welke strategieën vrijwilligers hebben gebruikt bij programmaoverdracht. Aan ouders wordt gevraagd hoe ze programmadeelname hebben ervaren. Daarnaast stellen we voor om een random selectie van 30 experimentele en controlegezinnen te vragen mee te doen aan een observatieonderzoek, waarin we voor en na VE-deelname de kwaliteit van de voorleesinteractie in kaart brengen. We kunnen hierbij gebruik maken van een bestaand, gevalideerd observatieschema (De la Rie/2016). We interviewen een selectie van vrijwilligers en ouders. De ouderinterviews worden gekoppeld aan bovengenoemde observaties (dus: 15 VE-gezinnen). We interviewen 12 vrijwilligers, aangezien uit de methodologische literatuur blijkt dat in interviewonderzoek informatieverzadiging optreedt na zo n 12 respondenten (Mason, 2010). Centraal staan vragen naar eerder genoemde begrippen receipt en enactment.

7 Procedure en planning Gezinnen worden voor onderzoeksdeelname geworven door VoorleesExpress-projectmedewerkers. Vrijwilligers zal ook worden gevraagd eerdergenoemde vragenlijst bij gezinnen af te nemen. In de controlegroep gebeurt dat door de uitvoerend onderzoeker en (anderstalige) student-assistenten. Om efficiëntieredenen zullen we taaltoetsen op scholen afnemen, die via lokale VoorleesExpressorganisaties worden benaderd (naar verwachting ongeveer 30 scholen). Ouder-kindobservaties en interviews worden uitgevoerd door de hoofdonderzoeker en student-assistenten. Nota bene: de planning is opgedeeld in twee fasen, omdat het budget voor de retentiemeting (zeer waarschijnlijk) pas in een tweede tranche ter beschikking wordt gesteld. Fase 1 Januari/februari 2017-Augustus 2017 September 2017 September 2017-januari 2018 Januari/februari 2018 Maart-juni 2018 Literatuurstudie Voorbereiding dataverzameling (instrumentselectie/-ontwikkeling) Werving gezinnen en scholen Training vrijwilligers (ORIM-raamwerk) Voormeting Interventie Nameting Verwerking/analyse/rapportage kortetermijneffecten Fase 2 Mei/juni 2018 Juli/augustus 2018 Retentiemeting Verwerking/analyse/rapportage retentiemeting 5/Rapportage De rapportage bestaat uit een publieksvriendelijke beschrijving van de uitkomsten van de effectstudie en de kwalitatieve studie, voorafgegaan door een overzicht van de literatuur over family literacyinterventies, waarbij we veelal kunnen uitgaan van de reviewstudies die (mede) door de hoofdaanvrager zijn uitgevoerd en zijn verschenen in handboeken en wetenschappelijke tijdschriften (De la Rie/2016; Van Steensel/2011; Van Steensel/2012). 6/CV hoofdaanvrager Roel van Steensel werkt aan de Erasmus Universiteit (Onderwijswetenschappen) en de Vrije Universiteit (als bijzonder hoogleraar Leesgedrag). Hij heeft veel ervaring met onderzoek naar ondersteuning van de geletterde ontwikkeling in het gezin en dan vooral in laagopgeleide/migrantengezinnen. Hij begeleidt promotieonderzoeken naar de effecten van VVE Thuis en BoekStart.

8 Referenties Buuren, K. van & Lucassen, G. (2010). Onderzoeksrapport effectiviteit van de Voorlees-Express. Utrecht: Platform VoorleesExpress. Beest, J.L. ter & Meijer, K. (2013). Invloed van de VoorleesExpress op de taalontwikkeling en de taalomgeving thuis. Een follow-upmeting na 15 maanden bij kinderen tussen 4 en 7 jaar. Universiteit Utrecht (Masterscriptie Pedagogische Wetenschappen). Hirst, K., Hannon, P., & Nutbrown, C. (2010). Effects of a preschool bilingual family literacy programme. Journal of Early Childhood Literacy, 10(2), Joppe, L.M. (2012). Gedragsverandering bij de VoorleesExpress. De expertise van voorlezers. Universiteit Utrecht (Masterscriptie Pedagogische Wetenschappen). Manz, P. H., Hughes, C., Barnabas, E., Bracaliello, C., & Ginsburg-Block, M. (2010). A descriptive review and meta-analysis of family-based emergent literacy interventions: To what extent is the research applicable to low-income, ethnic-minority or linguistically-diverse young children? Early Childhood Research Quarterly, 25, Mason, M. (2010). Sample size and saturation in PhD studies using qualitative interviews. Forum Qualitative Sozialforschung/Forum: Qualitative Social Research, 11(3). Mol, S. E., Bus, A. G., De Jong, M. T., & Smeets, D. J. H. (2008). Added value of Dialogic parent-child book readings: A meta-analysis. Early Education and Development, 19, Powell, D. R. & Carey, A. (2012). Approaches to program fidelity in family literacy research. In: B. H. Wasik (Ed.), Handbook of family literacy. Second edition. New York: Routledge. Rie, S. de la, Steensel, R. van, & Gelderen, A. van (2016). Implementation quality of family literacy programmes: A review of literature. Review of Education (online first). Rie, S. de la, Steensel, R. van, Gelderen, A. van, & Severiens, S. (2016). The role of type of activity in parent child Interactions within a Family Literacy Program: Comparing prompting boards and shared reading. Early Child Development & Care (online first). Ruiter, F.A. & Rietberg, A. (2012). De invloed van de VoorleesExpress op de taalontwikkeling en de taalomgeving thuis van kinderen tussen de vier en zeven jaar. Universiteit Utrecht (Masterscriptie Sociale Wetenschappen). Steensel, R. van, Herppich, S., McElvany, N., & Kurvers, J. (2012). How effective are family literacy programs for children s literacy skills? A review of the meta-analytic evidence. In B. H. Wasik (Ed.), Handbook of family literacy. Second edition. New York: Routledge. Steensel, R. van, McElvany, N., Kurvers, J., & Herppich, S. (2011). How effective are family literacy programs? Results of a meta-analysis. Review of Educational Research, 81, Vries, M. de, Moeken, N., & Kuiken, F. (2015). Effect van de VoorleesExpress: een onderzoek naar de effecten van de VoorleesExpress op de taalontwikkeling, de taalomgeving en het leesplezier van drie- tot achtjarigen. Amsterdam: Universiteit van Amsterdam.