Het effect van digitaal oefenen en ouderbetrokkenheid op taal- en rekenprestaties van leerlingen in het voortgezet onderwijs

Transcriptie

1 NRO-onderzoek Het effect van digitaal oefenen en ouderbetrokkenheid op taal- en rekenprestaties van leerlingen in het voortgezet onderwijs September 2015 Carla Haelermans Joris Ghysels TIER Universiteit Maastricht

2 Inhoudsopgave Voorwoord 4 Samenvatting 5 Inleiding 5 Het experiment en de interventie 5 Methode 6 Oefengedrag van de leerlingen in onderzoeksperiode 1 7 Resultaten van de eerste oefenperiode 8 Conclusies met betrekking tot de eerste oefenperiode 9 Onderzoeksperiode 2 9 Oefengedrag van de leerlingen periode 2 10 Resultaten periode 2 10 Conclusies en beschouwingen totaal Inleiding 12 Achtergrond 12 Literatuurstudie 12 Onderzoeksdoel en onderzoeksvragen 13 Onderzoeksopzet 13 Leeswijzer Het experiment 15 Muiswerk op de deelnemende scholen 15 Het experiment 15 Deel Gegevens en methoden 21 Gegevensbronnen 21 Leerlinggegevens 21 Testresultaten en testkenmerken 23 Muiswerk oefengegevens 30 Muismeter 44 Ouderenquête 47 Vergelijkbaarheid van de groepen 51 Onderzoeksmethoden Effecten van oefenen met Muiswerk voor rekenen en wiskunde 56 T-toetsen 56 Meervoudige regressies (IV-analyse) 59 Verklaring oefengedrag Effecten van oefenen met Muiswerk voor taal 71 2

3 T-toetsen 71 Meervoudige regressies (IV-analyse) 76 Verklaring oefengedrag Effecten van Muismeter Ouderbetrokkenheid Conclusies deel Deel Algemene inleiding deel Gegevens 110 Testresultaten en testkenmerken 110 Muiswerk oefengegevens 117 Muismeter 130 Leerlingenquête Effecten van oefenen met Muiswerk voor rekenen en wiskunde 138 T-toetsen 138 Meervoudige regressies (IV-analyse) 142 Verklaring oefengedrag Effecten van oefenen met Muiswerk voor taal 153 T-toetsen 153 Meervoudige regressies (IV-analyse) 158 Verklaring oefengedrag Conclusies deel Conclusies en beschouwingen totaal 169 Referenties 170 3

4 Voorwoord Het taal- en rekenbeleid van scholen in het voortgezet onderwijs staat de laatste jaren in toenemende belangstelling. Over enkele jaren worden de exameneisen verzwaard, waarbij iedere leerling verplicht voldoende moet scoren op taal en rekenen. Er zijn zowel bij de overheid als bij de scholen zelf zorgen geuit over het huidige niveau taal en rekenen van voortgezet onderwijs leerlingen. Derhalve hebben veel scholen ingezet op een specifiek taal- en rekenbeleid, om het niveau van de leerlingen op peil te brengen. Dit rapport gaat in op het gebruik van het programma Muiswerk, als specifieke manier om meer in te zetten op het oefenen met taal en rekenen voor de leerlingen. Muiswerk wordt door vele scholen gebruikt om de leerlingen te testen en te laten oefenen. Eerder onderzoek naar Muiswerk bij het Dendron College wees uit dat Muiswerk effectief is voor rekenen bij brugklasleerlingen. In datzelfde onderzoek kon geen effect worden aangetoond voor taal, omdat er per onderdeel van taal te weinig geoefend was. Een tweede onderzoek bij Dendron College liet zien dat Muiswerk wel degelijk effectief is voor de taalonderdelen spelling en woordkennis voor brugklasleerlingen. Dit rapport beschrijft een onderzoek dat de eerdere twee onderzoeken uitbreidde, zowel in de domeinen die onderzocht werden, als in het aantal deelnemende scholen en deelnemende leerjaren. Het onderzoek is uitgevoerd onder de leerlingen van leerjaren 1 tot en met 3 op drie scholen in Noord-Limburg, namelijk het Dendron College, het Valuascollege en Het College Weert, locatie Cranendonck (in dit rapport eenvoudigweg Cranendonck genoemd). Dit rapport bevat de belangrijkste resultaten en tabellen. Er bestaat daarnaast een externe bijlage waarin statistieken per school gepresenteerd worden, die teveel waren voor de versie die nu voor u ligt. Deze bijlage is op te vragen bij de auteurs van dit rapport. Bij de totstandkoming van dit rapport hebben we van veel kanten hulp gekregen. In de eerste plaats willen we NRO bedanken voor de financiering van het onderzoek. Verder willen we de deelnemende scholen bedankten, en dan met name onze contactpersonen. Zonder hun open houding en welwillendheid was dit onderzoek nooit van de grond gekomen. Ook willen we Theo Schijf en Bram van Tongeren van Muiswerk bedanken voor de medewerking en de snelheid waarmee de verzoeken om data verwerkt werden. Daarnaast willen we ook Freek Weeda bedanken voor zijn medewerking aan het onderzoek. Carla Haelermans en Joris Ghysels TIER Universiteit Maastricht september 15 4

5 Samenvatting Inleiding Het taal- en rekenniveau van veel leerlingen in Nederland is niet op niveau. Daarom wordt er een verplichte centrale rekentoets ingevoerd bij het eindexamen vanaf 2014/2015 en wordt het nieuwe centraal examen Nederlands ingevoerd vanaf 2014/2015. Om die reden zijn scholen op zoek gegaan naar manieren om het taal- en rekenniveau van hun leerlingen te verhogen tot tenminste de vereiste referentieniveaus. Één van de manieren waarop scholen hier actief mee aan de slag gaan, is met een ICT-tool, zoals Muiswerk. Er is echter nog weinig wetenschappelijk bewijs dat een methode als Muiswerk daadwerkelijk bijdraagt aan het verhogen van het taal- en rekenniveau en aan het halen van de referentieniveaus. Daarnaast is het de vraag of de effecten eventueel verschillend zijn voor differentiële groepen van leerlingen. Ook is er nog weinig bekend over het effect van een app als Muismeter op het gedrag van ouders en het leerproces van leerlingen. Dit onderzoek heeft twee doelen: 1) het causale effect onderzoeken van gedifferentieerde IT-tools zoals Muiswerk op taal- en rekenprestaties in de onderbouw van het voortgezet onderwijs, en 2) het causale effect onderzoeken van ouderbetrokkenheid op het oefengedrag van leerlingen en op het oefenen met Muiswerk op de taal- en rekenprestaties van leerlingen. Daartoe zijn de volgende onderzoekvragen geformuleerd: i. Wat is het effect van oefenen met Muiswerk op taal- en rekenprestaties van leerlingen in de onderbouw (leerjaar 1 t/m 3) van het voortgezet onderwijs? a. Zijn er differentiële effecten voor vmbo en havo/vwo leerlingen? ii. Wat is het effect van Muismeter (de app voor ouders om het oefengedrag van hun kind(eren) bij te houden) op het oefengedrag van leerlingen, en daarmee op taal- en rekenprestaties van leerlingen in de onderbouw van het voortgezet onderwijs? iii. Wat is de correlatie tussen ouderkenmerken (bv. opleiding, leeftijd, persoonlijke inschatting van ouderlijke verantwoordelijkheid in het leerproces) en het gebruik van Muismeter? Het experiment en de interventie Het experiment in het schooljaar 2014/2015 richt zich op alle domeinen van zowel rekenen als taal (Nederlands) die opgenomen zijn in Muiswerk. Het onderzoek heeft betrekking op alle leerlingen uit leerjaren 1, 2 en 3 van het Valuascollege in Venlo, het Dendron College in Horst en Het College in Weert, locatie Cranendonck (in dit rapport eenvoudigweg Cranendonck genoemd). Laatstgenoemde doet alleen mee met het onderdeel taal. Er is gekozen voor een onderzoeksopzet waarbij de helft van de leerlingen gedurende de periode september 2015 tot (en met) januari 2015 oefende met de ene helft van de oefeningen (zowel rekenen als taal), terwijl de andere helft van de leerlingen kon oefenen met de overige oefeningen. De leerlingen die met de ene set oefeningen oefenden hadden expliciet géén toegang tot de oefeningen van de andere set in de online omgeving, en vice versa. Na januari werd omgedraaid met welke oefeningen de leerling wel en niet kon oefenen, om ervoor te zorgen dat iedere leerling aan het einde van het jaar met alle onderdelen had kunnen oefenen. Daarmee onderscheidt dit onderzoek zich van veel recent onderzoek naar de effectiviteit van ICTtools, dat zich toespitst op het selectief gebruik van oefenprogramma s voor remediërings- 5

6 doeleinden. In dat onderzoek (en veel scholen) krijgt enkel een geselecteerde groep leerlingen voor een bepaalde periode toegang tot het programma en wordt deze groep geacht een achterstand in te lopen. In het voorliggende onderzoek gaat het echter om een veralgemeend gebruik van een ICTtool. Alle leerlingen krijgen een toegangscode en worden uitgenodigd om thuis een uur per week te oefenen met de online tool, een half uur voor rekenen en een half uur voor taal (Nederlands). Het gebruik op school is beperkt. Docenten mogen hun leerlingen stimuleren om Muiswerk te gebruiken, maar gebruiken Muiswerk niet in hun lessen. Dat zou ook niet makkelijk zijn, omdat elke leerling een individueel traject doorloopt dat gestuurd wordt door haar of zijn prestaties tijdens het oefenen en door regelmatige toetsjes (die dan weer wel op school plaatsvinden). Het experiment toetst met andere woorden het effect van een relatief vrijblijvend huiswerkaanbod aan leerlingen. Het is vrijblijvend omdat leerlingen er geen rapportcijfers voor krijgen en docenten er meestal niet mee werken tijdens hun lessen. Het is echter niet helemaal vrijblijvend, omdat docenten leerlingen wel vragen er tijd aan te besteden en leerlingen (kunnen) beseffen dat ze er onrechtstreeks ook beter van kunnen worden, bv. door rekenvaardigheden beter in de vingers te hebben. Eerder onderzoek bij brugklassers gaf aan dat met name de houding van de docent een groot verschil kan maken en leerlingen erg kan stimuleren om wekelijks oefenminuten te maken. In eerder Muiswerkonderzoek was de rol van ouders nog niet belicht, terwijl ruimer huiswerkonderzoek aangeeft dat ouders een natuurlijke rol hebben in de motivatie voor huiswerk. Daarom liep gedurende het eerste half jaar tegelijkertijd een experiment naar de toegang tot en het gebruik van Muismeter, een app waarmee ouders het oefengedrag en de prestaties van hun kind kunnen bekijken. Van de helft van de ouders werd de toegang tot Muismeter afgesloten, de andere helft hield toegang. Alle ouders werden vervolgens aangemoedigd de app te downloaden en eenmaal per week te gebruiken. Ouders kwamen er pas bij het inloggen achter tot welke groep ze behoorden, en of ze daadwerkelijk toegang hadden of niet. Na januari konden alle ouders de app gebruiken. Natuurlijk wilde het onderzoek het concept ouderbetrokkenheid niet beperken tot het al dan niet gebruiken van een app. Daarom is in het eerste half jaar een enquête uitgezet onder ouders, om meer inzicht te krijgen in allerlei aspecten van hun betrokkenheid op het schoolproces. Verder is er in de tweede helft van het jaar een enquête uitgezet onder leerlingen, om meer inzicht te krijgen in het Muiswerkgebruik, hun houding ten opzichte van Muiswerk en hoe ze aankijken tegen de betrokkenheid van ouders en leerkrachten in hun leerproces. Methode Het effect wordt onderzocht met een eenvoudige T-toets en meervoudige regressies, waarbij we rekening kunnen houden met de leerlingen die niet geoefend hebben, terwijl ze wel toegang hadden tot dat bepaalde onderdeel van Muiswerk. 6

7 Oefengedrag van de leerlingen in onderzoeksperiode 1 Leerlingen kregen toegang tot één oefenset en konden dus niet oefenen met de andere set oefeningen, omdat deze oefeningen voor hen afgesloten waren. Dat garandeert overigens niet dat leerlingen ook effectief aan de slag gingen. Leerlingen konden er evengoed voor kiezen niet te oefenen, ook als ze wel toegang hadden. Er zijn daardoor drie groepen voor zowel de ene als voor de andere set oefeningen: 1) de leerlingen die toegang hadden en ook geoefend hebben, 2) de leerlingen die geen toegang hadden en dus ook niet geoefend hebben, en 3) de leerlingen die wel toegang hadden maar toch niet geoefend hebben. Leerlingen die niet geoefend hebben terwijl ze dit wel mochten (15% van de leerlingen), hebben (ten dele) andere kenmerken dan de leerlingen die zich wel aan de indeling hebben gehouden. Ze zijn vaker van het mannelijk geslacht, hebben een relatief lage citoscore (einde basisonderwijs), zitten vaker in de derde klas, wonen minder vaak bij hun beide ouders en zijn leerlingen van het Dendron college. Met elk van deze kenmerken zullen we in verdere analyses rekening houden. Ook bij leerlingen die Muiswerk gebruiken, geldt dat de ene leerling meer oefent dan de andere en dat leerlingen keuzes maken met betrekking tot de oefendomeinen waarin ze actief zijn. Qua oefendomeinen, is in oefengroep 1 vooral geoefend in de domeinen getallen (rekenen) en grammatica (taal), terwijl de aandacht in oefengroep 2 eerder ging naar spelling (taal) en meten en meetkunde (rekenen). De keuze voor deze domeinen komt overeen met eerder onderzoek over het huiswerkgedrag van leerlingen in het voortgezet onderwijs. Dat liet zien dat leerlingen pas echt aandacht en zorg besteden aan huiswerk als ze het gevoel hebben dat ze tegelijk baat kunnen hebben bij de opdrachten (nuttig) en niet door de opdrachten overvraagd zullen worden (haalbaar). Blijkbaar worden algemeen genomen de domeinen verbanden en verhoudingen (voor rekenen) en begrijpend lezen en formuleren (voor taal) als moeilijker en/of minder nuttig beschouwd. Eerder basale domeinen als spelling en getallen behoren niet toevallig tot de meest gekozen oefendomeinen. Hoe deze verklaring opgaat voor het succes van het domein grammatica is niet meteen duidelijk. Gemiddeld genomen oefenen leerlingen maar 7 minuten per week voor rekenen en maar 10 minuten per week voor taal, wat beduidend minder is dan het aanbevolen half uur per vak. De verschillen tussen leerlingen zijn echter groot. Ze zijn vooral te verklaren door geslacht, leeftijd en de thuissituatie van de leerling. Verder speelt de leerkracht ook een rol (bij taal meer dan bij rekenen) en gaat er een positieve invloed uit van de mate waarin de ouders de app Muismeter hebben gebruikt, toch voor de eerste- en tweedejaars. Voor derdejaars is het app-gebruik van ouders eerder negatief, wat opnieuw in de lijn ligt van eerder onderzoek over huiswerk, waaruit bleek dat iets oudere kinderen ( pubers ) ouderbetrokkenheid vaak als storende bemoeienis gaan ervaren. Tenslotte zien we dat het aantal toetsmomenten op school ook een belangrijke verklarende factor is voor het oefengedrag van de leerling, meer toetsmomenten op school, waarbij de leerling herinnerd wordt aan Muiswerk, zorgen ook voor meer oefenen. 7

8 Resultaten van de eerste oefenperiode Een eenvoudige vergelijking van de testresultaten laat op geen van de onderdelen voor rekenen en taal verschillen zien tussen de groep leerlingen die wel en de groep leerlingen die niet konden oefenen met dat betreffende onderdeel. Dit blijft zo, ook als we de resultaten per leerjaar afzonderlijk analyseren. Gezien de (zeer) grote verschillen in oefengedrag, en het feit dat een (groot) deel van de leerlingen helemaal niet geoefend heeft terwijl dit wel kon, is dit geen verrassend resultaat. Het maakt het wel des te belangrijker om ervoor te controleren of een leerling überhaupt wel geoefend heeft. In de meervoudige regressieanalyse, waarin rekening wordt gehouden met het feit dat sommige leerlingen niet hebben geoefend terwijl dit wel mocht en dus niet de toegang tot Muiswerk, maar het werkelijke oefenen geëerd wordt, zien we wel positieve effecten van oefenen met Muiswerk. Oefenen met getallen werkt positief voor brugklasleerlingen en dan vooral voor havo/vwo. Oefenen met verhoudingen werkt positief voor leerlingen uit het eerste en het tweede jaar, hoewel leerlingen uit het tweede jaar wel minstens 9 minuten per week moeten oefenen om er baat bij te hebben. Voor verbanden zien we dat oefenen hier vooral effectief is voor leerlingen uit het derde jaar, en voor verhoudingen voor leerlingen uit jaar 2. Deze bevindingen zijn zeer waarschijnlijk toe te schrijven aan het feit dat brugklasleerlingen en 2 e jaars vmbo-leerlingen meer met eenvoudigere modules geoefend hebben (en zouden moeten oefenen, om een basis te leggen), terwijl 2 e jaars havo/vwo-leerlingen en 3 e jaars leerlingen juist meer met de meer geavanceerde modules geoefend hebben. Bij taal zien we alleen een positief effect van oefenen voor spelling en dan nog enkel voor tweedeklassers van het vmbo. De overige onderdelen van taal (begrijpend lezen, grammatica en formuleren) laten geen effect zien. Eerder onderzoek liet al zien dat oefenen met woordkennis ook effectief is. Het lijkt erop dat alleen voor de eenvoudige te automatiseren onderdelen geldt dat oefenen met Muiswerk effectief is. Het kan ook zijn dat het voor de andere onderdelen lastiger te meten is of leerlingen hierop vooruit gaan, specifiek door Muiswerk, omdat ze op veel andere manieren (in de les Nederlands, maar ook gewoon in het dagelijks leven) ook in aanraking komen met deze onderdelen van taal. De analyses van het gebruik van Muismeter, waar wederom gecorrigeerd is voor ouders die Muismeter wel konden gebruiken, maar dit niet deden, laten zien dat leerlingen uit het tweede leerjaar meer gaan oefenen met Muiswerk als hun ouders Muismeter vaker gebruiken. Leerlingen uit het derde jaar gaan hierdoor juist minder oefenen. Het gebruik van Muismeter lijkt bij deze leerlingen dus juist averechtste werken. Hoewel leerlingen uit het eerste jaar ook meer gaan oefenen als hun ouders de app meer gebruiken in vergelijking met leerlingen waarvan de ouders de app niet gebruiken, kunnen we dit niet per definitie toeschrijven aan het gebruik van Muismeter door de ouders. 8

9 Conclusies met betrekking tot de eerste oefenperiode Het eerste deel van dit onderzoek leidt tot een aantal conclusies: 1. In het algemeen is oefenen met Muiswerk voor rekenen effectief voor leerlingen in de onderbouw. Oefenen met taal lijkt niet zonder meer effectief, hier is alleen bewijs gevonden voor het onderdeel spelling voor het vmbo. 2. Oefenen met de diverse onderdelen van Muiswerk is niet zonder meer voor iedere leerling effectief. Het hangt van het type leerling en het type domein af wat de effectiviteit is. 3. Het gebruik van Muismeter door ouders van leerlingen in leerjaren 1en 2 heeft een positief effect op het oefengedrag van deze leerlingen, de leerlingen oefenen meer als de ouders vaker Muismeter gebruiken. Bij leerlingen uit het derde leerjaar werkt dit echter averechts, zij oefenen dan juist minder. 4. Het oefengedrag van leerlingen verschilt sterk, en kan vooral verklaard worden door geslacht, leeftijd en de thuissituatie van de leerlingen. Ook heeft het Muismetergebruik van de ouders een positief effect, vooral voor leerjaar 1 en 2, net als het aantal Muiswerktoetsmomenten op school. Verder speelt ook het enthousiasme van de docent een rol in het oefengedrag, hoewel meer voor taal dan voor rekenen, alsmede het aantal tussentijdse toetsjes op school. Onderzoeksperiode 2 Van begin februari tot juni 2015 liep de tweede periode van het onderzoek. Ze startte na de eerste nameting (toets T1), die als voormeting voor de tweede periode gold, en liep tot en met de tweede nameting (toets T2). In de tweede onderzoeksperiode wisselden de oefengroepen van rol. Wie voordien toegang had tot een reeks oefendomeinen, verloor die toegang en kreeg toegang tot domeinen die in de eerste periode afgesloten waren. De belangrijkste motivatie voor deze perspectiefwissel in het onderzoek (een zogenaamd switching design ) is onderzoeksethisch. We wilden geen enkele leerling een mogelijk positief gevolg van de interventie onthouden en op jaarbasis toegang bieden tot alle oefendomeinen van Muiswerk. Voor de onderzoeksvragen van het onderzoek is de tweede onderzoeksperiode ook nog interessant, maar het perspectief wordt wel wat complexer. Leerlingen die in de tweede periode niet langer toegang hebben tot een bepaald oefendomein gaan als controlegroep fungeren, maar hebben met dat domein wel geoefend in de eerste onderzoeksperiode. In de mate dat zij belangrijke basisvaardigheden duurzaam hebben verworven, zullen zij die niet kwijtraken door enkele maanden niet te oefenen en hoeven ze niet noodzakelijk veel slechter te scoren op een toets erover, zelfs al hebben anderen er nog recenter oefeningen op gemaakt. De interventie die we in de tweede periode beoordelen heeft dus vooral te maken met de onmiddellijkheidswaarde van Muiswerk. Hebben leerlingen er baat bij recent geoefend te hebben in een bepaald domein? Een variant op die vraag is ook of leerlingen nood hebben aan onderhoudsoefenen : Gaan vaardigheden verloren als ze niet regelmatig herhaald worden? 9

10 Uiteraard gelden deze bedenkingen tot op zekere hoogte ook voor tweede- en derdeklassers die het vorige schooljaar al Muiswerk hebben benut en zou een duurzaam leereffect van Muiswerk ook al van invloed kunnen geweest zijn op de resultaten van de eerste onderzoeksperiode. We gaan er echter vanuit dat de breuk van de zomervakantie hierin een grotere rol heeft gespeeld dan de kerstperiode, ook al verklaren ze misschien ten dele waarom we in periode 1 eerder effecten vonden bij de eerstejaars dan bij de tweede- en derdeklassers. Oefengedrag van de leerlingen periode 2 Wat het oefengedrag betreft, zijn verschillende zaken interessant. Om te beginnen is de groep leerlingen die ondanks toegang tot Muiswerk met geen enkel domein geoefend heeft, in de tweede periode veel groter geworden. Ongeveer 45 procent heeft helemaal nooit iets met Muiswerk gedaan. Hier zijn grote verschillen ook tussen scholen. De oefentijden en populaire oefendomeinen voor de leerlingen die wél geoefend hebben zijn ongeveer dezelfde gebleven. Resultaten periode 2 Wat gemeten effecten van Muiswerkoefenen betreft, beantwoordde de tweede periode aan de verwachtingen die we hierboven schetsen. Ook al hadden de leerlingen in bepaalde domeinen niet kunnen oefenen tijdens de eerste helft van het schooljaar, wanneer ze in de tweede helft gingen oefenen verkregen ze daardoor nauwelijks meer leerwinst dan hun tegenhangers die in de eerste jaarhelft geoefend hadden, maar in de tweede jaarhelft van oefeningen in deze domeinen afgesloten werden. De leerwinst door Muiswerkoefenen van de eerste oefenperiode was dus wellicht duurzamer dan gedacht. We formuleren hierboven het resultaat niet toevallig als nauwelijks meer leerwinst, want het moet duidelijk zijn dat er op alle oefendomeinen vooruitgang is geboekt, zowel in de eerste onderzoeksperiode als in de tweede onderzoeksperiode. Leerlingen vertonen in de toetsen duidelijke vooruitgang op vrijwel alle oefendomeinen. Interessant is wel de twee significante verschillen in de tweede onderzoeksperiode. Het betreft ten eerste een negatief effect voor het domein verbanden in de tweede klas van het vmbo, dat positief wordt zodra er meer dan een 18 minuten geoefend wordt. Op verbanden zagen we in onderzoeksperiode 1 juist alleen effecten in het derde jaar. Verder zien we in onderzoeksperiode 2 een significant effect voor grammatica in leerjaar 1, en dan vooral voor de havo/vwo leerlingen. Daarnaast zien we significant positieve resultaten voor spelling (leerjaar 1, vmbo én havo/vwo) als we de school waar zeer weinig geoefend is buiten de analyses laten, en zien we ook een positief effect voor verhoudingen in leerjaar 3. Aanvullend bevroeg het onderzoek de leerlingen in een enquête over hun bevindingen met betrekking tot Muiswerk, ouderbetrokkenheid en algemeen welbevinden. Daaruit blijkt vooral een grote variatie aan antwoorden, met zowel erg optimistisch als meer negatief gestemde leerlingen. Meer algemeen blijkt wederom dat in Muiswerk oefenen met rekenen op minder bijval kan rekenen 10

11 dan met taal, al moet gezegd dat de toon in de beide gevallen niet erg positief is, wat wellicht ook te verwachten valt als men leerlingen polst over huiswerk. Conclusies en beschouwingen totaal De meest algemene conclusie die dit onderzoek oplevert, zouden we kunnen formuleren als Muiswerk werkt. Tegelijk zijn echter belangrijke nuanceringen nodig. Om te beginnen lijkt Muiswerk effectiever voor de onderdelen van rekenen en wiskunde dan voor taal (op spelling na). Daarnaast geldt uiteraard dat Muiswerk enkel kan werken als leerlingen er ook effectief mee aan de slag gaan. Verder beantwoorden de resultaten aan de bevindingen van meer algemeen huiswerkonderzoek. Leerlingen gaan het liefst aan de slag met domeinen die ze als niet te moeilijk ervaren ( haalbaar ) en waarvan ze inschatten dat ze nuttig zijn. Door de eigen opbouw van Muiswerk was het voor leerlingen wellicht niet altijd duidelijk hoe oefendomeinen hen van dienst konden zijn bij het reguliere schoolwerk en hebben ze vooral gekozen voor de schijnbaar gemakkelijkste domeinen. Ten slotte vraagt het onderzoek ook om verdere analyses van de specifieke effectiviteit van oefenen. Voor brugklassers blijkt Muiswerk algemeen gunstig, maar voor de ouderejaars is het effect meestal minder duidelijk. Dit kan het gevolg zijn van het feit dat leerlingen duurzame leerwinst hebben geboekt tijdens de vorige onderwijsjaren en hun Muiswerkgebruik in die jaren, maar voor Cranendonck, waar pas dit jaar met Muiswerk is gewerkt, gaat alvast die laatste verklaring niet op. Het is goed mogelijk dat er voor een effectief gebruik van Muiswerkoefenen meer sturing nodig is. Dat heeft niet meteen te maken met de moeilijkheidsgraad van de oefeningen, want die werd in het experiment aangepast bij elk verschillend toetsmoment. Wel werkt het meer indirect door leerlingen die liever in één domein actief blijven en groeien dan zich breed bij te scholen op alle aangeboden oefendomeinen. 11

12 1. Inleiding Achtergrond Het taal- en rekenniveau van veel leerlingen in Nederland is niet op niveau. Deze constatering van onder andere de Commissie Meijerink heeft geleid tot de vaststelling van diverse referentieniveaus taal en rekenen (Commissie Meijerink, 2008). Daarnaast wordt er een verplichte centrale rekentoets ingevoerd bij het eindexamen vanaf 2014/2015 en wordt het nieuwe centraal examen Nederlands ingevoerd vanaf 2014/2015. Om die reden zijn scholen op zoek gegaan naar manieren om het taal- en rekenniveau van hun leerlingen te verhogen tot tenminste de vereiste referentieniveaus. Één van de manieren waarop scholen hier actief mee aan de slag gaan, is met een ICT-tool, zoals Muiswerk. Muiswerk wordt door honderden schoollocaties van het voorgezet onderwijs in Nederland gebruikt. De in het onderzoek betrokken scholen gebruiken echter alle mogelijke functionaliteiten van Muiswerk, terwijl veel andere scholen slechts een deel van deze functionaliteiten gebruikt of Muiswerk slechts aan een deel van de leerlingen aanbiedt, terwijl we hier de inzet van Muiswerk voor alle leerlingen bestuderen. Muiswerk is een digitaal, interactief, cognitief tutorprogramma waarin eenvoudig gedifferentieerd kan worden, omdat iedere individuele leerling thuis oefent met die onderdelen die hij/zij nog niet (voldoende) beheerst. Op school maken de leerlingen regelmatig toetsjes, die sturen welk oefenmateriaal ze aangeboden krijgen. Naast differentiatie dragen ook de uitgebreide uitleg en onmiddellijke feedback bij aan de didactische kracht van het programma. Muismeter is een app voor ouders waarmee ze het oefengedrag van de leerling op het Muiswerk account kunnen monitoren. Met de app kunnen ouders ieder moment zien waar hun kind mee bezig is, met welke vakken, hoeveel tijd hij per vak besteedt, hoe die tijd zich verhoudt tot de rest van zijn klas en per onderwerp kunnen zij een analyse lezen over zijn prestaties tot nu toe. Er is echter nog weinig wetenschappelijk bewijs dat een methode als Muiswerk daadwerkelijk bijdraagt aan het verhogen van het taal- en rekenniveau en aan het halen van de referentieniveaus. Daarnaast is het de vraag of de effecten eventueel verschillend zijn voor differentiële groepen van leerlingen. Ook is er nog weinig bekend over het effect van een app als Muismeter. De probleemstelling is daarom als volgt: Scholen in het voortgezet onderwijs gebruiken veelal IT-tools zodat hun leerlingen de referentieniveaus halen, zonder dat er voldoende wetenschappelijk bewijs voorhanden is dat deze IT-tools de taal- en rekenvaardigheden verhogen. Literatuurstudie Bewijskrachtig wetenschappelijke onderzoek naar de effecten van gedifferentieerde IT-tools in het onderwijs is schaars. Er zijn slechts weinig gerandomiseerde experimenten uitgevoerd. Eerdere studies over eerder uitgevoerde gerandomiseerde experimenten naar effecten van gedifferentieerde IT-tools op rekenprestaties laten voornamelijk positief significante resultaten zien. Zo onderzochten Arroyo et al. (2010) het effect van een specifieke IT-tool op rekenprestaties van 1e en 2e klassers in het VO, en deden Pilli en Aksu (2013) soortgelijk onderzoek bij basisschoolleerlingen op Cyprus. Beide studies vinden positieve en significante effecten. Vergelijkbare resultaten komen ook naar voren uit studies van Burns et al. (2012) en 12

13 Banerjee et al. (2007). Recent onderzoek in Nederland naar effecten van Muiswerk op taal- en rekenprestaties van brugklasleerlingen laat ook positieve en significante effecten zien (Haelermans, Ghysels, Stals, & Weeda, 2013). Eerder experimenteel onderzoek naar effecten van IT-tools op taalvaardigheden laten echter een heel ander beeld zien. Deze studies vinden overwegend een niet significant resultaat, en in een enkel geval zelfs een klein significant negatief effect (Borman, Benson, & Overman, 2008; Given, Wasserman, Chari, Beattie, & Eden, 2008; Potocki, Ecalle, & Magnan, 2013; Rouse & Krueger, 2004). Het grote nadeel van de bestaande literatuur is dat er geen aandacht wordt besteed aan de rol van ouders en alleen in beperkte mate aan de rol van de docent. Eerder onderzoek heeft aangetoond dat de docent een zeer grote invloed heeft op leeruitkomsten en gedrag van leerlingen (Aaronson, Barrow, & Sander, 2007; Fraser, Williamson, & Tobin, 1987; Nye, Konstantopoulos, & Hedges, 2004). Er zijn een paar experimentele onderzoeken naar ouderbetrokkenheid, niet gerelateerd aan IT-tools, en hieruit komt naar voren dat ouders het huiswerkgedrag van leerlingen significant beïnvloeden (Balli, Demo, & Wedman, 1998; Hewison, 1988). Literatuur studies en meta-analyses bevestigen dit beeld (Fan & Chen, 2001; Hoover- Dempsey et al., 2001; Patall, Cooper, & Robinson, 2008). Ook zijn de hierboven beschreven effectstudies naar IT-tools in het onderwijs voornamelijk in Noord-Amerika en in Azië uitgevoerd. Er is slechts één experimentele studie in Nederland (Haelermans & Ghysels, 2013), die alleen betrekking had op de brugklas en niet naar de rol van ouders keek. Onderzoeksdoel en onderzoeksvragen Daarom heeft dit onderzoek twee doelen: 1) het causale effect onderzoeken van gedifferentieerde IT-tools zoals Muiswerk op taal- en rekenprestaties in de onderbouw van het voortgezet onderwijs, en 2) het causale effect onderzoeken van ouderbetrokkenheid op het oefengedrag van leerlingen en op het oefenen met Muiswerk op de taal- en rekenprestaties van leerlingen. Daartoe zijn de volgende onderzoekvragen geformuleerd: i. Wat is het effect van oefenen met Muiswerk op taal- en rekenprestaties van leerlingen in de onderbouw (leerjaar 1 t/m 3) van het voortgezet onderwijs? a. Zijn er differentiële effecten voor vmbo en havo/vwo leerlingen? ii. Wat is het effect van Muismeter (de app voor ouders om het oefengedrag van hun kind(eren) bij te houden) op het oefengedrag van leerlingen, en daarmee op taal- en rekenprestaties van leerlingen in de onderbouw van het voortgezet onderwijs? iii. Wat is de correlatie tussen ouderkenmerken zoals opleiding en leeftijd en het gebruik van Muismeter? Onderzoeksopzet Dit onderzoek bestaat uit een aantal onderdelen: een experiment naar het effect van Muiswerk, een experiment naar het effect van Muismeter, en een onderzoek naar de combinatie van beide effecten. Ook bevat het onderzoek een ouderenquête over achtergrondkenmerken, Muismeter en algemene ouderbetrokkenheid en bevat het een kwantitatief-empirische analyse. De kwantitatief empirische analyses worden uitgevoerd met behulp van eenvoudige econometrische analysetechnieken, die toegepast worden op de gegevens die uit het experiment (toetsscores en 13

14 oefengegevens) en de ouderenquête naar voren komen, alsmede op leerlinggegevens uit het leerlingvolgsysteem. Leeswijzer In het volgende hoofdstuk volgt een beschrijving van het experiment en de manier waarop Muiswerk wordt ingezet op de deelnemende scholen. Het eerste deel van hoofdstuk 3 bevat beschrijvende statistieken over deel 1 van het onderzoek. Deze statistieken geven niet alleen het totaal, maar zijn veelal opgesplitst naar school, leerjaar en soms ook onderwijstype. Het gaat hier om beschrijvende statistieken van de leerlingen (leeftijd, geslacht, thuissituatie en citoscore), gemiddelde scores op de toetsen van september 2014 en januari 2015, het oefenen met Muiswerk in de online omgeving (is er geoefend, zo ja, door wie en hoeveel, uitgesplitst naar domein), het gebruik van Muismeter (is er gedownload, zo ja, door wie en hoeveel) en het invullen van de ouderenquête (is er ingevuld, zo ja, door wie). Tenslotte bevat hoofdstuk 3 een beschrijving van de onderzoeksmethoden die in het onderzoekrapport worden gebruikt. Hoofdstukken 4 en 5 bevatten de resultaten van het onderzoek deel 1, waarin de resultaten van rekenen en wiskunde en van taal apart beschreven worden. Ook wordt in deze hoofdstukken aandacht besteed aan differentiële effecten naar leerjaar en onderwijstype. In hoofdstuk 6 worden de resultaten van het gebruik van Muismeter door ouders beschreven. Hoofdstuk 7 bevat de analyse van ouderbetrokkenheid, en hoofdstuk 8 bevat de conclusies en verdere beleids-implicaties van deel 1. Deel 2 begint met de beschrijving van de nieuwe gegevens van de tweede periode in hoofdstuk 9. Hoofdstuk 10 bevat de resultaten van rekenen en wiskunde van de 2 e periode, en hoofdstuk 11 van taal. In hoofdstuk 12 wordt wederom naar ouderbetrokkenheid gekeken, waarna deel 2 in hoofdstuk 13 afgesloten wordt met een conclusie. Hoofdstuk 14 bevat de totale conclusie van het onderzoeksrapport. 14

15 2. Het experiment Muiswerk op de deelnemende scholen Op het Dendron College in Horst, het Valuascollege in Venlo en Cranendonck in Budel wordt sinds enkele jaren gebruik gemaakt van het programma Muiswerk. Voor de leerlingen van het Dendron College en het Valuascollege houdt dit in dat ze in de brugklas in september getest worden met behulp van de Muiswerk testomgeving op de diverse onderdelen van rekenen en taal (tekstbegrip, spelling, snelrekenen, woordkennis, rekenen en wiskunde, zinsbouw, flitstypen, grammatica, woordsoorten, luisteren, stillezen en ruimtelijk inzicht). Een externe deskundige bepaalt aan de hand van deze test voor elke leerling het referentieniveau voor taal en rekenen. Dit zou aan het einde van de basisschool op 1F moeten liggen, maar bij een deel van de leerlingen is dit niet het geval. Om iedere leerling op het hoogst haalbare niveau (voor die leerling) te krijgen, of op zijn minst op het referentieniveau, maken de scholen gebruik van Muiswerk. Vanaf september gaan de brugklasleerlingen met de online oefenomgeving van Muiswerk aan de slag, waarbij het de bedoeling is dat ze wekelijks 30 oefenminuten maken voor zowel taal als rekenen. Bij het Dendron College gebeurde het oefenen altijd thuis, bij het Valuascollege op school. Merk op dat er, vanwege de vergelijkbaarheid voor het onderzoek, op het Valuascollege tijdens het onderzoeksjaar ook thuis werd geoefend in plaats van op school. Daarnaast is het de bedoeling dat leerlingen wekelijks op school een korte diagnostische toets (tussentoets) maken in de testomgeving van Muiswerk. Deze tussentoets kan alleen op school gemaakt worden en niet thuis. De docenten van respectievelijk Nederlands en wiskunde zijn verantwoordelijk voor het wekelijks controleren en aansturen van het oefengedrag van de leerlingen voor taal en rekenen. Op Cranendonck wordt Muiswerk alleen ingezet bij Nederlands, en wordt het vooral tijdens de les Nederlands gebruikt om bepaalde leerlingen zelfstandig op de computer te laten oefenen. De leerlingen werden niet systematisch getest. Vanwege het onderzoek is het gebruik van Muiswerk op de locatie Cranendonck uitgebreid, waarbij alle onderbouwleerlingen óók de test in september hebben gemaakt, en ze in de Online omgeving zijn gaan oefenen. Net als bij de andere scholen gebeurde dit thuis. Op alle scholen krijgen alle leerlingen in het onderzoek gewoon hun normale lessen wiskunde en Nederlands iedere week, met bijbehorende methode en voor bijna iedere klas een andere docent. Het experiment Om het effect van oefenen met Muiswerk op taal- en rekenprestaties te onderzoeken is een individueel gerandomiseerd experiment opgezet in de onderbouw, van vmbo tot vwo, van de 3 deelnemende scholen (in totaal ruim 3000 leerlingen). Alle leerlingen hebben een voormeting gemaakt in september 2014 (toets T0). De voormeting toetst of de leerling voldoet aan de referentieniveaus voor taal en rekenen, aan het begin van jaar 1, 2 of 3. De onderzoekers hebben de leerlingen willekeurig over 2 groepen verdeeld, ongeacht klas, onderwijstype of leerjaar. Omdat 15

16 eerder onderzoek een positief effect laat zien van Muiswerk op de rekenprestaties van brugklasleerlingen is om ethische redenen besloten het experiment dusdanig op te zetten dat alle leerlingen kunnen oefenen met Muiswerk, maar dat voor iedere leerling geldt dat ze maar tot een deel van de oefeningen toegang hebben. Er is dus geen traditionele controlegroep die niet mag oefenen, maar een controlegroep die met andere oefeningen aan de slag gaat. Zowel voor taal als voor rekenen worden er twee groepen van onderwerpen bepaald, aan de hand van de domeinen. Dit is gedaan in overleg met de vakinhoudelijke specialisten bij Muiswerk, waarbij er gelet is op een goede verdeling van de moeilijkheidsgraad, het type vaardigheid dat aangesproken wordt bij de leerling, en het aantal modules binnen een domein waarmee een leerling kan oefenen 1. De ene helft van de leerlingen (1567 leerlingen) is vanaf oktober gaan oefenen met set 1 van oefeningen van taal en rekenen, namelijk begrijpend lezen, woordkennis, formuleren en grammatica voor taal, en getallen en verhoudingen voor rekenen. De andere helft van de leerlingen (1592 leerlingen) is vanaf oktober gaan oefenen met set 2 van oefeningen, namelijk spelling voor taal, en meten en meetkunde en verbanden voor rekenen. De oefeningen van set 2 waren afgesloten voor de leerlingen die in groep 1 zitten, en de oefeningen van set 1 waren afgesloten voor leerlingen uit groep 2. De afgesloten groep dient zo tot controlegroep voor het effect van Muiswerk-oefenen op een specifiek domein. Regelmatig werden op school in een les in het computerlokaal korte diagnostische tussentoetsjes gehouden van enkele minuten lang, zodat Muiswerk het aanbod van oefeningen binnen de geselecteerde domeinen telkens kon aanpassen aan de vorderingen van elke leerling. In januari/februari 2015 vond de nameting van deel 1 van het onderzoek plaats (toets T1). In de toetsen die gebruikt worden voor de voormeting en de nameting worden alle domeinen van zowel taal als rekenen afzonderlijk getoetst. De domeinen zijn daardoor ook afzonderlijk te beoordelen en analyseren. Om het effect van de ouder-app Muismeter op het oefengedrag en op de taal- en rekenprestaties van de leerling te onderzoeken, werd een individueel gerandomiseerd experiment opgezet onder de ouders van alle leerlingen in de onderbouw van deelnemende de scholen. Accounts van leerlingen werden willekeurig ingedeeld in experiment- en controlegroep en al dan niet afgesloten van de Muismeter app, met de beperking dat de accounts van broers en zussen tot dezelfde groep behoorden. Hierdoor werd willekeurig bepaald welke ouders toegang hadden tot de app en welke ouders niet. In het begin van het schooljaar zijn alle ouders per brief door de school en de onderzoekers op de hoogte gesteld van het onderzoek en van het bestaan van Muismeter, en geïnstrueerd over hoe en hoe vaak de school graag zou zien dat de ouders de app gebruikten. Alle ouders zijn in de brief gevraagd Muismeter te downloaden, maar een deel kreeg bij het inloggen de melding dat ze helaas uitgeloot waren en een paar maanden geduld moesten hebben. Ook is het onderzoek toegelicht op de ouderavonden in september, ofwel door de onderzoekers ofwel door de mentoren. 1 Spelling is weliswaar maar één domein, maar hier vallen heel veel modules onder. 16

17 Het onderzoek naar Muismeter liep parallel aan het eerste deel van het onderzoek naar het effect van oefenen, en gebruikte toets T0 als voormeting en toets T1 als nameting. We hadden in deze eerste periode dus 4 verschillende groepen leerlingen 1. Leerlingen die met set 1 oefenden; 2. Leerlingen die met set 2 oefenden; 3. Leerlingen die met set 1 oefenden waarvan ouders Muismeter konden gebruiken; 4. Leerlingen die met set 2 oefenden waarvan ouders Muismeter konden gebruiken. Groep 2 diende als controlegroep voor groepen 1 en 3 die wél met set 1 oefenen. Op dezelfde wijze diende groep 1 als controlegroep voor groepen 2 en 4 voor oefenset 2. Het onderscheiden van groepen 1 en 3 geeft de mogelijkheid om te meten wat het additionele effect is van een stimulans van de ouderbetrokkenheid op taal- en rekenprestaties, naast het reguliere effect van oefenen met Muiswerk. Daarnaast kunnen we door de experimentele opzet het effect van Muismeter op het oefengedrag van de leerling meten, ongeacht in welke groep de leerling zit. De indeling in de 2 groepen werd na de nameting in januari/februari 2015 omgedraaid, zodat alle leerlingen met alle domeinen konden oefenen gedurende het schooljaar. De nameting van deel 1 (toets T1) werd gebruikt als voormeting voor het tweede deel, en in juni 2015 vond er wederom een nameting plaats, ditmaal van het tweede deel (toets T2). Figuur 1 is een schematische weergave van het Muiswerkexperiment. In juni 2014 is het onderzoeksproject gestart, en in juli 2014 was de voorlopige klassenindeling klaar. In week 32 heeft vervolgens de toewijzing aan de onderzoeksgroepen (randomisatie) plaatsgevonden, die volledig willekeurig was. In week 35 startte het schooljaar, en heeft Muiswerk de instellingen in de Online oefenomgeving aangepast op basis van de randomisatie. Tussen week 36 en 39 zijn de leerlingen getest met een voormeting. Helaas is er door miscommunicatie het een en ander misgelopen. Sommige leerlingen zijn met een te eenvoudige toets getest, waardoor mogelijk een plafondeffect is opgetreden. Ook hebben niet alle leerlingen van hetzelfde leerjaar en onderwijstype, maar van verschillende scholen, dezelfde toets gemaakt. Echter betreft het hier slechts de voormeting, waardoor dit geen heel groot probleem is en kunnen we er bij de analyse van de gegevens goed rekening mee houden. Week 43 was de herfstvakantie. Vanaf week 48 is de ouderenquête uitgezet, maar door de kerstvakantie is dit doorgelopen tot eind januari In week 52 en week 1 was de kerstvakantie. Vanaf week 4 tot en met week 6 werden de leerlingen weer getest, ditmaal de nameting van deel 1 (en dus de voormeting van deel 2) (toets T1). Bij de nameting is ervoor gezorgd dat alle leerlingen in hetzelfde leerjaar en onderwijstype dezelfde toetsen kregen, ook over scholen heen. Met toets T1 eindigde het eerste deel van het experiment. Met het einde van deel 1 van het onderzoek startte deel 2 van het onderzoek. Vanaf de week dat leerlingen getest zijn in januari/februari werd de randomisatie omgedraaid, en konden ze gaan oefenen met de andere set oefeningen. Week 8 was de carnavalsvakantie, en weken 19 en 20 de meivakantie. Vanaf week 21 is de leerlingenquête uitgezet en dit is doorgelopen tot het einde van juni Vanaf week 24 tot en met week 26 werden de leerlingen weer getest, dit keer de 17

18 nameting van deel 2 (toets T2). Hiermee eindigde het tweede deel van het experiment, en daarmee ook tegelijkertijd het gehele experiment. In totaal is het onderzoek gestart met 3195 onderbouwleerlingen van 3 scholen (1340 op het Dendron College, 1591 op het Valuascollege en 258 op Cranendonck). Echter hebben we maar van 3083 leerlingen oefengegevens (door schoolwisselingen), en maar van 2857 leerlingen toetsgegevens (door ziekte en andere afwezigheid). De ouders van 1817 leerlingen hadden toegang tot de app Muismeter. De online omgeving is ingesteld in week 35. Afhankelijk van of een leerling de nameting van deel 1 heeft gemaakt in week 4, 5 of 6 van 2015 is het aantal weken waarin een leerling had kunnen oefenen tussen T0 en T1 17, 18 of 19 weken. Echter, omdat de meeste leerlingen pas begin oktober zijn gaan oefenen, wordt bij de berekening van aantal minuten per week 14, 15 of 16 weken aangehouden. Afhankelijk van of een leerling de voormeting van deel 2 (nameting deel 1) heeft gemaakt in week 4, 5 of 6 van 2015, en de nameting van deel 2 in week 24, 25 of 26, is het aantal weken waarin een leerling had kunnen oefenen tussen T1 en T2 (januari en juni 2015) 14, 15, 16, 17 of 18 weken. 18

19 Figuur 1 Schematische weergave onderzoek T0 Experiment deel 1 T1 Juli 2014 Wk Wk Wk 36 t/m Wk Wk Wk & wk Wk 4 t/m Indeling leerlingen in klassen Randomisatie Pretest september/ oktober Start experiment Start schooljaar Selectieve openstelling Muiswerkoefeningen op basis van randomisatie Herfst vakantie Start uitzetten oudervragen lijst (t/m T1) Kerst vakantie Posttest januari/ februari Einde experiment deel 1 T1 Experiment deel 2 T2 Wk 4 t/m Wk Wk Wk & Wk 24 t/m Posttest januari/ februari Einde experiment deel 1 Carnavalsvakantie Meivakantie Start uitzetten leerlingvrag enlijst (t/m T2) Posttest juni Einde experiment deel 2 19

20 Deel 1 20

21 3. Gegevens en methoden Gegevensbronnen De deelnemende scholen hebben alle data die ze in het leerlingvolgsysteem hebben beschikbaar gesteld voor het onderzoek. Daarnaast heeft Muiswerk alle data beschikbaar gesteld van de voor- en nametingen en van het oefengedrag (gedetailleerde informatie van ieder afzonderlijk oefenmoment) van leerlingen en het download- inloggedrag van ouders op Muismeter. Tenslotte zijn aanvullende data verzameld over achtergrondkenmerken, Muismeter en overige ouderbetrokkenheid, via een ouderenquête en een leerlingenenquête. Leerlinggegevens De gegevens van het leerlingvolgsysteem laten ons toe de gehele onderzoekspopulatie, alle leerlingen betrokken bij het onderzoek, op een aantal kenmerken te beschrijven. Tabellen 1 en 2 beschrijven de achtergrondkenmerken van de leerlingen in totaal, en gesplitst naar school, leerjaar en onderwijstype. Telkens zien we op de laatste regel van de tabel het aantal leerlingen met het beschreven kenmerk (bv. onderwijstype). Merk op dat de onderwijstypes thavo en top beide onderwijstype zijn die alleen op het Valuas voorkomen. Verder slaat havo/vwo alleen op brugklasleerlingen, maar zitten de vmbo-brugklasleerlingen onder het kopje vmbo, en de havobrugklasleerlingen onder het kopje havo, etc. De kolommen waar Gem. staat laten het gemiddelde zien, en in het geval van meisje en tweeouder gezin zijn dit het percentage meisjes en het percentage leerlingen waarvan beide ouders thuis wonen. Tabel 1 laat zien dat er net wat meer meisje dan jongens in onze onderzoekspopulatie zitten. Op Valuas en Cranendonck is dit zelfs bijna 60 procent. Meer meisjes geldt voor alle opsplitsingen, maar vooral voor thavo en top. De gemiddelde citoscore van de leerlingen is ongeveer 536 á 537, en dit geldt voor alle drie de scholen, en ook voor alle drie de leerjaren. Als we de splitsing maken naar onderwijstype zien we logischerwijs wel verschillen in gemiddelde citoscore. De gemiddelde leeftijd is bijna 13 jaar, en ook dit is niet verschillend tussen de scholen en onderwijstypen. Hier geldt dat de leeftijd logischerwijs verschilt tussen de leerjaren. Tenslotte woont meer dan 80 procent van de leerlingen thuis met beide ouders. Dit gaat richting de 90 procent voor het Dendron College, ligt lager dan 80% voor het Valuascollege, en Cranendonck zit ertussenin met 85%. Het percentage verschilt weinig tussen de leerjaren, maar we zien wel dat minder leerlingen op het vmbo met beide ouder thuis wonen, vergeleken met havo en vwo. 21

22 Tabel 1 Beschrijvende statistieken per school en leerjaar Totaal Dendron Valuas Cranendonck Leerjaar1 Leerjaar2 Leerjaar3 Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. meisje Citoscore geboren in NL leeftijd in maanden op 1 jan ' Leeftijd Twee-ouder gezin Aantal Observaties Tabel 2 Beschrijvende statistieken per onderwijstype Vmbo Havo vwo thavo havo/vwo top Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. Gem. Std. Afw. meisje Citoscore geboren in NL leeftijd in maanden op 1 jan ' Leeftijd Twee-ouder gezin Aantal Observaties

23 Testresultaten en testkenmerken Rekenen en wiskunde Tabellen 3 tot en met 5 laten de beschrijvende statistieken zien van de testen voor de vier onderdelen van rekenen en wiskunde, namelijk getallen, verhoudingen, meten en meetkunde en verbanden, voor zowel de test in september 2014 (T0) als de test in januari 2015 (T1). Merk op dat voor een aantal leerlingen in september T0-testen zijn afgenomen waar weinig tot geen vragen over het rekendomein verbanden in voorkomen, waardoor veel minder leerlingen een score hebben voor verbanden in september dan voor de andere domeinen. 2 Merk verder op dat de scores op de toets zijn omgerekend naar een continue schaal, die loopt tussen 0 en 200. Leerlingen in leerjaar 1 zullen normaalgesproken tussen de 0 en de 100 scoren, en leerlingen van jaar 3 tussen de 100 en 200. Leerlingen van jaar 2 zitten daar tussenin. In tabel 3 valt ten eerste op dat voor alle domeinen geldt dat de gemiddelde score in september lager is dan in januari, wat een vooruitgang laat zien, behalve voor verbanden (maar dit heeft zeer waarschijnlijk met de aantallen en typen leerlingen te maken, zoals ook blijkt uit tabel 4). Deze vooruitgang is het grootste voor verhoudingen en meten en meetkunde, en het laagste voor getallen. Er zijn wel grote verschillen te zien tussen de twee scholen. Dit kan echter puur te maken hebben met het aantal leerlingen in de verschillende leerjaren en onderwijstypen (als de ene school verhoudingsgewijs meer brugklasleerlingen heeft dan zal de gemiddelde score over alle leerlingen automatisch lager liggen), en er kunnen daarom geen conclusies uit deze vergelijking getrokken worden. In tabel 4 zien we de beschrijvende statistieken uitgesplitst naar leerjaar. Hier zien we duidelijk de verschillen in gemiddelde scores per leerjaar, die voor leerjaar 3 uiteraard hoger liggen. Wat opvalt is dat de gemiddelde score van leerjaar 1 op getallen gedaald is tussen september en januari. De daling voor getallen kan verklaard worden met het type test dat in september is afgenomen en het type test dat in januari is afgenomen. In september is voor veel leerlingen, vooral op het Valuascollege, een te eenvoudige test afgenomen, waardoor vele leerlingen last hebben van een plafondeffect. Daar er in januari wel de juiste testen zijn afgenomen op alle scholen, was er veel meer variatie in score mogelijk en zaten weinig tot geen leerlingen tegen het maximum aan. Omdat het een moeilijkere test betreft, is het aannemelijk dat leerlingen wel zijn vooruitgegaan in hun vaardigheden in getallen, maar dat dit niet zichtbaar is in deze tabellen. Tabel 5, tenslotte, vergelijkt de toetsresultaten van de leerlingen uit de experimentgroep met de leerlingen uit de controlegroep. Deze groepen zijn telkens de controlegroep voor de domeinen waarvoor ze niet konden oefenen, zodat in elke rij een vergelijking gemaakt wordt tussen een controle- en een experimentconditie, maar het perspectief wisselt naargelang het oefendomein. Tabel 5 laat zien dat de groeipatronen tussen september en januari voor alle domeinen vrijwel gelijk zijn in de beide groepen. Het volgende onderdeel van hoofdstuk 3, over de Muiswerk oefengegevens, laat zien dat lang niet alle leerlingen die mochten oefenen met bepaalde onderdelen, dit ook gedaan hebben en dat zou wel eens de verklaring kunnen zijn waarom de 2 Dit heeft ermee te maken dat het domein verbanden door Muiswerk pas in het tweede jaar aangeboden wordt, en dus getoetst wordt, tenzij een leerling in jaar 1 buitengewoon vordert met rekenen. Daardoor bevat de starttoets in september geen vragen over verbanden voor een heel aantal leerlingen. 23