Invloed van ICT-tools op onderwijsprestaties en efficiëntie

Transcriptie

1 Invloed van ICT-tools op onderwijsprestaties en efficiëntie Kristof De Witte δ1 en Carla Haelermans δ (δ): Maastricht University TIER, Faculty of Economics and Business Po Box 6015, 6200 ML Maastricht (the Netherlands); ( ): Katholieke Universiteit Leuven (KULeuven) Faculty of Business and Economics Naamsestraat 69, 3000 Leuven (Belgium); kristof.dewitte@kuleuven.be ( ): IPSE Studies, Delft University of Technology, PO Box 5015, 2500 GA Delft (the Netherlands) 1. Onderwijsinnovaties Inleiding Investeringen in ICT infrastructuur was een van de prioriteiten in onderwijsbeleid tijdens de voorbije decennia. In de meeste westerse landen werden er veel middelen vrij gemaakt om te investeren in computers, whiteboards, connectiviteit, en software. Gegeven deze investeringen is de vraag of dit heeft opgebracht. Leerlingprestaties blijven immers al jaren gelijk, ondanks de groeiende investeringen in het onderwijs. Schoolbesturen verantwoorden de onderwijsinnovaties vaak vanuit een efficiëntiestandpunt. Hiermee wordt bedoeld dat met een gegeven budget hogere leerresultaten behaald kunnen worden, of dat er voor de gegeven leerresultaten minder budget /personeel vereist is. Deze rapportage focust op de invloed van ICT op onderwijsprestaties. We gaan in op het oefengedrag van leerlingen, alsmede op de invloed van een ICT-tool op de rekenprestaties van leerlingen. We gebruiken hiervoor gegevens van Gotit?!. Dit is een online begeleidingsmiddel voor leerlingen in het voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal. Het theoretisch kader waartoe dit onderzoek behoort, is het differentiëren in het onderwijs en het leveren van maatwerk aan leerlingen, het gebruik van skill drill-oefeningen (oefeningen om vaardigheden erin te stampen), en tenslotte het gebruik van ICT om dit te bereiken. Eerder onderzoek naar differentiëren en maatwerk in het onderwijs laat zien dat het werken in traditionele klassen, waarbij alle leerlingen op hetzelfde niveau werken, de verschillende leerstijlen en interesses van de individuen volledig negeert (Fischer & Rose, 2001; Forsten, Grant, & Hollas, 2002; Tomlinson & Kalbfleisch, 1998). Het meenemen van verschillen in niveau, interesses en leerstijlen tussen leerlingen lijkt tot verhoogde motivatie te leiden (Tomlinson, 2004), en het negeren van deze verschillen lijkt tot verlaagde prestaties te leiden (Tomlinson & Kalbfleisch, 1998). Diverse studies 1 Corresponding author. Tel.: address: Kristof.Dewitte@kuleuven.be; k.dewitte@maastrichtuniversity.nl 1

2 laten ook zien dat differentiatie leidt tot hogere leerling-prestaties (Barta & Allen, 1995; Kulik & Kulik, 1982; Lou et al., 1996; Reezigt, Houtveen, & Van de Grift, 2001). Bosker (2005) laat zien dat leerlingen het meest gebaat zijn bij een volledig gedifferentieerde route, hoewel hij ook de voordelen van het sociale aspect van het klaslokaal erkent. Literatuur over een skill drill methode als Gotit?! sluit erg aan bij literatuur over het gebruik van ICT in het onderwijs (zie deel 1 van de rapportage: De Witte en Rogge, 2013), aangezien skill drill methoden vaak digitaal zijn. Studies naar het effect van digitale oefenmethoden laten zien dat interactieve online methoden vaak een positief effect hebben op rekenprestaties. Christensen en Gerber (1990) concluderen bijvoorbeeld dat oefeningen in spelvorm niet goed werken voor leerlingen met leerproblemen, maar wel voor reguliere leerlingen. Dit in tegenstelling tot de mondelinge- en computeroefeningen. Arroyo et al. (2010) laten zien dat een intelligent tutoring systeem tot hogere leerling-prestaties leidt in de onderbouw van het voortgezet onderwijs. Burns et al. (2012) laten ook zien dat een digitaal rekenprogramma tot een hogere leerwinst leidt voor de deelnemende leerlingen. Daarnaast concluderen zij dat er minder leerlingen risico lopen om een achterstand op te lopen na gebruik van het digitale programma. Onderzoeken naar niet-digitale skill drill oefeningen laten een gemengd beeld zien. Uit de literatuur blijkt in ieder geval dat het niet uitmaakt of er een digitaal of niet-digitaal skill drill programma gebruikt wordt. Wat werkt heeft meer te maken met de leerstijl van de leerling en leerstrategieën die gehanteerd worden (Becker, 1990; MacGregor, Shapiro, & Niemiec, 1998). Uit een ander onderzoek blijkt dat leerlingen het beter doen als ze strategieën aangeleerd krijgen dan met drilloefeningen (Tournaki, 2004). Eerder experimenteel onderzoek naar reken- en taaloefeningen in Muiswerk (een gelijkaardig programma als Gotit?!) liet een positief effect zien (zie deelrapportage 5). Haelermans et al. (2013) observeren een significant en positief effect heeft op het aantal vragen goed beantwoord per seconde bij rekenen en wiskunde. Oefenen met Muiswerk, ongeacht hoeveel, heeft dus een positief effect op de groei van score per seconde voor rekenen. Het vervolg van de deelrapportage verloopt als volgt. In onderdeel 2 worden het programma en de aannames beschreven. Onderdeel 3 beschrijft de gegevens, terwijl sectie 4 enkele verbanden uit de data weergeeft. Meer bepaald biedt het een antwoord op de vraag Wordt in scholen met lage leerprestaties meer met de ICT-tool gewerkt?, Leidt meer oefenen tot betere resultaten?, en Leidt deelname aan het ICT-programma tot hogere toetsscores?. In onderdeel 5 wordt het efficiency model uitgelegd en de resultaten gerapporteerd. 2. Vorm van het programma en aannames 2.1 Algemeen Het rekenbeleid van scholen in het voortgezet onderwijs staat de laatste jaren in toenemende belangstelling. Vanwege de invoering van de verplichte centrale rekentoets bij het eindexamen zoeken scholen naar manieren om het rekenniveau van hun leerlingen te verhogen tot tenminste het vereiste referentieniveau (Commissie Meijerink, 2008). De rekentoets wordt ingevoerd in 2013/2014 2

3 en telt mee in het examen van de leerling vanaf Er zijn zowel bij de overheid als bij de scholen zelf zorgen geuit over het huidige niveau rekenen van voortgezet onderwijs leerlingen. Derhalve hebben veel scholen ingezet op een specifiek rekenbeleid, om het niveau van de leerlingen op peil te brengen. Een van de manieren waarop scholen actief aan de slag gaan met het verhogen van het rekenniveau is met het programma Gotit?!. Dit is een online en adaptief begeleidingsmiddel voor leerlingen in het voortgezet onderwijs ten behoeve van de doorlopende leerlijnen voor rekenen en taal. Er wordt toegewerkt naar de verplichte rekentoets die alle leerlingen in het voortgezet onderwijs en middelbaar beroepsonderwijs moeten gaan afleggen. De verplichte rekentoets is gebaseerd op referentieniveaus van de commissie Meijerink. Deze gelden voor het primair, voortgezet onderwijs en middelbaar beroepsonderwijs. Deze referentieniveaus geven aan wat leerlingen moeten kennen op het gebied van rekenen. Het programma start met een instaptoets. Deze helpt het niveau van de leerling te bepalen. De resultaten van deze instaptoets worden in kaart gebracht, de kenniskaart. Er wordt hierbij een onderscheid gemaakt tussen vier onderdelen (domeinen): getallen, verhoudingen, meten en meetkunde, en verbanden. Uitlegfilmpjes, theorie en opgaven helpen de leerling bij het oefenen van de verschillende onderdelen. Gotit?! is een adaptief programma. Zodra de leerling de stof beheerst gaat hij een fase verder. Gotit?! signaleert zelf dat een leerling toe is aan een toets. De docent behoudt het overzicht via een docentendashboard. Dit laatste bevat zowel gemiddelde scores per groep als individuele voortgang van leerlingen. In Gotit?! kunnen leerlingen zelfstandig werken, maar de docent heeft ook de mogelijkheid om in te grijpen in het proces door leerstof voor een leerling specifiek voor te schrijven via bijvoorbeeld hulpfilmpjes en het inplannen van toetsen. Gotit?! geeft op diverse momenten individuele feedback en feedforward. Gotit?! Rekenen voor de doorlopende leerlijn is beschikbaar sinds schooljaar Een leerlinglicentie Gotit?! Rekenen is 10,- per leerling per jaar. Een leerling krijgt hiermee toegang tot al het materiaal van Gotit?!, van zowel 1F, 2F en 3F. Een docentenlicentie Gotit?! Rekenen kost 19,50 per docent per jaar. Meer algemeen kan Gotit?! geclassificeerd worden als een procesinnovatie die het leerproces van leerlingen faciliteert. Er zijn studies die positieve effecten van ICT op onderwijsprestaties vinden (bijvoorbeeld Machin et al. 2007), maar ook studies die negatieve effecten vinden (bijvoorbeeld Leuven et al., 2007), en studies die helemaal geen effecten vinden (bijvoorbeeld Rouse & Krueger, 2004). Er heerst dus nog onduidelijkheid in de literatuur over de effecten van ICT op onderwijsprestaties. Heel vaak is er in de literatuur echter geen gedetailleerde informatie beschikbaar over wat leerlingen precies doen. Dit onderzoek buit dergelijke informatie wel uit. 2.2 Doorloop van het programma In het programma delen alle leerlingen eenzelfde chronologie: (1) Het niveau van de leerling wordt bepaald via een instaptoets; (2) de leerlingen oefenen op hun niveau; en (3) elk onderwerp wordt beëindigd met een toets. Er zijn in het programma 3 niveaus: 1F, 2F en 3F. De vragen van 2F volgen niet noodzakelijkerwijs op 1F. Het niveau 2F stemt overeen met het eindniveau van vmbo en instapniveau van havo. In principe maakt een leerling 1 instaptoets per schooljaar, en is het meest 3

4 waarschijnlijk dat de lijn oplopend is (1F-2F-3F). Omdat Gotit?! pas 1 schooljaar in gebruik is heeft het merendeel van de leerlingen nog maar 1 instaptoets gemaakt. Binnen een niveau zijn er ook fases die een moeilijkheidsgraad weerspiegelen. De instaptoetsen testen de leerling op fase 3 en fase 4. Op basis van de score wordt bepaald op welke fase de leerling begint met oefenen. De oefeningen zijn ingedeeld in 4 fasen, fase 1 tot en met 4. Bij niveau 1F lopen de fasen tot en met fase 3. Leerlingen krijgen oefeningen in een fase die gebaseerd is op hun score op de instaptoets en iedere leerling krijgt een eigen random oefenreeks binnen een onderwerp. Elke keer als een leerling op een onderwerp 8 van de 10 laatste vragen goed heeft krijgt de leerling een onderwerptoets. Als dit onderwerp het laatste openstaande onderwerp binnen een domein is dan krijgt de leerling een domeintoets. Deze onderwerp- of domeintoetsen komen qua samenstelling overeen met de instaptoets: ze testen op fase 3 en 4. De domeintoetsen zijn facultatief (de docent kan dit uitzetten) en veel docenten maken zelf hun toets. Dit kan schematisch als volgt worden weergegeven zoals in 4

5 Figuur 1. 5

6 Figuur 1: Schematische indeling Gotit?! Instaptoets (moeilijheidsgraad fase 3-4) Niveau (1F, 2F, 3F) Oefenen in een onderwerp in een fase (1-4). Als 8 van de 10 vragen goed Toets op fase 3-4 Volgend onderwerp Domeintoets 2.3 Keuzes in de data De gegevens voor het project zijn verkregen via uitgeverij ThiemeMeulenhoff die het programma ontwikkelde. Zoals beschreven in onderdeel 2.2 doorlopen de leerlingen het programma niet in een vaste vorm. Daarom zijn in de verwerking van het ruwe databestand naar een databestand voor de analyse volgende keuzes gemaakt: - De instaptoets is het gemiddelde van de verschillende onderwerpen. - De toets per onderwerp is de meest recent gemaakte toets, waarvan we de score gebruiken. Andere keuzes in de data (zoals gebruik van de gemiddelde score van alle gemaakte toetsen per onderwerp, of het volgen van een vooraf bepaalde leerroute) zullen waarschijnlijk niet tot andere uitkomsten leiden. - De scores van het tussentijdse oefenen (die tussen de instaptoets en de onderwerptoets op de tijdlijn liggen) zijn de gemiddelden van alle keren dat een leerling geoefend heeft per onderwerp. Andere keuzes in de data (zoals gebruik van de mediaan) zullen waarschijnlijk niet tot andere uitkomsten leiden. Dankzij deze veronderstellingen in de data kan het verband tussen de hoeveelheid/intensiteit van oefenen en het verschil in score tussen de instaptoets en "latere toetsing" onderzocht worden. In hoeverre kan er gesteld worden dat "hoe meer men oefent, hoe groter de vooruitgang" en wat is de optimale tijdsverdeling over de onderwerpen per domein. 6

7 3. Beschrijvende statistieken 3.1 Kenmerken van Gotit-scholen. De gegevens zoals verkregen door ThiemeMeulenhoff zijn gekoppeld op basis van het BRIN-nummer aan gegevens van Dienst Onderwijsuitvoering (DUO). Deze bevatten voor 2011 informatie over de werkingsmiddelen van de school. In Tabel 1 worden de 149 scholen met Gotit vergeleken met 314 scholen die de ICT-tool niet hanteren. Hieruit blijken op enkele kenmerken significante verschillen tussen beide groepen te bestaan. We bespreken de variabelen met merkbare verschillen. In de scholen die werken met Gotit?! is er per leerling meer ondersteunend personeel, zijn er meer leerlingen, is er een lager bedrag uitgekeerd voor de aankoop van materialen en onderhoud van gebouwen, en zijn de kosten voor leraren per leerling lager. Bovendien is in de Gotit?!-scholen het gemiddelde examencijfer merkbaar lager net als het slagingspercentage. Deze merkbare verschillen geven aan de invoering van Gotit niet random gebeurd is, maar een bewuste keuze was van scholen. Tabel 1:Vergelijking Gotit scholen met niet-gotit scholen Gotit niet-gotit Gemiddelde Gemiddelde verschil t-statiek Managers (in FTE) per lln Leraren (in FTE) per lln Ondersteunend personeel (FTE) per lln ** Gemiddelde leeftijd leraren Aantal leerlingen *** Personeelskost per lln Materiaalkosten per lln ** Kosten voor gebouwen per lln *** Vsv-percentage Gemiddelde centraal examencijfer *** APCG leerlingen (%) LWOO leerlingen (%) Slagingspercentage * Kosten voor leraren per lln ** Kosten ondersteunend personeel per lln Kosten voor managers per lln Denominatie (Mann-Whitney rank-sum test) Aantal scholen

8 3.2 Beschrijvende statistieken volgens de instaptoets Leerlingen die starten met het programma doorlopen een instaptoets. Deze bepaalt het niveau van de leerlingen. Er zijn drie instaptoetsen (1F, 2F en 3F). Tabel 2 beschrijft het onderwijsniveau en het leerjaar van de leerlingen voor elk van deze instaptoetsen. Leerlingen in sterkere onderwijsniveaus (bijvoorbeeld HAVO, VWO) en hogere leerjaren volgen typisch meer de 3F, al observeren we hier veel heterogeniteit in de gegevens. Aangezien docenten het onderwijsniveau moeten aanvullen uit een dropdown-menu zijn er veel ontbrekende gegevens bij het onderwijsniveau. Tabel 2: Onderwijsniveau en leerjaar van leerlingen volgens niveau instaptoets Instaptoets 1F Instaptoets 2F Instaptoets 3F Totaal onderwijsniveau Onbekend 1,412 2,167 1,690 5,269 Gymnasium Havo Havo-vwo Lwoo-b Lwoo-g Lwoo-k Vmbo-b Vmbo-bk Vmbo-gt Vmbo-k Vmbo-kgt Vmbo-t Vmbo-t/havo/vwo Vwo Leerjaar 1 1, , , , , , ,200 1, Totaal 3,272 4,216 2,410 9,898 Uit 8

9 Tabel 3 blijkt dat de score afneemt naar mate het niveau van de instaptoets toeneemt. Bovendien stijgt ook de tijd die leerlingen gebruiken om de instaptoets te maken. Dit komt waarschijnlijk omdat de moeilijkheidsgraad van de toets toeneemt. Uit de achterliggende gegevens blijkt dat er minder oefeningen gemaakt worden bij de hogere instapniveaus. 9

10 Tabel 3: Score en tijd volgens instaptoets Aantal Score tijd Instaptoets 1F 3, Instaptoets 2F 4, Instaptoets 3F 2, Eenmaal de leerlingen een instaptoets gemaakt hebben, starten ze de oefeningen. We onderscheiden in de data 11 onderwerpen: optellen, vermenigvuldigen, breuken, komma, verhoudingen, procenten, grootheden, oppervlakte, meetkunde, gegevens en rekenvoorschriften. Zoals beschreven in onderdeel 2 kunnen leerlingen voor elk van deze onderwerpen oefenen per functieniveau. De leerlingen kunnen Gotit?! in een willekeurige volgorde doorlopen, afhankelijk van hun eigen prestaties, voorkeuren en de inzichten van de docent. De ICT-tool stelt dus een onderwerp voor, maar zowel de leerling als de docent kunnen dit wijzigen. De willekeurige volgorde blijkt ook uit Tabel 4. Deze geeft de volgorde weer waarin de verschillende onderwerpen in fase 1 zijn doorlopen. Zo kiest 22.5% van de leerlingen als eerste onderwerp optellen. Vanaf het tweede onderwerp is de verdeling over de onderwerpen vrij gelijk. Er in de data geen bepaald patroon te ontdekken van opeenvolgende onderwerpen. Tabel 4: Volgorde van het doorlopen van het Gotit-programma (bovenste rij is het aantal, onderste rij het percentage) Onderwerp volgorde Optellen Vermenig vuldigen Breuk en Komma Verhoud ingen Procenten Groot heden Oppervl akte Meetku nde Gegevens Rekenvoo rschriften 1 22,53 8,51 7,19 7,49 9,21 6,6 5,89 4,58 12,57 10,49 4, ,91 10,46 7,79 8,88 9,36 8,15 6,35 5,91 11,36 11,28 7, ,62 10,84 9,59 9,71 8,22 7,63 7,24 6,35 10,28 10,59 7, ,79 11,4 10,56 11,21 7,93 7,66 7,91 6,54 7,11 9,35 8,53 5 8,59 9,76 8,93 8,99 9,64 9,67 8,73 7,22 9,27 10,1 9,1 6 9,67 9,26 8,89 9,41 10,53 9,9 7,7 8,07 8,41 9,75 8,41 7 9,17 7,7 8,72 9,02 8,26 8,36 10,85 8,51 11,51 9,12 8,77 8 8,43 8,36 8,85 9,35 9,35 7,59 10,75 11,38 9,7 7,8 8,43 9 7,23 7,8 8,29 8,86 8,48 7,71 12,52 13,78 11,85 7,8 5, ,79 7,57 7,89 8,2 6,47 9,31 11,99 12,3 13,09 8,68 10, ,71 6,35 6,82 8,24 9,65 5,41 12,71 12,94 15,06 8,71 9,41 Totaal 14,07 9,59 8,43 8,91 8,98 7,79 7,45 6,57 10,75 10,19 7,27 10

11 3.3 Scholen en klassen In de data zijn er 202 schoollocaties (6-cijfer BRIN) uit 149 scholen (4-cijfer BRIN). Er zijn op een schoollocatie gemiddeld 612 leerlingen die deelnemen aan Gotit, dit is gemiddeld 28% van de totale schoolpopulatie. Als Gotit wordt ingevoerd op een school (school staat vanaf hier synoniem voor schoollocatie 6- cijfer brin), gebeurt dit in veel scholen in meerdere klassen. Uit Tabel 5 blijkt dat er slechts 13 scholen zijn waarbij het enkel in 1 klas werd ingevoerd, 16 scholen met twee Gotit-klassen, 2 scholen met 3 klassen en 12 scholen met 4 klassen. De gegevens uit Tabel 5 zijn niet uitputtend aangezien er nog 73 scholen in de data zijn met meer dan 20 geregistreerde klassen die Gotit hebben ingevoerd. Omdat dit vaak slechts kleine klasgroepen zijn, werden deze niet meegenomen in de gegevens. Tabel 5: Frequentie van scholen waarbij Gotit in meerdere klassen werd ingevoerd. Aantal klassen in school met Gotit frequentie Aantal klassen in school met Gotit Frequentie 3.4. Domeinen van rekenen Een sub-analyse van Gotit betreft de splitsing naar de 4 domeinen waarin rekenen is opgesplitst: getallen, verhoudingen, meet en meetkunde en verbanden. Tabel 6 laat de gemiddelde score van de diverse onderdelen zien en de totale opgetelde tijd voor deze onderdelen (in seconden) gebruikt voor de voormeting. 2 In de tabel zien we dat, voor f3, leerlingen die de test hebben gemaakt op niveau 1F en 2F het hoogste scoren op het domein getallen, terwijl de 3F leerlingen het hoogste scoren op verhoudingen. Voor f4 betrof het in alle gevallen maar één vraag die leerlingen ofwel goed ofwel fout hadden (score van 100 betekent goed beantwoord, score van 0 betekent fout beantwoord). Wat opvalt is dat bij 1F en 2F het grootste aandeel leerlingen de getallen-vraag goed hadden. Bij 3F is het veel meer verdeeld en had ongeveer een derde tot de helft van de leerlingen de vraag goed per domein. 2 In voorgaande tabellen werd gewerkt met enkel leerlingen waarvoor we over volledige informatie beschikken. Dit zijn 9,898 leerlingen. In deze analyse werken we met alle leerlingen waarvoor we informatie hebben op de afzonderlijke domeinen. Zo zijn er 25,285 leerlingen met gegevens op niveau 2F verhoudingen en 11,334 leerlingen met gegevens op Niveau 1F getallen. 11

12 Tabel 6: Gemiddelde score en totale tijd (in seconden) startmeting, weergegeven per domein, per niveau, gesplitst naar f3 en f4 f3 Gemiddelde Score Totale Tijd Obs Gemiddeld St.Dev Min Max Gemiddeld St.Dev Min Max Niveau 1F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 2F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 3F Getallen Verhoudingen Meet en Meetkunde Verbanden f4 Gemiddelde Score Totale Tijd Obs Gemiddeld St.Dev Min Max Gemiddeld St.Dev Min Max Niveau 1F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 2F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 3F Getallen

13 Verhoudingen Meet en Meetkunde Verbanden *leerlingen met waarde -1 bij score van de toets zijn uit deze tabel verwijderen 13

14 Tabel 7 geeft de beschrijvende statistieken van het oefengedrag van leerlingen, uitgesplitst naar het startniveau. Tabel 7 geeft zowel het aantal leerlingen weer dat tenminste 1 oefening gemaakt heeft binnen een onderwerp, als de leerlingen die naast oefeningen van een onderwerp ook al een domeintoets gemaakt hebben, of, in het geval van scholen die de domeintoetsen uitzetten, alle leerlingen die alle afzonderlijke onderwerpen van een domein hebben afgesloten met een toets. Tenslotte geeft Tabel 7 het aandeel leerlingen dat de domeintoets, of alle losse toetsen van de onderdelen van het domein, heeft gemaakt op het totaal aantal leerlingen dat geoefend heeft. In de rest van de rapportage zullen we verwijzen naar domeintoetsen, waar in werkelijkheid we dus ook leerlingen meenemen die de losse toetsen van alle onderdelen van een domein afgerond hebben. Ten eerste valt op dat van de leerlingen die de voormeting op niveau 1F gemaakt hebben, er best een aantal geoefend hebben, maar dat er nog geen enkele leerling een domeintoets gemaakt heeft. Ook zien we dat het aandeel leerlingen dat geoefend heeft én een domeintoets gemaakt heeft bij 3F groter is dan bij 2F, hoewel absolute aantallen lager zijn. Al met al is het maar een laag aantal leerlingen dat per domein een domeintoets gemaakt heeft. In tabel 7 zien we ook dat het gemiddeld aantal keer geoefend veel hoger ligt bij 2F dan bij 3F. Dit zou erop kunnen duiden dat leerlingen bij niveau 2F meer oefeningen nodig hebben om op niveau te komen, óf dat docenten van leerlingen op niveau 2F meer sturen. Ook zou het kunnen dat er eenvoudigweg meer oefeningen beschikbaar zijn in 2F dan in 3F. 14

15 Tabel 7: Oefengedrag van leerlingen, gesplitst naar startniveau Startniveau 1F Startniveau 2F leerlingen die met onderwerp geoefend hebben aantal leerlingen die met onderwerp geoefend hebben die ook domeintoets gemaakt hebben aantal leerlingen die met onderwerp geoefend hebben aantal leerlingen die met onderwerp geoefend hebben die ook domeintoets gemaakt hebben Getallen Verhoudingen Meet en meetkunde Verbanden aantal leerlingen gemiddeld aantal keer geoefend aantal leerlingen gemiddeld aantal keer geoefend aandeel in % aantal leerlingen gemiddeld aantal keer geoefend aantal leerlingen gemiddeld aantal keer geoefend aandeel in % 1. Hele getallen Hele getallen : x Breuken Kommagetallen Verhoudingsproblemen Procenten Grootheden en maten Lengte, oppervlakte en inhoud Meetkunde Gegevensverwerking Rekenvoorschriften

16 Startniveau 3F aantal leerlingen die met onderwerp geoefend hebben aantal leerlingen die met onderwerp geoefend hebben die ook domeintoets gemaakt hebben Getallen aantal leerlingen gemiddeld aantal keer geoefend aantal leerlingen gemiddeld aantal keer geoefend aandeel in % 1. Hele getallen Hele getallen : x Breuken Kommagetallen Verhoudingen 5. Verhoudingsproblemen Procenten Meet en meetkunde 7. Grootheden en maten Lengte, oppervlakte en inhoud ,36 9. Meetkunde Verbanden 10. Gegevensverwerking Rekenvoorschriften

17 Tabel 8 geeft inzicht in het aantal maanden dat een leerling geoefend heeft voordat de domeintoets gemaakt werd. Tabel 8 laat zien dat voor het merendeel van de leerlingen het aantal maanden oefenen tussen de 1 en de 4 maanden ligt. Dit lijkt erop te duiden dat het merendeel van de leerlingen gedurende kortere tijd intensief geoefend heeft, waarna ze een domeintoets mochten maken. Slechts enkele leerlingen hebben gedurende het merendeel van het schooljaar geoefend (8 tot en met 10 maanden oefenen) en hebben daarna pas een domeintoets gemaakt. Verdere analyse (niet zichtbaar in de tabel) laat zien dat voor de leerlingen met startniveau 2F er een significant positief verband is tussen het aantal maanden tussen voormeting en nameting en de score op de nameting. Dit geldt voor de domeinen getallen, meet en meetkunde en verbanden. Dit is niet het geval voor het domein verhoudingen of voor de leerlingen met startniveau 3F. 17

18 Tabel 8: Aantal maanden geoefend tussen voormeting en domeintoets, per domein 2F 3F 2F 3F 2F 3F 2F 3F getal getal verhoudingen verhoudingen meetkunde meetkunde verbanden verbanden Aantal maanden geoefend Aantal personen Aantal personen Aantal personen Aantal personen Aantal personen Aantal personen Aantal personen Aantal personen

19 Tabel 9 laat de gemiddelde score op de domeintoets zien. Omdat er nog geen enkele leerling van startniveau 1F een domeintoets gemaakt heeft, zijn alle waarden hier 0. Tabel 9 laat zien dat zowel voor f3 als voor f4 en zowel voor niveau 1F als voor niveau 2F er het hoogst gescoord wordt op getallen. Ook zien we in Tabel 9 dat het laagste aantal leerlingen de domeintoets voor meet en meetkunde heeft afgerond, terwijl het bij de andere 3 domeinen ongeveer evenveel leerlingen zijn. Tabel 9: Gemiddelde score op de domeintoets f3 Gemiddelde Score Obs Gemiddeld St.Dev Min Max Niveau 1F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 2F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 3F Getallen Verhoudingen Meet en Meetkunde Verbanden f4 Gemiddelde Score Obs Gemiddeld St.Dev Min Max Niveau 1F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 2F Getallen Verhoudingen Meet en Meetkunde Verbanden Niveau 3F Getallen Verhoudingen Meet en Meetkunde Verbanden

20 4. Onderliggende verbanden In de gegevens zijn er enkele onderliggende verbanden zichtbaar. Deze verbanden zijn correlaties, vaak op geaggregeerd niveau, en kunnen bij gebrek aan een controlegroep niet als causale verbanden beschouwd worden. Toch zijn ze inzichtelijk omdat ze ons meer leren over het gebruik van ICT. De verbanden worden voorgesteld op basis van enkele onderzoekshypothesen. Waar voorgaande rapporteringen gebaseerd zijn op alle beschikbare gegevens, beperken we in dit hoofdstuk de data tot alle volledige leerlingen. Zowel observaties met lege cellen als observaties met foutief gelogde gegevens (bijvoorbeeld de tijd voor de instaptoets is meer dan 3 uur) worden verwijderd. Dit levert een steekproef van 9,898 observaties. 4.1 Wordt in scholen met lage leerprestaties meer met de ICT-tool gewerkt? Om deze hypothese te verifiëren benaderen we de gemiddelde schoolprestaties als het gemiddelde school- en/of centraal examen van de school (6-cijfer brin en gegevens van 2011, het laatst beschikbare jaar). We corrigeren voor bijkomende controlevariabelen als klasgrootte van de leerling, de score op de instaptoets van de individuele leerling, de tijd genomen voor de instaptoets, het rendement van de school, percentage vsv, percentage leerlingen uit armoedeprobleem-cummulatiegebied (APCG), en het percentage leerlingen in LWOO. Alle resultaten bevatten fixed effects op klasniveau, al zijn de resultaten zonder fixed effects in teken en significantie gelijk. Bemerk dat fixed effects op schoolniveau niet mogelijk zijn bij de toetsing van deze hypothese omdat de relevante variabelen op schoolniveau gemeten worden. De resultaten zijn weergegeven in 20

21 Tabel 10. Uit 21

22 Tabel 10 oberveren we dat bij hogere gemiddelde eindexamens er minder onderwerpen succesvol beëindigd worden. Ook als het totaal aantal gemaakte oefeningen als uitkomstmaatstaf gehanteerd wordt, eerder dan het aantal afgelegde onderwerpen, observeren we een gelijkaardig patroon (zie model 3 en 4). Hoe hoger het centraal examen, hoe minder oefeningen er gemaakt worden. Dit resultaat is robuust als er bijkomende controlevariabelen opgenomen worden in de regressie. Omgekeerd wil dit ook zeggen dat de scholen met lagere cijfers op het centraal examen, en lagere cijfers op het schoolexamen ook meer afgelegde onderwerpen hebben en meer oefenen. Dit suggereert dat scholen ICT als een middel zien om achterstand in te halen. Dit wordt bovendien ook bevestigd door de controlevariabelen in model 2 en 4. Hoe meer leerlingen uit APC-gebieden, hoe meer onderwerpen en oefeningen er gemaakt worden. Deze variabelen zijn significant op 1%-niveau. Het aantal leerkrachten per leerling heeft een negatieve, maar geen significante invloed op het aantal oefeningen en onderwerpen. 22

23 Tabel 10: Verband tussen leerprestaties en doorloop in het programma en aantal oefeningen Model 1 Model 2 Model 3 Model 4 Onafhankelijke variabele Onderwerp Onderwerp Oefeningen Oefeningen Gemiddelde centraal examen (brin6) *** *** Gemiddelde school examen (brin6) *** Instaptoets - score (lln niveau) *** *** Instaptoets - tijd (lln niveau) *** *** *** *** Gemiddelde instapscore (brin6 niveau) ** 0.14 Aantal leraren per lln (fte - brin6) Materiaal kosten per lln (brin6) vsv-percentage (brin6) APCG-leerlingen (%) (brin6) *** 0.736** LWOO-leerlingen (%) (brin6) Constante *** *** *** ** Fixed Effects Klas Klas Klas Klas Aantal observaties R²-adjusted legende: * p<0.05; ** p<0.01; *** p< Leidt meer oefenen tot betere prestaties? Om na te gaan of meer oefenen met de ICT-tool leidt tot betere prestaties, correleren we het aantal oefeningen dat leerlingen maken met de gemiddelde score op de toetsen. Omdat leerlingen die veel oefenen net de minder sterke leerlingen kunnen zijn (wat zou kunnen leiden tot reversed causality) corrigeren we voor de score die de leerling haalde op de instaptoets. Verder kijken we via een multiplicator of sterke leerlingen die veel oefenen hogere scores behalen (gegeven dat ze veel oefenen en gegeven dat ze een sterke leerling zijn). We corrigeren in model 2 en 3 voor klas fixed effects, en in model 4 voor klas en school fixed effects. Op deze manier wordt er rekening gehouden met alle geobserveerde en niet-geobserveerde factoren op klas- en schoolniveau. De resultaten zijn weergegeven in Tabel 11. Hieruit blijkt dat leerlingen die veel oefenen merkbaar hogere scores behalen. Gecorrigeerd voor het niveau op de instaptoets en voor het feit dat ze veel oefenen, scoren sterke leerlingen die veel oefenen hoger op de onderwerptoets. In model 3 observeren we ook dat hogere schoolexamens positief en significant correleren met hogere scores op de Gotit?! toets. De resultaten zijn robuust in het meest uitgebreide model 4. 23

24 Tabel 11: Invloed van oefenen op leerprestaties Onafh. Var: gemiddelde score Model 1 Model 2 Model 3 Model 4 Aantal oefeningen (lln niveau) *** *** *** *** Instaptoets - score (lln niveau) *** *** *** Veel oefenen * score instaptoets *** *** *** Gemiddeld centraal examen (brin6) (omitted) Gemiddeld school examen (brin6) * (omitted) vsv-percentage (brin6) ** (omitted) APCG-leerlingen (%) (brin6) *** (omitted) LWOO-leerlingen (%) (brin6) (omitted) Constante ** (omitted) 0 (omitted) *** *** * *** Fixed effect klas klas klas en school Aantal observaties R² legende: * p<.1; ** p<.05; *** p< Leidt deelname aan het ICT-programma tot hogere toetsscores? Het aantal keer dat een leerling oefent is (niet-geobserveerd) gecorreleerd met de mate waarin de school en de leerkracht de ICT-tool wensen in te zetten en met de intelligentie van de leerling. Om dit endogene gedeelte dat ontstaat door niet-geobserveerde heterogeniteit uit te zuiveren, passen we een instrumentele variabelen techniek toe. In lijn met Rouse en Krueger (2004) definiëren we deelname aan Gotit?! als de mate waarin leerlingen onderwerpen hebben afgewerkt. Leerlingen die bijvoorbeeld slechts 2 onderwerpen hebben afgewerkt, hebben veel minder contact gehad met het programma dan leerlingen die alle elf de onderwerpen hebben afgewerkt. Het aantal oefeningen dat leerlingen maken is bijgevolg sterk gecorreleerd met de mate waarin leerlingen in het programma deelnamen. Omgekeerd heeft deelname in het programma niet rechtstreeks een verband op de toetsresultaten, maar enkel via het aantal oefeningen dat gemaakt werd. Dit zorgt ervoor dat de mate van deelname aan Gotit een goed instrument vormt (dit blijkt ook uit de first stage analysis). Schematisch is de IV als volgt: Gemiddelde toetsscore aantal oefeningen Deelname aan het ICT programma De resultaten van de instrumentele variabelen regressie zijn weergegeven in 24

25 Tabel 12. Een eerste en tweede regressie model neemt deelname aan de ICT-tool op als dichotoom instrument. Leerlingen die minder dan twee onderwerpen volledig aflegden worden vergeleken met leerlingen die meer dan 10 onderwerpen volledig aflegden. In model 3 tot 5 wordt het aantal onderwerpen als een continue variabele beschouwd. Model 2 en 4 controleren bovendien voor klas fixed effect. In model 5 worden zowel klas als school fixed effects opgenomen. Dit laat ons toe om voor een brede waaier aan geobserveerde en niet-geobserveerde kenmerken te corrigeren. Wel vallen hierdoor de coëfficiënten van de schoolvariabelen die we eerder in het model hadden weg (omitted). De resultaten zijn robuust over de verschillende modelspecificaties heen. In elk van de modellen leidt, gegeven de deelname aan de ICT tool, het aantal oefeningen tot hogere resultaten. De ICT-tool leidt tot hogere leerresultaten van de leerlingen. Tabel 12: Instrumentele variabelen analyse Onafh. Variab.: post-test scores model1 model2 model3 model4 model5 Aantal oefeningen (lln niveau) *** *** *** *** *** Instaptoets - score (lln niveau) *** *** *** *** *** Instaptoets - tijd (lln niveau) *** *** *** Gemiddelde centraal examen (brin6) * (omitted) Gemiddelde school examen (brin6) 0.247** * (omitted) Aantal leraren per leerling (fte - brin6) (omitted) Materiaal kosten per leerling (brin6) *** *** (omitted) vsv-percentage (brin6) ** (omitted) APCG-leerlingen (%) (brin6) ** (omitted) LWOO-leerlingen (%) (brin6) (omitted) Constante *** ** *** ** *** Instrument Deelname dummy (veel of weinig) Deelname dummy (veel of weinig) Deelname continu Deelname continu Deelname continu klas en Fixed effects Klas Klas school Number of observations R²-adjusted Legend: * p<.1; ** p<.05; *** p< Allocatieve efficiency Het model van allocatieve efficiëntie schat de optimale verdeling, in tijd, geld, aantallen of dergelijke, van inputs om zo efficiënt mogelijk outputs te produceren. Hier wordt gekeken naar de werkelijke 25

26 verdeling over de inputs en wordt vervolgens berekend wat de optimale verdeling zou zijn om zo efficiënt mogelijk te opereren. In het geval van Gotit?! kijken we naar de efficiënte verdeling van tijd over de verschillende onderdelen per domein van rekenen. Bij het domein getallen onderzoeken we bijvoorbeeld of leerlingen misschien teveel tijd of oefenmomenten aan procenten besteden en te weinig aan optellen en aftrekken. Hierbij kijken wij naar gemiddelde score van het domein getallen op de voormeting en vervolgens ook op de domein-eind-toets die de leerling gemaakt heeft. Dit leert ons of docenten, of eventueel de software, zouden moeten sturen in de onderwerpen waar leerlingen meer of minder mee zouden moeten oefenen. We nemen in de analyse per domein alleen de leerlingen mee die al een domeintoets of alle losse onderwerptoetsen gemaakt hebben. Dit betekent dat we 4 aparte analyses maken, voor de 4 domeinen van rekenen. Per domein analyseren we zowel het optimale aandeel van het aantal keer oefenen per onderdeel als van het aantal seconden oefenen per onderdeel. 26

27 Tabel 13 a t/m d laten de werkelijke verdeling van het aantal keer oefenen en het totaal aantal seconden oefenen voor de onderdelen van de 4 domeinen zien, en daarnaast de afwijking ten opzichte van de optimale verdeling. Een minteken betekent hier dat er op dit onderdeel gemiddeld genomen te weinig geoefend is, een plusteken betekent dat er gemiddeld genomen teveel geoefend is. Het eerste dat opvalt in 27

28 Tabel 13 is dat bij domeinen verhoudingen en verbanden (tabel b en d) er eigenlijk al een optimale verdeling is. De gemiddelde efficiëntiecijfers (niet in tabel a t/m d) laten bij deze twee domeinen ook zien dat de leerlingen gemiddeld erg efficiënt zijn in hun oefengedrag om een zo goed mogelijke score op de domeintoets te behalen. Voor het domein getallen zien we in tabel a dat studenten het vaakst oefenen met kommagetallen, maar juist het meeste tijd besteden aan hele getallen delen en vermenigvuldigen. Echter zouden ze minder tijd moeten besteden aan kommagetallen, en meer aan de andere onderdelen van getallen. Daarnaast zouden ze ook vaker moeten oefenen met het onderdeel optellen en aftrekken (1,8 procent vaker, wat een stijging betekent van 20, het huidige gemiddelde over 2F en 3F, naar 21 keer). Wat betreft het domein meet en meetkunde zien we dat de verdeling van aantal keer oefenen en oefentijd ongeveer gelijk is over de drie onderdelen. Echter zouden leerlingen minder moeten oefenen met het onderdeel lengte, oppervlakte en inhoud (1,2% minder, van 23 naar 22 keer), en meer met meetkunde (van 21 naar 22 keer) en grootheden en maten (van 17 naar 18 keer). 28

29 Tabel 13: Allocatieve efficiency (tabellen a t/m d) A Getallen Werkelijke verdeling Aanpassing naar optimale verdeling Aantal keer Tijd in seconden Aantal Tijd in seconden Hele getallen + en Hele getallen : en x Breuken Kommagetallen B Verhoudingen Werkelijke verdeling Aanpassing naar optimale verdeling Aantal keer Tijd in seconden Aantal Tijd in seconden Verhoudingsproblemen Procenten C Meet en Meetkunde Werkelijke verdeling Aanpassing naar optimale verdeling Aantal keer Tijd in seconden Aantal Tijd in seconden Grootheden en maten Lengte, oppervlakte en inhoud Meetkunde D Verbanden Werkelijke verdeling Aanpassing naar optimale verdeling Aantal keer Tijd in seconden Aantal Tijd in seconden Gegevensverwerking Rekenvoorschriften Een tweede analyse, waarin we alleen leerlingen die Gotit!? zeer weinig gebruiken en de leerlingen die het veel gebruiken vergelijken (hierbij nemen we het laagste kwintiel (de laagste 20%) van leerlingen met betrekking tot oefentijd en het hoogste kwintiel (de 20% leerlingen met de hoogste oefentijd)), laat geen verschil in allocatieve efficiëntie zien voor deze twee groepen op de 4 domeinen. 29

30 6. Conditionele efficiency De invloed van Gotit?! op leerprestaties en efficiëntie wordt bepaald via een conditioneel DEA model (Daraio en Simar, 2007; De Witte en Kortelainen, 2013). Deze onderzoeksmethode is gebaseerd op het niet-parametrische Free Disposal Hull (FDH) model. Dit is een aantrekkelijke methode om vier redenen: (1) Er wordt geen voorkennis verondersteld over het exacte verloop van de relatie tussen inputs (voorbeeld budget / tijd) en outputs (voorbeeld leerprestaties). Dit is een bijzonder goede eigenschap aangezien er bijna nooit informatie is over de productiefunctie; (2) Er is geen prijsinformatie nodig over de leerlingprestaties; (3) Er wordt in de efficiëntieanalyse rekening gehouden met uitbijters en schoolkenmerken; (4) De methode laat toe om meerdere inputs en outputs tegelijkertijd op te nemen. Zo hoeft er geen beperkende keuze in inputs en outputs gemaakt te worden. In dit efficiëntiekader worden scholen met elkaar vergeleken door middel van een benchmark. Scholen die met gegeven inputs de hoogste leerlingprestaties behalen, krijgen een efficiëntiescore van 100 procent. Scholen die onder de benchmark scoren, krijgen een lagere score. Het verschil van 100 minus de efficiëntiescore van de school komt overeen met de mogelijke verbetering voor deze school. Dit betekent dat de school met hetzelfde budget hogere leerlingprestaties zou kunnen bereiken, of anders gezegd, dezelfde leerlingprestaties kan bereiken met minder geld. Uiteraard worden alleen vergelijkbare scholen onderling vergeleken. We corrigeren op deze manier voor geobserveerde schoolkenmerken (zie ook Haelermans & De Witte, 2012). We concentreren ons in deze exercitie op leerlingen die instaptoets 1F namen en alle onderwerpen volledig doorlopen hebben. Leerlingen moeten, gegeven hun instapscore en tijd voor de instaptoets (dit zijn de twee inputs), de gemiddelde score op de eindtoets maximaliseren (dit is de output). De eerste input is een maatstaf voor de intelligentie van de leerlingen. Ze is vaak ook gecorreleerd met achtergrondkenmerken van de leerlingen waarvoor we geen informatie hebben (vb. opleiding van de ouders). De tweede input is een benadering voor de verwerkingssnelheid van leerlingen. De output is de gemiddelde score op de verschillende domeinen die de leerling heeft afgelegd. Grafisch is de grens van best practices tweedimensionaal weergegeven in Figuur 2: FDH grens met 1 input en 1 output 30

31 Figuur 2 (een driedimensionale weergave zou beter zijn aangezien er twee inputs zijn, maar dit is moeilijker grafisch te interpreteren). Er blijkt 1 uitbijter te zijn in de gegevens. Het efficiency model zal hier automatisch rekening mee houden. Enkele leerlingen zijn best practice : gegeven de score op de instaptoets en gegeven hun tijd, zijn er geen leerlingen die een hogere gemiddelde eindtoets behalen. De traditionele FDH houdt geen rekening met de omgevingskenmerken van de leerlingen. Het conditionele FDH model doet dit wel aangezien het enkel vergelijkbare observaties vergelijkt. De efficiëntiescores die uit elk van deze modellen komt interpreteren is niet echt zinvol. Wel is het zinvol om de efficiency waarin er rekening wordt gehouden met individuele- en schoolkenmerken (het conditionele efficiency model ) te vergelijken met de efficiency waarin dit niet werd gedaan. Dit geeft immers een aanknopingspunt om te bepalen wat de efficiency van leerlingen verklaart (zie De Witte & Kortelainen (2013) voor een formele toelichting, en De Witte & Geys (2013) en Haelermans en De Witte (2012) voor toepassingen van deze methode). In het conditionele efficiency model houden we rekening met zowel individuele- en schoolkenmerken, als maatstaven voor de ICT inzet van de leerling en de school. Meer bepaald het leerjaar van de leerling, de klasgrootte, het schoolgemiddelde op centraal examens, het aantal leraren in de school (in fte) en het aantal oefeningen dat de leerling maakt. In een tweede modelspecificatie nemen we daarnaast ook de uitgaven voor materiele kosten zonder huisvesting op. Deze kosten zijn immers sterk gecorreleerd aan ICT uitgaven van de school. 31

32 Figuur 2: FDH grens met 1 input en 1 output De resultaten van de niet-parametrische analyse laten zien dat sommige variabelen een merkbare invloed hebben op de efficiency van leerlingen (gemeten als het maximaliseren van de gemiddelde eindtoets gegeven de score en tijd van de instaptoets). Leerlingen uit hogere leerjaren zijn minder efficiënt, net als grotere klassen. Hoe hoger de gemiddelde score op het centraal examen van de school hoe hoger de geobserveerde efficiency. 32

33 Tabel 14: Factoren die de efficiency beïnvloeden op 1F Model 1 Model 2 Richting correlatie p-waarde Richting correlatie p-waarde Leerjaar Ongunstig *** Ongunstig 0.01 *** Gemiddelde cijfer centraal examen Gunstig *** Gunstig *** Klasgrootte Ongunstig 0.05 ** Ongunstig 0.69 Aantal leerkrachten (FTE) Gunstig *** Ongunstig *** Aantal oefeningen Gunstig *** Ongunstig *** Materiële investeringen Gunstig *** * Significant op tienprocent-niveau, ** Significant op vijfprocent-niveau, en *** significant op éénprocent-niveau 33

34 Literatuur Arroyo, I., Park Woolf, B., Royer, J. M., Tai, M., & English, S. (2010). Improving Math Learning through Intelligent Tutoring and Basic Skills Training. In V. Aleven, J. Kay & J. Mostow (Eds.), ITS 2010, Part i, LNCS 6094 (pp ). Berlin Heidelberg: Springer-Verlag. Barta, J. J., & Allen, M. G. (1995). The Dilemma of Tracking and Grouping in Early Childhood and Middle Grades: Are We Speaking the Same Language. Bloomington/Indiana: Phi Delta Kappa Educational Foundation. Becker, H. J. (1990). Effects of Computer Use on Mathematics Achievement. Findings from a Nationwide Field Experiment in Grades Five to Eight. Classes: Rationale, Study Design, and Aggregate Effect Sizes. Baltimore, MD.: Center for Research on Elementary and Middle Schools. Bosker, R. (2005). De grenzen van gedifferentieerd onderwijs. Groningen: Universiteit van Groningen. Burns, M. K., Kanive, R., & DeGrande, M. (2012). Effect of a Computer-Delivered Math Fact Intervention as a Supplemental Intervention for Math in Third and Fourth Grades. Remedial and Special Education, 33, 3. Commissie Meijerink. (2008). Over de drempels met taal en rekenen - Hoofdrapport van de expertgroep doorlopende leerlijnen taal en rekenen. Enschede. Christensen, C. A., & Gerber, M. M. (1990). Effectiveness of computerized drill and practice games in teaching basic math facts. Exceptionality: A Special Education Journal, 1(3), De Witte, K. and Geys, B. (2013). Citizen Coproduction and Efficient Public Good Provision: Theory and Evidence from Local Public Libraries. European Journal of Operational Research 224, De Witte, K. & Rogge, N. (2013). Does ICT matter for effectiveness and efficiency in secondary education. TIER Working paper series. Mimeo. De Witte, K. and Kortelainen, M. (2013), What Explains Performance of Students in a Heterogeneous Environment? Conditional Efficiency Estimation with Continuous and Discrete Environmental Variables. Applied Economics 45(17) Forsten, C., Grant, J., & Hollas, B. (2002). Differentiated Instruction. Different Strategies for Different Learners. Peterborough: Crystal Spring Books. Fischer, K. W., & Rose, L. T. (2001). Webs of skill: How students learn. Educational Leadership, 59(3), Haelermans, C., J. Ghysels, D. Stals, & F. Weeda. (2013). Het effect van online digitaal oefenen op rekenprestaties van brugklasleerlingen. Economisch Statistische Berichten, 98(4671),