De Effectiviteit van Spacing bij het Verhogen van Leeropbrengst in MOOCs

Transcriptie

1 De Effectiviteit van Spacing bij het Verhogen van Leeropbrengst in MOOCs Tim Molleman Studentnummer: Universiteit van Amsterdam

2 Abstract In dit onderzoek werd de effectiviteit van spacing bij het verhogen van leeropbrengst in Massive Open Online Courses (MOOCs) bij 61 deelnemers onderzocht. Spacing is een leertechniek waarbij bepaalde stof in meerdere sessies geleerd wordt, in plaats van in één sessie. De deelnemers werden willekeurig verdeeld over drie condities. 18 deelnemers volgden een MOOC van 8 weken, zoals deze normaal ook aangeboden werd. 20 deelnemers volgden ook deze MOOC, maar dan met 40 extra vragen volgens een spaced learning schema. 23 deelnemers volgden deze MOOC, maar dan met 40 extra vragen volgens een massed learning schema. Het cijfer op de eindtoets van de MOOC werd gebruikt om leeropbrengst te meten. Deelnemers die een spaced learning schema met extra vragen kregen en deelnemers die een massed learning schema met extra vragen kregen, vertoonden geen hogere leeropbrengst dan deelnemers die geen extra vragen kregen. Hiernaast vertoonden deelnemers die een spaced learning schema kregen geen hogere leeropbrengst dan deelnemers die een massed learning schema kregen. De bevindingen van dit onderzoek hebben vooralsnog niet kunnen aantonen dat spacing effectief is in het verhogen van leeropbrengst in MOOCs. Inleiding In de afgelopen jaren is er toenemende belangstelling ontstaan voor een nieuwe manier van online leren die toegankelijk is voor iedereen met een PC of laptop en een werkende internetverbinding. Deze manier van online leren wordt aangeboden in zogenaamde Massive Open Online Courses (MOOCs). Hoewel er nog geen eenduidige definitie is van MOOCs, zijn deze in grote lijnen te omschrijven als gratis online cursussen die door iedereen gevolgd kunnen worden, massaler zijn dan traditionelere vormen van online leren en die wereldwijd aangeboden worden. MOOCs duren over het algemeen een aantal weken, waarin deelnemers iedere week over een bepaald onderwerp opdrachten maken en/of video s kijken en/of quizzes maken (Daniel, 2012). Sinds de eerste officiële MOOC online ging in 2008 is het aantal MOOCs dat aangeboden wordt drastisch gestegen, net als het aantal mensen dat MOOCs volgt. MOOCs over een groot aantal onderwerpen worden tegenwoordig

3 aangeboden, bijvoorbeeld over wiskunde, sociale studies en informatica (Adamopoulos, 2013). Deze cursussen worden gevolgd door mensen over de gehele wereld, met diverse academische achtergronden en met verschillende voorkennis over de onderwerpen in de cursussen (DeBoer, Stump, Seaton en Breslow, 2013). Het grootste deel van de MOOCs wordt gemaakt door universiteiten en aangeboden op één van de verschillende platforms die MOOCs aanbieden, zoals edx, Coursera en Udacity (Daniel, 2012). In het huidige onderzoek werd er aan de hand van een experimenteel onderzoeksdesign gekeken of een leerinterventie die in een offline leeromgeving effectief gebleken is in het verhogen van leeropbrengst, ook effectief is in het verhogen van leeropbrengst in MOOCs. Een veelgehoorde kritiek op onderzoek naar MOOCs is namelijk dat deze zich niet genoeg focust op het verhogen van leeropbrengst. Tot op heden is onderzoek naar leeropbrengst in MOOCs voornamelijk correlationeel onderzoek geweest. Doordat er geen causale verbanden gelegd kunnen worden tussen variabelen in dit soort onderzoek, is het niet mogelijk om aan de hand van de resultaten praktische verbeteringen aan te brengen in MOOCs die leeropbrengst verhogen. Om leeropbrengst in MOOCs te kunnen verhogen dient er daarom ook een experimenteel onderzoeksdesign gebruikt te worden in onderzoek naar MOOCs (Reich, 2015). Dit kan in de vorm van A/B testen. Deze testen worden op dit moment voornamelijk gebruikt voor het verbeteren van websites. Hierbij krijgt één groep website bezoekers een bepaalde versie van een website te zien en een andere groep een andere versie van dezelfde website. De versies bevatten meestal kleine verschillen, zoals de kleur van een button. Vervolgens wordt er gekeken hoe de verschillende groepen scoren op een bepaalde uitkomstmaat, bijvoorbeeld hoe vaak er op de button gedrukt wordt door de twee groepen (Savi, Williams, Maris en van der Maas, 2015). Dit soort A/B testen zijn in principe ook toe te passen in MOOCs, door twee (of meerdere) condities verschillende vormen van een cursus te geven. Hiernaast is er al veel experimenteel onderzoek gedaan naar leerinterventies in offline leeromgevingen, waarbij deze leerinterventies effectief zijn gebleken in het verhogen van leeropbrengst. Veel van deze leerinterventies

4 zijn nu ook toe te passen in online leeromgevingen, waarna er onderzocht kan worden of ze ook hier effectief blijken (voor voorbeelden van succesvolle implementaties van leerinterventies in online leeromgevingen zie Xiong en Beck (2014); Paunesku, Walton, Romero, Smith, Yeager en Dweck (2015); Piech, Huang, Nguyen, Phulsuksombati, Sahami, & Guibas (2015)). Wanneer dit soort leerinterventies in MOOCs worden toegepast en de effectiviteit van deze interventies wordt onderzocht doormiddel van A/B testen, kunnen resultaten van dit soort onderzoek gebruikt worden om verbeteringen in MOOCs aan te brengen die leeropbrengst verhogen (Reich, 2015). Één leerinterventie die zeer effectief is gebleken bij onderzoek in offline leeromgevingen en die ook toe te passen is in MOOCs, heet spacing/spaced learning. Spacing is een leertechniek waarbij bepaalde stof geoefend wordt in verschillende sessies die een zekere tijd uit elkaar liggen. Tegenover spacing staat de leertechniek genaamd massed learning, waarbij bepaalde stof juist in één (langere) sessie geoefend wordt (Sobel, Cepeda en Kapler, 2010). Spacing is al effectiever gebleken in het verhogen van leeropbrengst ten opzichte van massed learning, wat onder andere blijkt uit een meta-analyse van Cepeda, Pashler, Vul, Wixted en Rohrer (2006). Zij vonden dat over alle 317 onderzoeken die geanalyseerd werden in de meta-analyse, de spacing conditie gemiddeld 47.3% goed maakte op een geheugentest over de geleerde stof. In de massed conditie was dit maar 36.7%. Spacing kan zowel door stof herhaaldelijk te leren, als door het herhaaldelijk oefenen van stof door middel van toetsing worden tewerkgesteld. In het laatste geval wordt spacing gecombineerd met een andere leertechniek, genaamd practice testing. Bij practice testing wordt stof geleerd door deze te oefenen aan de hand van een test, in plaats van door de stof simpelweg te leren. Het testing effect het fenomeen waarbij het oefenen van stof aan de hand van een test voor langere retentie van de stof zorgt dan het leren van deze stof (Roediger lll en Butler, 2011) is al sterk gebleken in vele onderzoekssettings.. Hoewel gebleken is dat het herhaaldelijk oefenen van bepaalde stof door simpelweg te leren effectief is bij het verhogen van leeropbrengst (zie bijvoorbeeld Sobel et al. (2010)), is het herhaaldelijk oefenen van deze stof door

5 middel van toetsing een effectievere vorm van spacing gebleken (Dunlosky et al., 2013). Ook is al gebleken dat spacing en specifiek spacing die gebruik maakt van practice testing - werkt in een online leeromgeving. In een onderzoek van Kerfoot et al. (2007) kreeg de helft van een groep arts-assistenten 96 studievragen over urologie opgestuurd via de , die zij op eigen tempo en in elke volgorde konden maken. De andere helft van de deelnemers kreeg elke dag een met 1 of 2 van deze 96 vragen. Deze mails werden voor 27 weken gestuurd en waren zo gestructureerd dat ze voor spacing zorgden. Het bleek dat de deelnemers in de spacing conditie beter scoorden op een eindtest dan de deelnemers uit de andere conditie. Dit spacing effect werd twee jaar later nog steeds gedetecteerd bij de deelnemers die meededen aan het onderzoek in 2007 (Kerfoot, 2009). De vraag is echter of spacing ook effectief zal zijn in MOOCs. Hoewel gebleken is dat spacing kan werken in een online leeromgeving (Kerfoot et al., 2007; Kerfoot, 2009), is de leeromgeving van MOOCs een stuk ongecontroleerder. Deelnemers kunnen bijvoorbeeld op hun eigen tempo door de stof heen werken en worden hierdoor niet gedwongen om zich aan een bepaald schema te houden. Het kan hierdoor mogelijk lastig zijn om spacing in deze omgeving te implementeren. Om de vraag te beantwoorden of spacing effectief is in het verhogen van leeropbrengst in MOOCs, werden deelnemers aan dit onderzoek willekeurig verdeeld over drie condities. In de controleconditie kregen deelnemers een versie van een 8 weken durende MOOC die hetzelfde was als normaal. In de spacing conditie kregen deelnemers een versie van deze MOOC die elke week extra vragen bevatte volgens een schema dat voor spaced learning zou moeten zorgen. Het leerschema dat gebruikt werd was uniform. Dit hield in dat deelnemers iedere week in de wekelijkse quiz extra vragen kregen over de stof van elke voorgaande week. De tijd tussen herhaalde blootstellingen aan bepaalde stof bleef dus gelijk. Tegenover een uniform spacing schema staat een uitbreidend spacing schema, waarbij de tijd tussen herhaalde blootstellingen aan bepaalde stof steeds langer wordt. Hoewel er bewijs is voor beide vormen van spacing (zie Karpicke en Bauernschmidt (2011) voor bewijs voor uniforme

6 spacing schema s en Nakata (2015) voor bewijs voor uitbreidende spacing schema s) is er gezien de korte looptijd van de MOOC in dit onderzoek gekozen voor een uniform spacing schema. Door de korte looptijd zou een uitbreidend spacing schema mogelijk te weinig blootstelling aan de stof teweeg kunnen brengen, waardoor spaced learning überhaupt zou uitblijven. In de massed conditie kregen deelnemers in iedere wekelijkse quiz extra vragen over het onderwerp van de desbetreffende week. Aan het einde van de acht weken durende cursus werd er gekeken in welke conditie deelnemers de hoogste leeropbrengst vertoonden. Verwacht werd dat deelnemers in de spacing en massed condities een hogere leeropbrengst zouden vertonen dan deelnemers in de controleconditie. Verder werd er ook nog verwacht dat deelnemers in de spacing conditie een hogere leeropbrengst zouden vertonen dan deelnemers in de massed conditie. Methode Deelnemers Deelnemers aan dit onderzoek volgden een MOOC genaamd Quantitative Methods. Deze cursus wordt door de Universiteit van Amsterdam aangeboden op het Coursera platform. In totaal zijn er 454 mensen begonnen aan de MOOC. De data van deelnemers die voor de deadline van de dataverzameling (13 juni) de eindtoets van de MOOC niet hadden gemaakt, werd niet meegenomen in de analyses. Uiteindelijk zijn er 61 deelnemers die instemden om hun data beschikbaar te stellen voor het onderzoek gebruikt in de analyses. Doordat het opgeven van demografische gegevens vrijwillig was voor deelnemers en slechts enkele deelnemers dit hadden gedaan, waren er te weinig gegevens om iets over de demografische kenmerken van de steekproef te zeggen. Deelname aan de Quantitative Methods MOOC is voor iedereen die er interesse in heeft mogelijk. Deelnemers die instemden om mee te doen aan het onderzoek kregen geen enkele compensatie voor hun deelname aan het onderzoek. Materiaal De Quantitative Methods MOOC maakt deel uit van een verzameling MOOCs die aangeboden worden door de Universiteit van Amsterdam. Deze

7 MOOCs gaan over de methodologische basisprincipes die nodig zijn voor het opzetten en uitvoeren van goed onderzoek in de sociale wetenschappen, en kunnen gevolgd worden zonder enige voorkennis over de onderwerpen. In de Quantitative Methods MOOC wordt er specifiek ingegaan op de beginselen van de wetenschappelijke methode, onderzoeksdesigns, meten, het nemen van steekproeven en onderzoeksethiek binnen kwantitatief onderzoek. De cursus duurt 8 weken en opent elke maand om een cohort mensen toe te laten die dan de cursus willen volgen. Het cohort deelnemers dat in dit onderzoek werd gebruikt deed de MOOC van 11 april 2016 tot en met 12 juni Deelnemers aan het onderzoek werden willekeurig ingedeeld in de controleconditie, de spacing conditie of de massed conditie. Dit gebeurde ook voor mensen die niet instemden om hun data beschikbaar te stellen voor het onderzoek. De deelnemers die in de controleconditie waren ingedeeld kregen de versie van de Quantitative Methods cursus die normaal ook gegeven wordt. Zij kregen van week 1 tot en met week 6 video s om te kijken die informatie gaven over de onderwerpen van die weken. Hiernaast maakten de deelnemers in deze conditie van week 1 tot en met week 6 ook elke week een quiz en een schrijfopdracht over het onderwerp van die week. In de massed en spacing condities werd hetzelfde materiaal aangeboden als in de controleconditie, maar daarbovenop kregen deelnemers in deze twee condities nog extra vragen in de wekelijkse quizzes. Het aantal extra vragen dit waren er 40 in totaal - werd in de beide condities gelijk gehouden, zodat de twee condities evenveel extra oefening kregen. In de massed conditie kregen deelnemers van week 2 tot en met week 5 elke week 10 extra vragen over het onderwerp van die week. In de spacing conditie kregen deelnemers van week 3 tot en met week 6 elke week een aantal extra vragen over de voorgaande weken (behalve uit week 1). Tabel 1 geeft de verdeling weer van de extra vragen over de weken voor de massed en spacing condities.

8 Tabel 1 Aantal Extra Vragen per Week voor de Controle, Massed en Spacing Condities. Extra vragen per week voor de controleconditie Extra vragen per week voor de massed conditie Extra vragen per week over de gegeven voorgaande weken voor de spacing conditie 1 Week: Totaal aantal extra vragen per week voor de spacing conditie Oefententamen Eindtoets Noot. De massed conditie kreeg van week 2 tot en met week 5 extra vragen over het onderwerp van die week. De spacing conditie kreeg van week 3 tot en met week 6 extra vragen over voorgaande weken. In week 7 kreeg iedere deelnemer een oefentoets en in week 8 kreeg iedere deelnemer een eindtoets. De extra vragen die de massed en spacing condities kregen waren voor beide condities hetzelfde. Een deel van de extra vragen werd gecreeërd door aanpassingen te maken in de al bestaande vragen. Zo ontstond de extra vraag Which of the following illustrates a between-groups design?, door de al bestaande vraag Which of the following illustrates the use of a within-subjects design? lichtelijk aan te passen. Het andere deel van de extra vragen werd gemaakt aan de hand van het videomateriaal en de transcripties van het videomateriaal. In week 7 kreeg iedere deelnemer de optie om één of twee oefententamen(s) van elk 30 vragen te maken, en in week 8 kreeg iedere deelnemer een eindtoets van 30 vragen. Alle vragen van zowel de quizzes, de oefententamens en de eindtoets waren multiple choice vragen met drie antwoordmogelijkheden,

9 waarvan er één goed was. Om de cursus af te kunnen ronden dienden alle wekelijkse quizzes, alle schrijfopdrachten en de eindtoets afgemaakt te zijn. Als uitkomstmaat werden de cijfers van de deelnemers op de eindtoets in week 8 gebruikt. Een factor die mogelijk invloed gehad zou kunnen hebben op de cijfers op deze eindtoets, is het feit dat deelnemers in de spacing conditie in week 6 blootgesteld werden aan de stof uit week 2 t/m 6, terwijl deelnemers in de controle en massed condities in week 6 alleen blootgesteld werden aan de stof uit week 6 (zie Tabel 1). Het is een mogelijkheid dat deze recentere blootstelling aan de stof uit week 2 t/m 5 deelnemers in de spacing conditie een voordeel zou opleveren op de eindtoets tegenover deelnemers in de controle en massed condities, doordat de stof voor hen verser in het geheugen was bij de eindtoets. In de (optionele) oefententamens in week 7 kwam de stof van week 1 t/m 6 echter ook nog aan bod. Om te zorgen dat alle deelnemers die werden meegenomen in de analyses voor de eindtoets nog blootgesteld waren aan de stof uit week 1 t/m 6, werden deelnemers die geen van de twee oefententamens in week 7 hadden gemaakt niet meegenomen in de analyses. Er vielen hierdoor geen deelnemers af, aangezien het bleek dat iedere deelnemer minstens 1 oefententamen gemaakt had. Procedure Alle mensen die meededen aan de MOOC tussen 11 april en 12 juni werden toegewezen aan één van de drie versies van de Quantitative Methods MOOC. Wegens omstandigheden rond het implementeren van het onderzoek gebeurde dit pas toen de cursus al een week open was en sommige mensen dus al bezig waren met de cursus. In week 2 van de cursus werd er voor de wekelijkse quiz een informed consent formulier gegeven, die deelnemers aan de MOOC konden invullen. Hier konden zij kiezen om wel of geen toestemming te geven voor het gebruik van hun data in het onderzoek. Dit formulier werd gegeven in de vorm van een oefenquiz die niet meetelde bij het eindcijfer. Doordat de quiz wel een beoordeling gaf, en het instemmen met het delen van data goed werd gerekend, kregen sommige deelnemers de indruk dat zij een lager cijfer zouden halen wanneer zij niet instemden met het beschikbaar stellen van hun data. Iedereen die de MOOC deed kreeg een dat dit niet het geval

10 was. Alle data werd geanonimiseerd en werd alleen gebruikt voor wetenschappelijke doeleinden. Elke versie van de MOOC had een eigen discussieforum, waardoor deelnemers uit de verschillende condities niet met elkaar konden communiceren over verschillen tussen de versies. Deelnemers aan het onderzoek konden geheel op eigen tempo de cursus doorlopen. Dit betekent dat zij niet gebonden waren aan de gegeven/geadviseerde weekplanning, en dat zij dus zonder consequenties vooruit konden werken of achter konden lopen op de planning. Vooral voor de spacing conditie was het belangrijk dat deelnemers niet te snel door de planning zouden lopen, aangezien zij dan wellicht te weinig tijd tussen quizzes zouden nemen om voor spaced learning te kunnen zorgen. In de analyse is hier dan ook aandacht aan besteed. Op 13 juni werd de dataverzameling stopgezet en was tevens de cursus afgelopen. De analyses werden vervolgens uitgevoerd over de data van deelnemers aan het onderzoek die op dat punt de eindtoets hadden afgerond en toestemming hadden gegeven voor het gebruik van hun data. Analyseplan Om de verwachtingen te testen werd er gebruik gemaakt van een oneway ANOVA. Wanneer er aan de hand van deze ANOVA gevonden zou worden dat er een verschil was van gemiddelde cijfers op de eindtoets tussen de condities, zouden er hiernaast om de verwachtingen te toetsen nog twee orthogonale contrasten worden uitgevoerd binnen de ANOVA. Het eerste contrast zou de de verwachting testen dat deelnemers uit de spacing en massed condities hoger scoorden op de eindtoets dan deelnemers uit de controleconditie. Het tweede contrast zou de verwachting testen dat deelnemers uit de spacing conditie hoger scoorden op de eindtoets dan deelnemers uit de massed conditie. Voor de manipulatiecheck werd er naar twee dingen gekeken. Ten eerste werd er gekeken of deelnemers alle wekelijkse quizzes van de cursus hadden gemaakt. Hiernaast werd er gekeken hoeveel tijd deelnemers in de verschillende condities gemiddeld namen tussen het maken van quizzes. Aan de hand van een one-way ANOVA werd er daarnaast ook gekeken of de gemiddelde tijd die deelnemers uit de drie condities namen tussen het maken van quizzes gelijk was.

11 Om te kijken of de gemiddelde opleidingsniveau s en de gemiddelde leeftijden van deelnemers in de condities gelijk waren, werden er twee one-way ANOVA s uitgevoerd. Ook werd er een chi-kwadraat toets uitgevoerd om te kijken of de man/vrouw verhoudingen binnen de verschillende condities gelijk waren. Om te kijken of deelnemers in de condities er gemiddeld even lang over deden om de MOOC af te ronden werd er daarnaast nog een one-way ANOVA uitgevoerd. Resultaten In totaal zaten er 63 deelnemers in de database die de eindtoets voor 13 juni hadden gemaakt. Van deze 63 deelnemers zijn er twee verwijderd omdat zij de cursus al voor 11 april hadden afgerond. Van de overige 61 deelnemers zaten er 18 in de controleconditie, 20 in de spacing conditie en 23 in de massed conditie. Aangezien er van slechts 7 deelnemers gegevens beschikbaar waren over hun opleidingsniveau, hun geslacht en hun leeftijd, is ervoor gekozen om geen van de toetsen in het analyseplan uit te voeren op deze gegevens. Dit aangezien de resultaten van deze toetsen waarschijnlijk niet zouden generaliseren naar de gehele steekproef. Allereerst werd er dan ook getoetst of deelnemers in de drie condities er gemiddeld even lang over deden om de cursus af te ronden. Hiervoor werd er een one-way ANOVA uitgevoerd op de gemiddelden die staan weergegeven in Tabel 1. Tabel 1 Gemiddelde Tijden en Bijbehorende Standaardafwijkingen (tussen Haakjes) om de Cursus af te Ronden voor de Controle, Spacing en Massed Condities in Weken Conditie Gemiddelde Controle 4.78 (2.18) Spacing 5.62 (1.99) Massed 4.77 (2.18)

12 Er werd geen significant verschil gevonden tussen de gemiddelde tijd die deelnemers in de drie condities erover deden om de cursus af te ronden, F(2) = 1.504, p = Vervolgens werd er gekeken of deelnemers in de verschillende condities alle wekelijkse quizzes hadden gemaakt. In Tabel 3 staat voor elke conditie weergegeven hoeveel deelnemers 4, 5 en 6 quizzes hadden gemaakt. Geen enkele deelnemer had minder dan 4 quizzes gemaakt. Tabel 2 Het Aantal Deelnemers per Conditie die 4, 5 en 6 Quizzes Hebben Gemaakt Conditie 4 quizzes 5 quizzes 6 quizzes Controle Spacing Massed Zoals uit Tabel 2 blijkt heeft het grootste deel van de deelnemers alle wekelijkse quizzes gemaakt. Enkele deelnemers hebben echter niet alle wekelijkse quizzes gemaakt. Voornamelijk in de spacing conditie kan dit erop duiden dat de manipulatie bij sommige deelnemers niet geslaagd is. Gezien het kleine aantal datapunten dat echter al beschikbaar was voor de hoofdanalyse en het feit dat de cijfers van de deelnemers die minder quizzes hadden gemaakt niet in grote mate leken af te wijken van de cijfers van deelnemers die alle quizzes hadden gemaakt, werd er gekozen om alle datapunten te behouden. Hierna werd er gekeken hoelang deelnemers in de verschillende condities gemiddeld de tijd namen tussen het maken van de wekelijkse quizzes. In Tabel 3 staat voor iedere conditie de gemiddelde tijd die deelnemers namen tussen het maken van de quizzes met daarnaast de bijbehorende standaarddeviatie. Tabel 3 Gemiddelde Tijd in Dagen die Deelnemers Namen tussen het Maken van de Quizzes en Bijbehorende Standaarddeviaties (tussen Haakjes) voor de Controle, Spacing en Massed condities

13 Conditie Gemiddelde Controle 3.69 (1.71) Spacing 4.35 (1.44) Massed 4.26 (1.45) Zoals in Tabel 3 te zien is namen deelnemers uit de spacing conditie gemiddeld ongeveer 4 dagen de tijd tussen het maken van quizzes. Hiernaast blijkt uit Figuur 1 dat bijna alle deelnemers in de spacing conditie gemiddeld ten minste 3 dagen de tijd namen tussen het maken van opeenvolgende quizzes, en dat de meesten gemiddeld meer dan 4 dagen de tijd namen tussen het maken van de quizzes. Gezien spacing rust op het idee dat stof in meerdere sessies wordt geleerd en dat er enige tijd tussen deze sessies zit, lijkt de manipulatie geslaagd. Immers, uit Figuur 1 blijkt dat het gros van de deelnemers in de spacing conditie een aantal dagen nam tussen het maken van quizzes. Figuur 1. Distributie van de gemiddelde tijden die deelnemers per conditie namen tussen het maken van quizzes. Om te kijken of de gemiddelde tijd tussen het maken van de quizzes tussen de verschillende condities niet in grote mate van elkaar verschilde, werd er een one-way ANOVA op de gemiddelden in Tabel 3 uitgevoerd. Er werd geen significant verband gevonden tussen conditie en de tijd die er besteedt werd

14 tussen het maken van de quizzes, F(2) = 1.027, p =.364. Dit betekent dat de gemiddelde tijd tussen het maken van de quizzes niet significant verschilde tussen de condities. Ten slotte is er in de hoofdanalyse gekeken naar de effecten van conditie op het cijfer op de eindtoets. In Tabel 4 staat voor iedere conditie het gemiddelde cijfer op de eindtoets en de bijbehorende standaardafwijking weergegeven. Tabel 4 Gemiddelde Cijfers op de Eindtoets en Bijbehorende Standaarddeviaties (tussen Haakjes) voor de Controle, Spacing en Massed Condities Conditie Gemiddelde Controle 8.13 (1.18) Spacing 8.10 (1.02) Massed 8.32 (1.10) Aan de hand van drie Shapiro-Wilk tests werd vastgesteld dat de data in alle drie de condities normaal verdeeld was. Hiernaast werd er aan de hand van een Levene s test ook vastgesteld dat de varianties binnen de drie condities niet significant van elkaar verschilden. Hierdoor kon er een standaard one-way ANOVA uitgevoerd worden op de gemiddelden uit Tabel 4. Er werd geen significant effect gevonden van conditie op het cijfer op de eindtoets, F(2) = 0.253, p =.779. Dit betekent dat de gemiddelde cijfers op de eindtoets tussen de drie condities niet significant van elkaar verschilden. Gezien het feit dat er geen significant verschil in cijfers op de eindtoets bleek te zijn tussen de drie condities, werden de eerder genoemde contrasten niet meer uitgevoerd. In Figuur 3 staan de frequenties van de behaalde cijfers op de eindtoets voor iedere conditie apart weergegeven. Uit Figuur 3 valt ook op te maken dat er sprake is van een plafondeffect, aangezien enkele deelnemers (n = 6) het hoogst haalbare cijfer op de eindtoets behaalden.

15 Figuur 2. Frequenties van de behaalde cijfers op de eindtoets voor de spacing, massed en controle condities. Aan de verwachting dat deelnemers in de spacing en massed condities gemiddeld hoger zouden scoren op de eindtoets dan deelnemers in de controleconditie werd niet voldaan. Ook werd er tegen de verwachtingen in gevonden dat deelnemers in de spacing conditie gemiddeld niet hoger scoorden op de eindtoets dan deelnemers in de massed conditie. Discussie In dit onderzoek werd er aan de hand van een experimenteel onderzoeksdesign onderzocht of spacing effectief is in het verhogen van leeropbrengst in MOOCs. Tegen de verwachtingen in bleek het dat deelnemers die een leerschema volgden dat gebaseerd was op spaced learning geen hogere leeropbrengst vertoonden dan deelnemers die een leerschema volgden dat gebaseerd was op massed learning. Ook tegen de verwachtingen in werd er gevonden dat zowel deelnemers die een leerschema volgden dat gebaseerd was op spaced learning, als deelnemers die een leerschema volgden dat gebaseerd was op massed learning, geen hogere leeropbrengst vertoonden dan deelnemers die geen extra stof kregen in de MOOC.

16 Een mogelijke reden waarom spacing niet effectief is gebleken in het verhogen van leeropbrengst in MOOCs, is dat de leeromgeving van MOOCs in hoge mate ongecontroleerd is. Deelnemers kunnen zoals eerder gezegd zelf bepalen wanneer zij quizzes maken, waardoor zij op eigen tempo door de cursus heen kunnen lopen; een gegeven dat ervoor zou kunnen hebben gezorgd dat deelnemers in de spacing conditie zich niet aan het beoogde spaced learning schema hebben gehouden. Echter blijkt uit de resultaten van dit onderzoek dat het overgrote deel van de deelnemers die het spaced learning schema volgden gemiddeld 4 dagen of meer besteedden tussen het maken van quizzes. Dit betekent dat er voor de deelnemers een aanzienlijke tijd tussen het maken van de quizzes zat, waardoor spacing hoogstwaarschijnlijk wel zou moeten werken als beoogd. Hiernaast is uit onderzoek van Kerfoot et al. (2007) al gebleken dat spacing wel degelijk effectief kan zijn in een ongecontroleerde online leeromgeving. Kerfoot et al. (2007) gebruikten echter een uitbreidend spaced learning schema. Dit in tegenstelling tot het huidige onderzoek, dat een uniform spaced learning schema gebruikte. In toekomstig onderzoek naar MOOCs is het dan ook een idee om te kijken of een uitbreidend spaced learning schema wel effectief kan zijn in het verhogen van leeropbrengst in MOOCs. Naast het gegeven dat een uniform spaced learning schema wellicht niet effectief is in MOOCs, is het zeer waarschijnlijk dat de power van dit onderzoek vrij klein was. Het aantal deelnemers dat uiteindelijk overbleef voor de analyse was namelijk een stuk kleiner dan verwacht werd bij aanvang van het onderzoek. In de ongecontroleerde leeromgevingen van MOOCs is er echter een hoger deelnemersaantal nodig om een bestaand effect te vinden dan in meer gecontroleerde leeromgevingen. In toekomstig onderzoek is het dan ook aan te raden om leerinterventies in MOOCs te testen die grotere deelnemersaantallen hebben dan de Quantitative Methods MOOC. Naast het feit dat het deelnemersaantal dus mogelijk te klein was om een bestaand effect van spacing op leeropbrengst te detecteren, is er nog een ander kritiekpunt op het huidige onderzoek. Het is namelijk zo dat het niet mogelijk was om te controleren of het gemiddelde opleidingsniveau en de gemiddelde leeftijd van deelnemers in iedere conditie gelijk was. Hiernaast was het ook niet mogelijk om te kijken of de man/vrouw verhoudingen tussen de condities gelijk

17 waren. Hoewel de kans klein is dat er significante verschillen waren op deze variabelen tussen de condities, en het de vraag is of deze variabelen überhaupt grote invloed gehad zullen hebben op het cijfer op de eindtoets, is het in toekomstig onderzoek aan te raden om deelnemers verplicht informatie te laten verschaffen over deze variabelen. Hierdoor is het mogelijk om te controleren of er tussen de condities verschillen zijn op deze variabelen, en zo ja, of deze variabelen invloed hebben gehad op de uitkomstmaat. Een laatste opmerking met betrekking tot het huidige onderzoek, is dat van alle deelnemers slechts de cijfers beschikbaar waren van hun laatste poging op de eindtoets. Dit terwijl het voor deelnemers mogelijk was om de eindtoets herhaaldelijk te maken. Hierdoor is het een mogelijkheid dat in bepaalde condities deelnemers de eindtoets gemiddeld vaker gemaakt hebben dan deelnemers in de andere conditie(s). Iets was niet wenselijk is, aangezien deelnemers die de eindtoets vaker hebben gedaan een voordeel hadden bij de laatste eindtoets die zij maakten. Dit ten eerste omdat ze meer oefening hebben gehad met de stof van de MOOC. Ten tweede hebben zij de eindtoets vaker dan één keer gezien en gemaakt, waardoor ze bij de laatste poging op de eindtoets al bekend waren met de vragen - en mogelijk zelfs sommige antwoorden - van de toets (de eindtoets was bij iedere poging hetzelfde). Hiernaast is het ook nog eens zo dat het herhaaldelijk kunnen maken van de eindtoets waarschijnlijk heeft gezorgd of er ten minste mede voor heeft gezorgd dat er sprake was van een plafondeffect bij de uitkomstmaat. Met het oog op de hierboven genoemde punten is het in toekomstig onderzoek naar spacing in MOOCs dan ook wenselijk dat het cijfer van de eerste poging op de eindtoets van deelnemers ook beschikbaar wordt gesteld voor analyse. Al met al is uit het huidige onderzoek gebleken dat spacing geen effectieve leerinterventie is bij het verhogen van leeropbrengst in MOOCs. Gezien de bovenstaande kritiekpunten valt er echter nog weinig te concluderen over de effectiviteit van spacing in MOOCs. Daarnaast is het de vraag of A/B testen überhaupt geschikt zijn om onderzoek te doen in MOOCs. Hoewel het mogelijk is gebleken om deze tests in onderzoek naar MOOCs te gebruiken, zal aan de hand van vervolgonderzoek gekeken moeten worden of zij ook daadwerkelijk geschikt zijn voor onderzoek in deze ongecontroleerde leeromgevingen. De bovenstaande

18 kritiekpunten vormen slechts enkele van de vele obstakels die nog overwonnen dienen te worden, alvorens kan blijken of A/B testen effectief zijn in onderzoek naar spacing en andere leerinterventies in MOOCs.

19 Literatuurlijst Adamopoulos, P. (2013). What makes a great MOOC? An interdisciplinary analysis of student retention in online courses. Thirty Fourth International Conference of Information Systems, Milan 2013, Cepeda, N. J., Pashler, H., Vul, E., Wixted, J. T., & Rohrer, D. (2006). Distributed practice in verbal recall tasks: A review and quantitative synthesis. Psychological bulletin, 132(3), Daniel, J. (2012). Making sense of MOOCs: Musings in a maze of myth, paradox and possibility. Journal of Interactive Media in Education (3). DeBoer, J., Stump, G. S., Seaton, D., & Breslow, L. (2013). Diversity in MOOC students backgrounds and behaviors in relationship to performance in x. In Proceedings of the Sixth Learning International Networks Consortium Conference (4). Dunlosky, J., Rawson, K. A., Marsh, E. J., Nathan, M. J., & Willingham, D. T. (2013). Improving students learning with effective learning techniques promising directions from cognitive and educational psychology.psychological Science in the Public Interest, 14(1), Karpicke, J. D., & Bauernschmidt, A. (2011). Spaced retrieval: absolute spacing enhances learning regardless of relative spacing. Journal of Experimental Psychology: Learning, Memory, and Cognition, 37(5), Kerfoot, B. P., Baker, H. E., Koch, M. O., Connelly, D., Joseph, D. B., & Ritchey, M. L. (2007). Randomized, controlled trial of spaced education to urology residents in the United States and Canada. The Journal of urology, 177(4), Kerfoot, B. P. (2009). Learning benefits of on-line spaced education persist for 2 years. The Journal of Urology, 181(6), Nakata, T. (2015). Effects of expanding and equal spacing on second language vocabulary learning. Studies in Second Language Acquisition, 37(4), Piech, C., Huang, J., Nguyen, A., Phulsuksombati, M., Sahami, M., & Guibas, L. (2015). Learning program embeddings to propagate feedback on student code. arxiv preprint arxiv: Paunesku, D., Walton, G. M., Romero, C., Smith, E. N., Yeager, D. S., & Dweck, C. S.

20 (2015). Mind-set interventions are a scalable treatment for academic underachievement. Psychological science., 26, Reich, J. (2015). Rebooting MOOC research. Science, 347(6217), Roediger, H. L., & Butler, A. C. (2011). The critical role of retrieval practice in long-term retention. Trends in cognitive sciences, 15(1), Savi, A. O., Williams, J. J., Maris, G. K. J., & van der Maas, H. L. J. (2015). A/B tests in the study of online learning. Manuscript opgegeven voor publicatie. Sobel, H. S., Cepeda, N. J., & Kapler, I. V. (2011). Spacing effects in real world classroom vocabulary learning. Applied Cognitive Psychology, 25(5), Xiong, X., & Beck, J. E. (2014). A study of exploring different schedules of spacing and retrieval interval on mathematics skills in ITS environment. In Intelligent tutoring systems (pp ). Springer International Publishing.