Studenten helpen om zoveel mogelijk op te steken van e- lectures: pauzeert de student of de docent? BSc. Eric D. van den Brink Faculteit Geowetenschappen aan de Universiteit Utrecht Toegepaste Cognitieve Psychologie 31 januari 2014 Samenvatting Doel: In dit onderzoek stond het vinden van de meest efficiënte methode om kennis op te doen tijdens e- lectures centraal. Er werd gebruik gemaakt van een automatische- en handmatige stop-and-think methode om te analyseren welke van deze stop-and-think methoden leidde tot de hoogste efficiëntie. Daarnaast werd onderzocht welke stop-and-think methode leidde tot de meest genomen pauzes en de hoogste tevredenheid. Methoden: De stop-and-think methoden waren verwerkt in twee verschillende condities met als derde conditie een reguliere e-lecture welke diende als baseline. Studenten van de Universiteit Utrecht (N = 31) ondergingen alle condities tijdens dit onderzoek waar sprake was van een within-subjects design. De hoeveelheid opgedane kennis tijdens een e-lecture werd gezien als efficiëntie en was de afhankelijke variabele. Daarnaast waren tevredenheid over de methoden en het aantal genomen pauzes tijdens de e- lectures tevens afhankelijke variabelen. Resultaten: Bij geen van de stop-and-think methoden was een significant effect zichtbaar op efficiëntie bij het bekijken van een e-lecture. Studenten waren wel significant meer tevreden bij de handmatige stop-andthink methode en er werd significant meer gepauzeerd bij de automatische stop-and-think methode. Conclusie: De verwachting dat het implementeren van een stop-and-think methode efficiënter is dan bij een reguliere e-lecture werd niet ondersteund in dit onderzoek. Dat er bij de automatische stop-and-think methode het meest werd gepauzeerd suggereert dat er bij deze stop-and-think methode het minst sprake was van cognitieve overbelasting, terwijl de hoogst ervaren tevredenheid bij de handmatige stop-and-think methode suggereert dat er bij deze stop-and-think methode sprake was van de hoogste neiging van de student om kennis op te doen. Beide stop-and-think methoden lijken evenmin bij te dragen aan de hoeveelheid opgedane kennis tijdens een e-lecture. Begeleiders: drs. Mabelle Hernández, dr. Esther de Groot, dr. Jan Brascamp. Beoordelaars: dr. Mabelle Hernández, dr. Jan Brascamp Maximaal te behalen ECTS: 15
Inleiding Onbeperkt internet is niet langer de toekomst, maar de hedendaagse realiteit. Ook het onderwijs maakt steeds meer gebruik van het internet via digitale hulpmiddelen zoals een computer, laptop of een smartphone om instructies en/of informatie over te brengen (Clark & Mayer, 2008). Het overbrengen van instructies en/of informatie via digitale hulpmiddelen wordt e-learning genoemd. Volgens Clark en Mayer (2008) is e-learning bedoeld om leerdoelen te ondersteunen, zo kunnen reguliere hoorcolleges digitaal worden aangeboden in de vorm van e-lectures (Demetriadis & Pombortsis, 2007). Toch staat het gebruik van e-lectures nog in de kinderschoenen en is er nog veel ruimte voor verbetering (Kosec, Debevc & Holzinger, 2009). Over te brengen informatie, moet bij de ontvanger verwerkt worden. In het geval van reguliere hoorcolleges en e-lectures is deze ontvanger de student en is er sprake van cognitieve verwerking. De cognitieve verwerkingscapaciteit bij de student, is echter niet ongelimiteerd en het is mogelijk dat cognitieve verwerking die vereist is voor een leertaak (zoals bij een e-lecture), de cognitieve verwerkingscapaciteit van de student overschrijdt (Merriënboer, 1997). Wanneer een regulier hoorcollege of e-lecture bijvoorbeeld rijk is aan informatie en een hoog tempo heeft, dan heeft de student mogelijk niet genoeg tijd om alle informatie te verwerken. Voordat de student in dat geval alle essentiële informatie van een bepaald onderwerp verwerkt heeft, komt het volgende onderwerp al aan bod met alle informatie die daarbij hoort. Wanneer dit gebeurt, is het werkgeheugen niet meer in staat om nog meer informatie te verwerken en is er sprake van cognitieve overbelasting bij de student (Mayer & Moreno, 2003; Sweller, Merriënboer & Paas, 1998). Een potentiële manier om cognitieve overbelasting te voorkomen is om korte tijdsperiodes (pauzes) toe te staan tussen delen van een hoorcollege, of videobeelden van een e-lecture die belangrijke informatie bevatten (Mayer & Moreno, 2003). Een veelgebruikte optie om pauzes toe te laten tijdens een e-lecture, is om de student de mogelijkheid te geven de e-lecture te pauzeren (Mostow, Huang & Tobin, 2001). De student zal echter niet altijd gebruik maken van deze mogelijkheid omdat de student zich niet bewust is van cognitieve overbelasting (Sweller, Merriënboer & Paas, 1998). Een manier om de student te motiveren een e-lecture te pauzeren en vervolgens na te denken over de opgedane informatie, is de stop-and-think methode, geïnitieerd door de docent (Shirouzu & Miyake, 2007). Bij de stop-and-think methode krijgt de student het advies om de e-lecture even te pauzeren en kritisch na te denken over de opgedane informatie. Dit heeft als doel de student te helpen, toch blijft het de keuze van de student om de vereiste handelingen uit te voeren die horen bij het pauzeren van de e-lecture (Skinner, Wallace & Neddenriep, 2002). Wanneer een academische handeling (zoals een e-lecture pauzeren om een aantekening te maken) teveel moeite kost, is de student geneigd te kiezen om de handeling niet uit te voeren, zelfs als de opdracht in het voordeel werkt van de student zoals de stop-and-think methode (Skinner, Pappas & Davis, 2005). Soms is de student zich er zelfs niet van bewust dat hij geen gehoor geeft aan een academische opdracht (Skinner, Wallace & Neddenriep, 2002). Een manier om de student te helpen met het uitvoeren 2
van vereiste handelingen, is het minimaliseren van deze handelingen, zoals ook het geval bleek in het onderzoek van Zahn, Pea, Hesse & Rosen uit 2010. Zij boden verschillende manieren aan om studenten aantekeningen te laten maken naast het kijken van een video. Zahn et al., (2010) maakten in hun onderzoek gebruik van de software WebDiver die de mogelijkheid bood om direct naast een aangeboden video aantekeningen te maken waarbij de video niet gepauzeerd hoefde te worden, de student had wel de keuze om de video te pauzeren. Deze aantekeningen verschenen vervolgens naast de video, waarbij exact werd aangegeven bij welk punt van de video deze aantekening werd gemaakt. Omdat de mogelijkheid om aantekeningen te maken geïntegreerd was in het programma WebDiver, hoefden de studenten minder handelingen te verrichten dan wanneer er handmatig aantekeningen gemaakt werden. Handmatige aantekeningen zagen er in het onderzoek van Zahn et al. (2010) uit als een videospeler en notitieprogramma op de computer die los van elkaar stonden zodat elk programma voor gebruik apart moest worden aangeklikt. De studenten in de WebDiver conditie maakten meer aantekeningen en deden meer kennis op over de video dan de studenten in de videospeler conditie (Zahn, et al., 2010). Een oplossing om studenten te helpen profiteren van de stop-and-think methode, lijkt het verminderen van handelingen. In de context van e-lectures waarbij studenten gewend zijn om een e- lecture handmatig te kunnen pauzeren, is de verwachting dat het efficiënter is om e-lectures automatisch te laten pauzeren. Het ontnemen van de keuze om handmatig te pauzeren kan echter gepaard gaan met een lagere tevredenheid van de student, terwijl tevredenheid positief correleert met de neiging om kennis op te doen (Swan, 2001). Ook gaat een gedwongen pauze ten koste van ervaren autonomie van de student, terwijl autonomie bijdraagt aan een verhoogde intrinsieke motivatie (Ryan & Deci, 2000). Immers kan keuze van de student om correct, actief en academisch gedrag te vertonen, leiden tot het ontwikkelen van (academische) vaardigheid en kennis (Skinner, Fletcher & Henington, 1996). Zowel keuzevrijheid als het voorkomen van cognitieve overbelasting lijken te kunnen bijdragen aan het opdoen van kennis tijdens e-lectures. Enerzijds kan een hogere tevredenheid en intrinsieke motivatie worden bereikt door de student zelf de keuze te geven om een e-lecture te pauzeren tijdens de stop-and-think methode. Anderzijds kan cognitieve overbelasting worden voorkomen door een e-lecture automatisch te laten pauzeren tijdens de stop-and-think methode. Het is onduidelijk wat er efficiënter is: keuzevrijheid, of gedwongen pauzes. Daarom is de onderzoeksvraag die bij dit onderzoek centraal staat: Wat is efficiënter bij stop-and-think slides, een gedwongen pauze toevoegen om cognitieve overbelasting tegen te gaan, of de student de keuze te geven om te pauzeren zodat een hogere tevredenheid wordt bereikt?. De hypothese die bij dit onderzoek centraal staat is dat het toevoegen van automatische pauzes tijdens e-lectures bij de stop-and-think methode, bijdraagt aan meer geleerde kennis van het e-lecture dan bij handmatige pauzes bij de stop-and-think methode. Daarnaast is een hypothese van dit onderzoek dat ongedwongen pauzes leidt tot een hogere tevredenheid en ervaren autonomie van de student dan gedwongen pauzes. Dit onderzoek draagt bij aan de ontwikkeling van efficiënte strategieën om e-lectures te tonen aan studenten, zodat zoveel mogelijk essentiële informatie wordt onthouden door de student. 3
Methoden Participanten De participanten (N= 31) van het onderzoek waren allen als student werkzaam aan de Universiteit Utrecht, en werden tijdens hun aanwezigheid in de kantine van het Langeveld gebouw op de Uithof in Utrecht benaderd voor deelname. De benadering voor deelname gebeurde met behulp van flyers of een mondelinge uitnodiging. Één participant stopte tijdens het experiment, omdat deze participant anders in tijdsproblemen kwam met studie gerelateerde taken. Voor deelname aan het experiment was het essentieel dat participanten in voldoende mate Engels konden verstaan en lezen, aangezien er tijdens het experiment Engelse visuele en auditieve stimuli werden gepresenteerd. Van alle geworven participanten werd de data gebruikt voor het onderzoek. Van de participanten die behoorden tot de definitieve steekproef, waren er 21 vrouwelijk en 10 mannelijk met een minimum leeftijd van 18 jaar en een maximum leeftijd van 25 jaar. De gemiddelde leeftijd van de participanten was 21.23 jaar (SD = 1.96). De getoonde e-lectures omvatte verschillende aspecten over het schrijven van een onderzoeksvoorstel waarbij er mogelijk sprake was van voorkennis bij verschillende particpanten. Bij 9 participanten was er sprake van ervaring met het schrijven van een onderzoeksvoorstel, bij 14 participanten was er sprake van een beetje ervaring met het schrijven van een onderzoeksvoorstel en bij 8 participanten was er geen sprake van ervaring met het schrijven van een onderzoeksvoorstel. Er deden 22 participanten mee voor een geldbedrag en 9 participanten kozen voor proefpersoon uren. In tabel 1 is de verdeling te zien van de participanten uit de totale steekproef. Tabel1. Frequentietabel van de steekproef Totale Steekproef (N=31) Man Vrouw ABC conditie BAC conditie CAB conditie ACB conditie BCA conditie CBA conditie 10 21 6 5 5 5 5 5 22 9 Geld PPU Design Bij dit onderzoek is er sprake van een within subjects design, waarbij onderzocht werd of participanten meer baat hebben bij een gedwongen pauze of een keuze tot pauze tijdens de stop-and-think methode. Door middel van een experiment en een vragenlijst werd data verzameld waarbij participanten werden blootgesteld aan een e-lecture met gedwongen stop-and-think slides en een e-lecture met keuze stop-andthink slides. Ook werden participanten blootgesteld aan een e-lecture zonder stop-and-think methode welke diende als controleconditie. 4
Procedure Studenten werden gedurende twee weken (tien werkdagen) benaderd door één onderzoeker. Deze onderzoeker deelde flyers uit waarop het onderwerp van het onderzoek (e-lectures verbeteren), locatie van het onderzoek en de beloning voor het onderzoek stond weergegeven. Verder liep de onderzoeker regelmatig door de kantine om persoonlijk aan studenten te vragen of zij tijd wilden investeren in deelname aan het experiment. De participanten kregen de gelegenheid om te kiezen voor een geldbedrag van 7 euro of een proefpersoon uur, deelname nam per participant ongeveer 30 tot 35 minuten in beslag. Om actieve participatie te bevorderen, werd aan de participanten verteld dat de hoogte van het geldbedrag, of het aantal proefpersoon uren afhankelijk was van de getoonde inzet van de participant. Participanten werden blootgesteld aan drie e-lectures die allen op een eigen manier werden gepresenteerd. De condities waarop de e-lectures werden gepresenteerd waren: A. Een e-lecture werd aangeboden zonder de stop-and-think methode waarbij de student de vrijheid heeft om zelf op ieder gewenst tijdstip de e-lecture te pauzeren. Deze conditie werd als baseline gebruikt. B. Een e-lecture werd aangeboden met de stop-and-think methode waarbij de student de vrijheid had om zelf op ieder gewenst tijdstip de e-lecture te pauzeren, ook buiten de stopand-think slides. De e-lecture werd op geen enkel punt automatisch gepauzeerd. C. Een e-lecture werd aangeboden met de stop-and-think methode waarbij de student geen vrijheid had om de e-lecture te pauzeren. De e-lecture pauzeerde automatisch bij de stopand-think slides in conditie C. Ook buiten deze stop-and-think slides kon de student de e- lecture niet pauzeren. Alle participanten werden blootgesteld aan de drie condities welke gedurende twee weken werden aangeboden in zes verschillende volgorden (ABC, BAC, CAB, ACB, BCA, CBA). Tabel 1 laat de verdeling van de participanten in de verschillende volgorden zien. Na elke gepresenteerde conditie werd de participant verzocht om een vragenformulier over de inhoud van de getoonde e-lecture in te vullen. Wanneer alle condities getoond werden, kreeg de participant de gelegenheid om aan te geven over welke conditie de participant het meest tevreden was en werd er verzocht deze keuze toe te lichten. Na deelname aan het experiment konden de participanten een handtekening zetten ter bevestiging van de ontvangen beloning. Materialen Instructies Bij aanvang van het experiment werd aan de participant een instructiedocument overhandigd. Deze instructie begon met een briefing waarin kort werd uitgelegd dat er drie verschillende e-lectures zouden worden getoond met elk een eigen vragenlijst. Ook werd aangegeven dat na het bekijken van deze e- lectures en het beantwoorden van de bijhorende vragen, de participant werd verzocht om (door middel 5
van vragenbeantwoording) aan te geven welke conditie zij de voorkeur gaven. Per e-lecture werden instructies gegeven om de participant de e-lecture correct te laten starten. De e-lectures De drie aangeboden e-lectures waren verkorte versies van e-lectures die werden aangeboden door de Universiteit Utrecht en gemaakt door één docent. De reden dat er gebruik is gemaakt van verschillende e- lectures die door dezelfde docent zijn gemaakt, is omdat dit de invloed van externe variabelen tussen de e-lectures (zoals taalgebruik van de docent) minimaliseerde. De betreffende docent werd op de hoogte gesteld van het gebruik van zijn e-lectures in dit onderzoek. Om originele e-lectures van de docent te verkorten en te manipuleren is er gebruik gemaakt van een softwareprogramma dat de onderzoeker in staat stelde om de online aangeboden e-lectures om te zetten in bewerkbare videobestanden. De e-lectures die zijn gebruikt in het onderzoek duurden ieder ongeveer 7 minuten en in zowel conditie B als C, werden participanten blootgesteld aan 3 stop-and-think slides. Apparatuur Om de participanten in staat te stellen de e-lectures te starten en te bekijken, nam de onderzoeker tijdens de metingen twee laptops mee. Deze laptops waren eigendom van de onderzoeker en maakte het mogelijk om twee participanten tegelijk deel te laten nemen aan het experiment. Ook bracht de onderzoeker twee koptelefoons mee. Deze koptelefoons filterden het geluid van de omgeving, zodat de participant auditief zo min mogelijk afgeleid kon worden, aangezien het experiment plaatsvond in een lunchkantine van de Universiteit Utrecht. Software Ter voorbereiding van de uitvoer van het experiment werd er een softwareprogramma genaamd Camtasia gebruikt om (met toestemming van de betreffende docent) de e-lectures aangeboden door de Universiteit Utrecht te converteren naar bewerkbare videobestanden. Vervolgens werd camtasia gebruikt om de video s in te korten. Om de automatische pauze in conditie C te realiseren werd er met behulp van camtasia tijdens de stop-and-think momenten een frame 20 seconden lang aangeboden. Het softwareprogramma Keyfreeze werd in conditie C gebruikt om het toetsenbord en muis die gebruikt werden door de participant te blokkeren, zodat er in conditie C niet gepauzeerd kon worden door de participant. Het softwareprogramma Minimousemacro werd gebruikt om te registreren hoe vaak de participant tijdens conditie A en B de e-lecture pauzeerde. 6
Metingen Afhankelijke variabele - Efficiëntie De hoeveelheid opgedane kennis tijdens een e-lecture werd gezien als efficiëntie. Om efficiëntie te meten werden er per e-lecture, tien vragen gegenereerd. Elk goed antwoord leverde één punt op. De score op efficiëntie werd bepaald door de som van alle antwoorden en kon variëren van een minimale score van 0 en een maximale score van 10. Deze vragen gingen over de betreffende e-lectures waarbij in de vragen de nadruk werd gelegd op de inbreng en visie van de docent. De reden dat de nadruk werd gelegd op de inbreng en visie van de docent was om te voorkomen dat het beantwoorden van de vragen teveel werd beïnvloed door voorkennis van de student over de betreffende onderwerpen. De vragen waren specifiek gebaseerd op de onderwerpen van de e-lectures waardoor de gegenereerde vragen niet waren gevalideerd. Na elke vraag kreeg de student vier keuzemogelijkheden waarvan één keuzemogelijkheid het juiste antwoord was op de vraag waardoor een student een antwoord goed of fout had. Het aantal goede antwoorden per vragenlijst werd vergeleken met het aantal goede antwoorden van de overige vragenlijsten en op deze manier kon worden bepaald of er significante verschillen zichtbaar waren in efficiëntie tussen de verschillende condities. - Tevredenheid Om tevredenheid te meten werd er aan het eind van de vragenlijst de vraag gesteld in op welke manier de student graag in de toekomst e-lectures aangeboden krijgt. De student kon hierbij kiezen tussen conditie A, B of C waarna de gelegenheid werd geboden om op te schrijven waarom zij deze conditie prefereerden. Er is niet gekozen voor een gestandaardiseerde en gevalideerde vragenlijst om tevredenheid te meten omdat dit er mogelijk voor zorgde dat het experiment te lang zou duren en omdat het voor dit onderzoek niet de mate van tevredenheid van belang was, maar dat er een uitspraak gedaan kon worden welk conditie er leidde tot de meeste tevredenheid. - Aantal pauzes Het aantal pauzes is objectief gemeten met het softwareprogramma Minimousemacro. Dit softwareprogramma stelde de onderzoeker in staat om de achterhalen hoe frequent de e-lectures werd gepauzeerd door de participant. Controlevariabelen - Volgorde Er is gecontroleerd op de volgorde waarin de condities werden aangeboden. Zoals uitgelegd bij de procedure, waren er drie verschillende condities met zes verschillende volgorden. Mogelijk heeft de volgorde van de condities invloed op de onderzoeksresultaten omdat er bij de laatst aangeboden conditie mogelijk sprake is van meer cognitieve belasting als gevolg van de twee eerder aangeboden conditie. 7
- Aantal pauzes Zoals in de inleiding werd uitgelegd ontstaat er minder cognitieve belasting wanneer er vaker gepauzeerd wordt. Daarom is er gecontroleerd voor het aantal keer dat studenten de video pauzeerden in conditie A en B. Bij conditie C was het onmogelijk om pauzes te meten aangezien de student geen invloed kon uitoefenen op het aantal pauzes in conditie C. Ethische kwesties Anonimiteit van de deelnemers werd gewaarborgd. Op de laatste pagina van de vragenlijst met instructies konden participanten de debriefing lezen waarin het doel van het onderzoek werd uitgelegd. Daarnaast kregen de participanten de mogelijkheid om hun e-mailadres op te schrijven indien zij geïnteresseerd waren in de onderzoeksresultaten. Na het toesturen van de onderzoeksresultaten werden de mailadressen van de participanten verwijderd. Statistische analyse Er is gebruik gemaakt van een computer met het softwareprogramma Statistical Package for the Social Science (SPSS) versie 17.0 om de resultaten te analyseren. De verschillen in efficiëntie tussen de aangeboden condities zijn gemeten met een ANCOVA waarbij gecontroleerd werd op de conditie en het aantal pauzes. 8
Resultaten Hypothesen testen Efficiëntie De hoofdvraag van dit onderzoek was dat er een verschil in efficiëntie tussen leermethodes bij e- lectures zou optreden tussen een gedwongen stop-and think methode en een automatische stop-andthink methode. Er is een repeated measures ANCOVA uitgevoerd om deze hoofdvraag te beantwoorden. De hypothese die hierbij hoorde was dat het toevoegen van automatische pauzes tijdens e-lectures bij de stop-and-think methode, bijdraagt aan een efficiëntere leermethode dan bij een handmatige stop-and-think methode. De gemiddelde score op efficiëntie van conditie B waarbij een handmatige stop-and-think methode werd gehanteerd, was M = 7.73 (SD = 1.48). De gemiddelde score op efficiëntie van conditie C waarbij een automatische stop-and-think methode werd gehanteerd was M = 7.33 (SD = 1.21). Tevens werd vergeleken of er een verschil in efficiëntie was met een regulier e- lecture zoals in conditie A met een gemiddelde score van M = 7.83 (SD = 1.26). Geen van beide stopand-think methodes in conditie B en conditie C, bleek significant efficiënter te zijn dan de andere condities F (2, 28) = 1.72, p =.19. Na gecontroleerd te hebben op de aangeboden volgorden van de condities, kan er aan de hand van dit onderzoek geconcludeerd worden dat het voor de resultaten niet significant uitmaakte in welke volgorde de condities werden aangeboden aan de participanten F (2, 27) =.051, p =.95. Ook maakte het voor beide stop-and-think methodes geen significant verschil hoe vaak participanten de reguliere e-lecture in conditie A pauzeerden F (2, 26) =.99, p =.91, noch hoe vaak participanten bij de handmatige stop-and-think methode in conditie B pauzeerden F (2, 26) =.90, p =.42. De handmatige stop-and-think methode bleek evenmin bij te dragen aan een efficiëntere leermethode dan de automatische stop-and-think methode. Figuur 1 op de volgende pagina, laat de scores van de participanten zien op de vragenlijsten met bijhorende volgorde waarin de condities zijn aangeboden. Tevredenheid Een sub hypothese van dit onderzoek was dat een handmatige stop-and-think methode tot meer tevredenheid leidde dan de automatische stop-and-think methode. Een repeated measures ANOVA werd uitgevoerd om deze hypothese te testen. Van de steekproef, gaven 12 participanten aan zodanig tevreden te zijn over de handmatige stop-and-think methode in conditie B, dat ze deze in de toekomst vaker wilden zien. Bij de automatische stop-and-think methode in conditie C, gaven 2 participanten aan zodanig tevreden te zijn, dat ze deze methode in te toekomst vaker wilden zien. De handmatige stop-and-think methode leidde tot significant meer tevredenheid dan de automatische stop-and-think methode F(1, 30) = 8.98, p =.005. 9
Score 10 9 8 7 6 5 4 3 2 1 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 Baseline Conditie B Conditie C Figuur 1. Scores op de vragenlijsten van elke participant per conditie en bijhorende volgorde van de condities. Aantal pauzes De laatste hypothese van dit onderzoek was dat er bij de handmatige stop-and-think methode in conditie B, minder werd gepauzeerd dan het aantal automatische pauzes bij de stop-and-think methode in conditie C. Om deze hypothese te testen werd er tevens een repeated measures ANOVA uitgevoerd. Bij de automatische stop-and-think methode in conditie C werd er voor elke participant 3 keer gepauzeerd M = 3 (SD = 0). Bij de handmatige stop-and-think methode pauzeerden de participanten gemiddeld 2 keer M = 2 (SD = 2,45). Uit de analyse bleek dat er bij de automatische stop-and-think methode in conditie C, significant meer pauzes plaatvonden dan bij de handmatige stop-and-think methode in conditie B: F(1, 29) = 5, p =.03. Figuur 2 illustreert het gemiddeld aantal genomen pauzes per conditie met de standaarddeviaties. 5 4 Aantal keer gepauzeerd 3 2 1 0 Baseline Conditie B Conditie C Figuur 2. Het gemiddeld aantal genomen pauzes per conditie met de standaarddeviaties. 10
Discussie In dit onderzoek stond het verschil in efficiëntie tussen twee verschillende stop-and-think methodes tijdens e-lectures centraal. Er werd gekeken naar een verschil in efficiëntie tussen automatische pauzes om cognitieve overbelasting te voorkomen en tussen handmatige pauzes om een hoge tevredenheid te bereiken. Daarnaast is onderzocht of een handmatige stop-and-think methode leidde tot een hogere tevredenheid dan bij een automatische stop-and-think methode en of de automatische stop-and-think methode tot meer pauzes leidde dan bij de handmatige stop-and-think methode. Aan de hand van de resultaten uit dit onderzoek, lijkt er geen verschil te zijn in efficiëntie tussen de automatische- en handmatige stop-and-think methoden. Ook liet geen van beide stop-andthink methoden een verschil in efficiëntie zien met een reguliere e-lecture. De handmatige stop-andthink methode lijkt, aan de hand van de resultaten, wel degelijk te leiden tot een hogere tevredenheid ik vergelijking met de automatische stop-and-think methode. Ook blijkt uit de resultaten dat e-lectures bij de automatische stop-and-think methode vaker gepauzeerd werden dan e-lectures met een handmatige stop-and-think methode. Aan de hand van deze resultaten kan geconcludeerd worden dat beide stop-and-think methoden evenmin bijdragen aan een efficiëntere leermethode bij het bekijken van e-lectures. De resultaten in dit onderzoek met betrekking tot het verbeteren van e-lectures met een stopand-think methode komen niet overeen met de verwachting, namelijk dat het gebruik van een stopand-think methode tijdens een e-lecture, bijdraagt aan een efficiëntere leermethode dan bij een reguliere e-lecture zoals het geval was in het onderzoek van Shirouzu & Miyake (2007). Een mogelijke verklaring voor deze verschillen in onderzoeksresultaten is het gegeven dat Shirouzu & Miyake (2007) vier jaar tijd hebben geïnvesteerd in hun onderzoek met 320 participanten en e-lectures die gemiddeld 60 minuten duurden, terwijl huidig onderzoek in drie maanden tijd werd uitgevoerd met 31 participanten en e-lectures die gemiddeld 7 minuten duurden. Daarnaast is er mogelijk sprake van een cultuurverschil aangezien het experiment van Shirouzu & Miyake (2007) plaatsvond met enkel Japanse studenten, terwijl het experiment van huidig onderzoek uitsluitend werd uitgevoerd met Nederlandse studenten. Tevens ondersteunde de resultaten van dit onderzoek niet de verwachting, dat een automatische stop-and-think methode efficiënter is dan een handmatige stop-and-think methode. In dit onderzoek werd er bij de automatische stop-and-think methode het meest gepauzeerd ten opzichte van de overige condities en zal er naar verwachting minder cognitieve overbelasting zijn opgetreden dan bij de handmatige stop-and-think methode (Mayer & Moreno, 2003; Sweller, Merriënboer & Paas, 1998). Dit zorgde echter niet voor een hogere efficiëntie, ondanks dat de cognitieve overbelasting werd geminimaliseerd bij de automatische stop-and-think methode. Een mogelijke verklaring hiervoor is dat de voordelen van de handmatige stop-and-think methode even zwaar wegen als de voordelen van de automatische stop-and-think methode: de handmatige stop-and-think methode leidde tot een 11
hogere tevredenheid dan bij de automatische stop-and-think methode, immers correleert de neiging om kennis op te doen positief met tevredenheid (Swan, 2001). Bovendien was er bij de handmatige stopand-think methode sprake van autonomie wat volgens Ryan en Deci (2000) leidt tot intrinsieke motivatie, terwijl er bij de automatische stop-and-think methode geen sprake was van autonomie. Een mogelijke tekortkoming van dit onderzoek is de wijze waarop efficiëntie is gemeten. De vragen om dit construct te meten waren per e-lecture aangepast aan het onderwerp van de betreffende e-lecture. Omdat de vragen om het construct efficiëntie verschilde per e-lecture, was er geen sprake van een gestandaardiseerde en valide vragenlijst. Zo konden de vragen horende bij de automatische stop-and-think methode een hogere moeilijkheidsgraad bevatten voor de participant dan de vragen horende bij de handmatige stop-and-think methode of vice versa. Deze tekortkoming kan ertoe hebben geleid dat volgens de resultaten, beide stop-and-think methoden evenmin efficiënter waren dan de reguliere e-lecture. Verder duurt een e-lecture aan de Universiteit Utrecht gemiddeld 90 minuten, opgedeeld uit twee delen van 45 minuten, gesplitst door een pauze van 15 minuten. Om het maximale aantal participanten te kunnen werven en de participanten te motiveren deel te nemen aan het onderzoek, is ervoor gekozen het experiment 30 tot 35 minuten te laten duren per participant. Om het experiment binnen het tijdsbestek van 30 tot 35 minuten te kunnen uitvoeren, was het noodzakelijk dat de e-lectures in dit onderzoek gemiddeld 7 minuten duurden, zonder pauze. Dit kan gevolgen hebben gehad op de maximale cognitieve overbelasting bij de participanten. In een mogelijk vervolgonderzoek kan er ook voor worden gekozen om op verschillende punten tijdens de e-lectures te meten in hoeverre er sprake is van cognitieve overbelasting. Aangezien cognitieve overbelasting een onbewust proces is (Sweller, Merriënboer & Paas, 1998), kan dit worden gerealiseerd door participanten op verschillende punten tijdens de e-lectures een taak te geven waarbij het werkgeheugen wordt gebruikt, aangezien cognitieve overbelasting een gevolg is van een werkgeheugen dat niet verder is staat is om binnenkomende informatie te verwerken (Mayer & Moreno, 2003; Sweller, Merriënboer & Paas, 1998). De scores op deze taken die ene beroep doen op het werkgeheugen kan worden gebruikt om inzicht te krijgen in hoeverre er sprake is van cognitieve overbelasting. Er zijn ook een aantal positieve aspecten aan dit onderzoek. Er is nog weinig onderzoek verricht naar de toepassing van verschillende stop-and-think methoden, dit onderzoek vergeleek een normale (handmatige) stop-and-think methode met een volledig vernieuwde (de automatische) stopand-think methode waarbij aan de hand van theorieën over cognitieve overbelasting (Skinner, Pappas & Davis, 2005; Skinner, Wallace & Neddenriep, 2002; Zahn et al., 2010), voorspellingen zijn gemaakt over optimale efficiëntie tijdens e-lectures. Met dit onderzoek is er een basis gelegd voor vernieuwende onderzoeken naar e-lectures waarbij onder gunstigere omstandigheden, mogelijk andere en meer valide resultaten worden geboekt. Vervolgonderzoek kan zich mogelijk richten op verschillende toepassingen van de stop-andthink methode, waaronder de automatische stop-and-think methode en het gebruik van meer valide meetinstrumenten en meetmethoden. Mogelijk verschilde de moeilijkheidsgraad van de vragenlijsten 12
per e-lecture om inzicht te krijgen in efficiëntie van de leermethode en kan er in vervolgonderzoek gekozen worden voor een gestandaardiseerde en gevalideerde vragenlijst die voor elk e-lecture gelijk is. Een manier om gestandaardiseerde vragenlijsten te gebruiken is om elke e-lecture aan te bieden in alle drie de leermethoden. Zo krijgt een participant bijvoorbeeld een e-lecture op de reguliere methode, gevolgd door een ander e-lecture op de automatische stop-and-think methode en tot slot nog een andere e-lecture met de handmatige stop-and-think methode, terwijl een andere participant dezelfde e- lectures bekijkt maar dan met een andere verdeling van de leermethoden. Wanneer er drie verschillende e-lectures worden gebruikt, zijn er achttien verschillende volgorden. Zo kunnen verschillende toepassingen van de leermethoden worden vergeleken en is er tevens sprake van gestandaardiseerde vragenlijsten. Een ander idee om de vragenlijsten te standaardiseren in vervolgonderzoek is om verschillende groepen participanten toe te wijzen per conditie in plaats van elke participant, alle condities te laten doorlopen zoals in huidig onderzoek. Door verschillende groepen toe te wijzen aan één conditie kan er voorkomen worden dat er gewenning ontstaat aan de vraagstelling van het te meten construct (efficiëntie) en kan er toch gemeten worden met een gelijke moeilijkheidsgraad. Verder is het gewenst om meer tijd te investeren in eventueel vervolgonderzoek. In plaats van participanten uit te nodigen voor deelname en vervolgens verkort beeldmateriaal te vertonen, kan er worden nagegaan of het ethisch verantwoord is om in overleg met docenten die e- lectures maken, de verschillende stop-and-think methoden toe te passen bij studenten die de betreffende e-lectures volgen als onderdeel van hun studie. Wanneer dit ethisch verantwoord is, kan er worden bereikt dat studenten worden blootgesteld aan de verschillende stop-and-think methoden bij e- lectures die 90 minuten duren, zonder dat dit ten koste gaat van de motivatie van de student. Concluderend toont dit onderzoek geen verandering in efficiëntie bij e-lectures wanneer er gebruik wordt gemaakt van een automatische- of een handmatige stop-and-think methode. Dit betekent dat beide stop-and-think methoden, niet efficiënter maar ook niet minder efficiënt zijn dan een reguliere e-lecture. Ook was er geen verschil in efficiëntie gemeten tussen de stop-and-think methoden zelf. Er werd wel gemeten dat er bij een automatische stop-and-think methode meer gepauzeerd werd dan bij de handmatige stop-and-think methode en bij de reguliere e-lecture. Ook werd er gemeten dat de handmatige stop-and-think methode tot meer tevredenheid leidde dan de automatische stop-and-think methode. Dit suggereert dat bij de handmatige stop-and-think methode, de neiging om kennis op te doen bij de participanten het grootst was, maar dat de cognitieve overbelasting bij de automatische stop-and-think methode het laagst was. 13
Referenties Clark, R.C., & Mayer, R.E. (2008). E-learning and the Science of Instruction: Proven Guidelines for Consumers and Designers of Multimedia Learning. San Francisco: Pfeiffer. Demetriadis, S., & Pombortsis, A. (2007). E-lectures for Flexible Learning: a Study on their Learning Efficiency. Educational Technology & Society, 10(2), 147-157. Kosec, P., Debevc, M., & Holzinger, A. (2009). Towards equal opportunities in computer engineering education: design, development and evaluation of videobased e-lectures. International Journal of Engineering Education, 25(4), 763-771. Mayer, E., & Moreno, R. (2003). Nine ways to reduce cognitive load in multimedia learning. Educational Psychologist, 38(1), 43-52. Merriënboer, J.J.G. (1997). Training Complex Cognitive Skills. Englewood Cliffs, NJ: Educational Technology Press. Mostow, J., Huang, C., Tobin, B. (2001). Pause the video: quick but quantitive expert evaluation of tutorial choices in a reading tutor that listens. In J. Moore, C.L. Redfield, W.L. Johnson (Eds.), Artificial Intelligence in Education (pp. 243-253). Amsterdam: IOS Press. Ryan, R.M., Deci, E.L. (2000). Self-determination theory and the facilitation of intrinsic motivation, social development, and well-being. American Psychologist, 55(1), 68-78. Shirouzu, H., & Miyake, N. (2007). Scaffolds for lecture comprehension: video-jigsaw and stop-and think using a video system. In T. Hirashima, H.U. Hoppe, S. Shwu-Ching Young (Eds.), Supporting Learning Flow Through Integrative Technologies (pp.175-182). Amsterdam: IOS Press. Skinner, C.H., Fletcher, P.A., & Henington, C. (1996). Increasing learning trial rates by increasing student response rates. School Psychology Quarterly, 11, 313 325. Skinner, C.H., Pappas, D.N., & Davis, K.A. (2005). Enhancing academic engagement: providing opportunities for responding and influencing students to choose to respond. Psychology in the Schools, 42(4), 389-403. Skinner, C.H., Wallace, M.A., & Neddenriep, C.E. (2002). Academic remediation: Educational application of research on assignment preference and choice. Child and Family Behavior Therapy, 24, 51 65. Swan, K. (2001). Virtual interaction: design factors affecting student satisfaction and perceived learning in asynchronous online courses. Distance Education, 22(2), 306-331. Sweller, J., van Merriënboer, J., & Paas, F. (1998). Cognitive architecture and instructional design. Educational Psychology Review, 10(3), 251 296. Zahn, C., Pea, R., Hesse, F. W., & Rosen, J. (2010). Comparing simple and advanced video tools as supports for complex collaborative design processes. Journal of the Learning Sciences, 19(3), 403 440. 14