LADA: Learning Analytics Dashboard Applications

LADA: Learning Analytics Dashboard Applications Eindrapportage bij stimuleringsregeling Learning Analytics 2013 Penvoerder: Technische Universiteit Eindhoven Partners: Looptijd: 1 juni 2013 tot 23 augustus 2014 Projectleider: Katrien Verbert Datum: 28 juni 2014 [voorlopige versie] / 23 augustus [eindversie], v1 / v2 0

Inhoud 1. Korte samenvatting (0.5 pagina)... 1 2. Doelstelling, doelgroep en aanpak (1-1.5 pagina s)... 2 3. Resultaat (2-3 pagina s)... 3 4. Conclusies (0,5-1 pagina)... 6 5. Continuering (0,5-1 pagina)... 7 6. Overige opmerkingen... 7 7. Kostenoverzicht... 7 Referenties... 9 Annex 1: visualisaties... 10 www.creativecommons.org/licenses/by/3.0/nl 1

1. Korte samenvatting (0.5 pagina) In het LADA project hebben we het gebruik van learning analytics dashboards onderzocht. Meer specifiek hebben we onderzocht: (1) welke data relevant zijn om gebruikers inzicht te geven in het leerproces, (2) hoe we deze data best kunnen opslaan, (3) welke visualisaties het meest geschikt zijn om gebruikers inzicht te geven in hun leergedrag, en (4) hoe we het effect van deze visualisaties op het leerproces kunnen evalueren. Om deze vragen te onderzoeken, hebben we een learning dashboard ingezet aan de Vrije Universiteit Brussel (VUB) en aan de Technische Universiteit Eindhoven (TU/e). De eerste case study werd uitgevoerd met master studenten van het vak information visualization aan VUB (N=40). De tweede case study werd uitgevoerd met bachelor studenten van het vak Human Technology Interaction aan de TU/e (N=105). Resultaten van de eerste case study geven inzicht over welke data relevant zijn en het nut en de bruikbaarheid van verschillende visualisaties voor studenten. Deze resultaten werden gebruikt om het dashboard aan te passen en uit te breiden met twee nieuwe visualisaties. Een tweede case study evalueert de visualisaties met bachelor studenten van de TU/e, met minder kennis van informatie visualisatie. Voor deze studenten blijken de meeste technieken eerder moeilijk om correct gegevens te kunnen interpreteren. Deze studenten zijn ook minder enthousiast over het nut van dashboards om leren te ondersteunen. Een eenvoudige tijdslijn die tijd en emotiewaarden over de tijd toont werd verkozen door deze studenten. 1

2. Doelstelling, doelgroep en aanpak (1-1.5 pagina s) Onderzoeksvragen In het LADA project onderzoeken we het gebruik van learning analytics dashboards om het leerproces te ondersteunen. Meer specifiek onderzoeken we (1) welke data relevant zijn om gebruikers inzicht te geven in het leerproces, (2) hoe we deze data best kunnen opslaan, (3) welke visualisaties het meest geschikt zijn om gebruikers inzicht te geven in hun leergedrag, en (4) hoe we het effect van deze visualisaties op het leerproces te kunnen evalueren. Doelgroep De doelgroep van dit onderzoek zijn studenten hoger onderwijs. Ons eerder onderzoek heeft aangetoond dat de meeste onderzoeksresultaten in het domein zich richten op het ondersteunen van docenten [Verbert et al. 2013]. Er zijn weinig resultaten beschikbaar over het nut van learning analytics om studenten te ondersteunen. De behoefte van deze studenten hebben we in eerder onderzoek geanalyseerd [Santos et al. 2013] en omvat inzicht in tijdsbesteding aan activiteiten en motivatie. Methode Om de onderzoeksvragen te onderzoeken, zijn learning dashboards ingezet in vakken van de Technische Universiteit Eindhoven (TU/e) en de Vrije Universiteit Brussel (VUB). Gevalsstudies zijn opgezet in het vak Human Technology Interaction (HTI) van de TU/e en het vak Information Visualization van VUB. Het aantal studenten in de HTI cursus is 105. Het aantal studenten in het information visualization van is 40. Een eerste case study werd uitgevoerd aan de VUB: in deze case study werd een dashboard gedeployed bovenop data die we van deze studenten tijdens het semester verzameld hebben en werd een eerste evaluatie van het dashboard uitgevoerd. Op basis van evaluatieresultaten werd het dashboard aangepast en uitgebreid met twee nieuwe visualisaties. Een tweede case study met dit nieuwe dashboard werd uitgevoerd aan de TU/e. Projectperiode De projectperiode loopt van juni 2013 tot augustus 2014. Van de start van het project tot januari 2014 hebben we de gevalsstudies voorbereid. We hebben onderzocht in welke vakken we visualisaties kunnen inzetten om studenten inzicht te geven in hun leergedrag en hoe we data van deze studenten kunnen capteren. In februari 2014 zijn we van start gegaan met een eerste gevalsstudie aan VUB. De resultaten van deze evaluatie werden gebruikt om het dashboard aan te passen en uit te breiden met twee nieuwe visualisaties. Een tweede gevalsstudie werd uitgevoerd aan de TU/e met een groter aantal studenten. In deze gevalsstudie hebben we de nieuwe versie van het dashboard geëvalueerd en de doelgerichtheid en nut van de verschillende visualisaties proberen aan te tonen met studenten van het HTI vak. Projectorganisatie.(instellingen en teamleden) De projectorganisatie is gebeurd vanuit de TU/e (Katrien Verbert, Paul De Bra, Mykola Pechenizkiy). De case studies werden uitgevoerd in samenwerking met Derick Leony van UC3M (Madrid), tijdens een onderzoeksverblijf van 3 maanden aan de TU/e en VUB. Derick is een doctoraatsstudent in de laatste fase van zijn doctoraat en heeft eerder veelbelovend onderzoek gedaan in het learning analytics domein en meer specifiek naar het tracken van gebruikersdata met verschillende tools en het visualiseren van deze data om awareness te ondersteunen [Leony et al. 2012, Leony et al. 2013]. Wijzigingen In het projectvoorstel werden oorspronkelijk twee case studies aan de TU/e beschreven. We hebben een eerste case study uitgewerkt aan VUB in plaats van de TU/e. De opzet en uitvoering van deze case study zijn gelijk aan de oorspronkelijk beschreven case study. Een tweede case study werd uitgevoerd aan de TU/e. Tijdens het project hebben we een derde case study onderzocht in samenwerking met de Roode Kikker (http://deroodekikker.nl/website/). In continuering van dit project zullen we deze samenwerking nog verder trachten uit te werken, maar tijdens de looptijd van het project was het niet mogelijk om studies te doen met studenten die gebruik maken van het platform van de Roode Kikker. Een evaluatie met docenten was wel mogelijk, maar aangezien studenten de doelgroep van dit onderzoek zijn hebben we deze case study niet meer uitgevoerd. 2

3. Resultaat (2-3 pagina s) Een korte samenvatting van de gevalsstudies en resultaten is hieronder weergegeven. Het dashboard dat we ontwikkeld hebben in dit project is online beschikbaar. Een demoversie is beschikbaar op: http://beethoven.gast.it.uc3m.es:8000/view?sid=case4005 Deze demo-versie toont de data van HTI studenten van de TU/e. Een screencast van het dashboard dat we voor dit project hebben opgenomen is beschikbaar op: http://beethoven.gast.it.uc3m.es:8000/assets/media/affectvis-short.mp4 Case study 1: information visualization (VUB) In de eerste case studie aan VUB hebben we een bestaande visualisatie gedeployed bovenop data die we doorheen het semester verzameld hebben van studenten en hebben we een eerste evaluatiesessie met studenten georganiseerd. Op basis van feedback van deze eerste studie werd het dashboard aangepast en uitgebreid en gedeployed voor een tweede case study aan de TU/e met een groter aantal studenten. Deelnemers en datacollectie Deze case study werd uitgevoerd met studenten van het vak informatie visualisatie van VUB (master computer wetenschappen). Dit academiejaar waren er 40 studenten ingeschreven voor het vak. In dit vak leren studenten theorie en toepassing van visualisatie-technieken. Ze werken onder meer in groep aan een project. Activiteiten omvatten: brainstormen, ontwerpen van visualisatie, het verzamelen van gegevens, implementatie van een visualisatie, etc. Het project duurde vijf weken. Een keer per week werden de studenten gemaild met instructies om data te rapporteren, een link naar het dashboard dat deze data visualiseert en een online enquête die we gebruikt hebben om nut en bruikbaarheid te evalueren. We hebben 40 reacties op deze enquête ontvangen van 22 studenten. Aan het einde van het semester hebben we een thinkaloud sessie uitgevoerd: 10 studenten namen deel aan deze individuele sessies. De evaluatie bevatte vragen over de bruikbaarheid en de doelgerichtheid van de visualisaties. De bruikbaarheid werd bepaald op basis van de System Usability Scale (SUS) [Bangor et al. 2008]. Verder werd gepeild naar welke informatie studenten belangrijk vinden in learning dashboards. Visualisaties In de eerste case studie hebben we twee visualisaties geëvalueerd: het gemiddelde emotie niveau per activiteit en een tijdslijn (zie Figuur 1). In dit stadium representeerde de tijdlijn enkel geaccumuleerde tijd gespendeerd aan activiteiten en het klasgemiddelde. De visualisaties zijn in groter formaat weergegeven in Annex 1. Data-analyse De bruikbaarheidresultaten duiden op een SUS-score van gemiddeld 72,5 punten. Dit is een goede score [Bangor et al. 2008]. Studenten hadden een duidelijke voorkeur voor de tijdslijn (Figuur 1 - rechts): drie deelnemers beoordeelden deze visualisatie als zeer nuttig (score 5) en zeven als nuttig (Score 4) op een schaal van 1 tot 5. De emotie-per-activiteit visualisatie (Figuur 1 - links) werd als nuttig beoordeeld door zes mensen. De gemiddelde score was vier op een schaal van 1 tot 5. Figuur 2 vat samen welke informatie studenten graag gevisualiseerd zien. Gedetailleerde informatie van een student, het vergelijken van twee studenten en informatie over contentcreatie waren het meest belangrijk voor studenten van deze case studie. Informatie over gebruikte resources en topresources zijn minder belangrijk. De resultaten werden gebruikt om het dashboard aan te passen en uit te breiden en voor een grotere groep studenten te deployen in case study 2. 3

Figuur 1: emotie-per-activiteit visualisatie (links) en tijdslijn (rechts) Figuur 2: belang van data voor studenten De think-aloud sessies leverden waardevolle inzichten om beide visualisaties te verbeteren. Details zijn beschreven in de paper draft. Uit de analyse van de gegevens en de opmerkingen van de interviews kunnen we concluderen dat studenten de tijdslijn (Figuur 1 - rechts) nuttiger vinden dan de visualisatie van emoties per activiteiten (Figuur 1 - links). Studenten waren ook meer geïnteresseerd in meer gedetailleerde informatie in plaats van geaggregeerde gegevens te presenteren. Case study 2: Human Technology Interaction (TU/e) Deelnemers en datacollectie Er waren dit academiejaar 105 studenten ingeschreven voor het HTI vak van de TU/e. Op een gelijkaardige wijze als in de eerste case studie werd studenten gevraagd een enquête in te vullen om informatie te verzamelen over hun activiteiten en daaraan geassocieerde emotie. De vragen waren meer specifiek dan in de eerste studie. De vragenlijst is beschikbaar op: https://docs.google.com/forms/d/1ik0v1lovfn3vgzqqlba5qun-- WLYAPDMeR16zOVEcLY/viewform Tevens werd studenten wekelijks gevraagd een evaluatie-enquête in te vullen over het nut, doelgerichtheid en bruikbaarheid van het dashboard. Bruikbaarheid werd geëvalueerd door middel van SUS vragen. Er werd ook aan studenten gevraagd de verschillende visualisaties te beoordelen met een extra 5-punt Likert-schaal van helemaal niet nuttig (1) tot zeer nuttig (5). Om de doelgerichtheid van de visualisaties te beoordelen werden een aantal vragen opgesteld die nagaan of studenten de visualisaties correct kunnen interpreteren en of deze 4

visualisaties inzicht geven in leergedrag. De vragenlijst is beschikbaar op: https://docs.google.com/spreadsheet/viewform?formkey=dgjhmmzrrgvjd2treejhmnb4w GRxU2c6MA#gid=5 Deze enquête werd wekelijks uitgevoerd. We ontvingen 298 inzendingen van 95 studenten voor het verzamelen van gegevens. Op het einde van het kwartiel werd opnieuw een face-to-face evaluatiesessie georganiseerd met 6 tot 12 deelnemers per sessie. De visualisaties werden kort toegelicht en daarna vroegen we studenten een laatste evaluatie in te vullen. Deze eindevaluatie werd ingevuld door 52 studenten. Visualisaties Op basis van feedback van de eerste case study werden de visualisaties aangepast. We hebben ook twee nieuwe visualisaties geïmplementeerd om studenten inzicht te geven in data waarin ze het meest geïnteresseerd zijn, namelijk meer gedetailleerde informatie in plaats van geaggregeerde data en het vergelijken van twee studenten. Een heatmap visualisatie (Annex 1 - Figuur 3) toont voor elke student hoe zijn emoties evolueren tijdens de uitwerking van een project gedurende vier weken. De scatterplot (Annex 1 - Figuur 4) geeft de correlatie van tijd die een student spendeert aan het project en een specifieke emotie weer opnieuw voorgesteld als een functie van tijd. Data-analyse SUS scores zijn min of meer constant over de periode van vier weken en zijn gemiddeld 60-62. Dit is lager dan in de eerste case study en kan onder meer verklaard worden door het feit dat aan de eerste case study studenten deelnamen met kennis over informatie visualisatie. Voor deze studenten was het wellicht gemakkelijker om de visualisaties te interpreteren. Een SUS score van 60-62 is lager dan de gemiddelde SUS score (69.69) [Bangor et al. 2008] en duidt op usability issues. Deze issues kunnen mee aan de oorzaak liggen van een lage doelgerichtheid van de visualisaties. We hebben in een aantal vragen gepeild naar hoe goed studenten een antwoord konden geven op specifieke vragen. Resultaten van correctheid van deze antwoorden zijn laag voor sommige vragen en duiden aan dat niet alle visualisaties een goed inzicht geven in de data. Een fragment van deze resultaten is weergegeven in onderstaande tabel. Identify your most frequent emotion during the project. 60% correct How does your confusion evolve along time? 61% correct Identify the week when students were more frustrated? 98% correct Tenslotte hebben we opnieuw gepeild naar het nut van de verschillende visualisaties. De resultaten zijn weergegeven in Figuur 3 en geven aan dat de mediaan van alle 4 de visualisaties gelijk is aan 3. Dit is opnieuw lager dan de scores van case study 1 en toont aan dat deze studenten niet overtuigd zijn van het nut. Op de vraag welke visualisatie studenten verkiezen antwoorden de meeste studenten opnieuw de tijdslijn. We vatten samen hoe deze resultaten een antwoord geven op de onderzoeksvragen in de volgende sectie. Meer gedetailleerde resultaten zijn online beschikbaar op: http://beethoven.gast.it.uc3m.es:8000/assets/media/draft.pdf Figuur 3: nut van visualisaties op schaal van 1 (helemaal niet nuttig) tot 5 (zeer nuttig) 5

4. Conclusies (0,5-1 pagina) In het LADA project hebben we het gebruik van learning analytics dashboards onderzocht. Er werden twee case studies uitgevoerd. Een eerste case study vond plaats van eind februari tot april 2014 aan VUB. In deze case study hebben we data verzameld van studenten en via wekelijkse surveys en een think-aloud sessie aan het einde van het semester hebben we de bruikbaarheid en nut van de visualisatie voor studenten onderzocht. Resultaten van deze eerste gevalsstudie duiden aan dat de studenten de visualisaties als nuttig ervaren. De bruikbaarheid van visualisaties werd ook als goed beoordeeld. Studenten van deze case study hebben kennis over visualisatietechnieken. Deelnemers van de tweede studie waren minder enthousiast: het betreft eerste bachelor studenten aan de TU/e. We vatten kort de resultaten samen op basis van de onderzoeksvragen: 1) Welke data zijn relevant om gebruikers inzicht te geven in het leerproces? In de case studies hebben we zowel tijd die studenten aan activiteiten spenderen gevisualiseerd als emotie geassocieerd aan deze verschillende activiteiten. Correlaties tussen verschillende emoties en tijd werden ook gevisualiseerd. Geaggregeerde data werd aan studenten getoond. Resultaten van studie 1 geven aan dat deze visualisaties nuttig zijn voor studenten, maar dat studenten onder meer geïnteresseerd zijn om meer gedetailleerde data te kunnen bekijken en om data van twee studenten te kunnen vergelijken. Uit ons eerder onderzoek is gebleken dat de meeste dashboards naast tijd ook gebruikte resources visualiseren [Verbert et al. 2013]. Resultaten van ons onderzoek tonen aan dat studenten van onze eerste case study minder geïnteresseerd zijn in deze data. 2) Hoe kunnen we deze data best opslaan? In de case studies die in de context van dit project zijn uitgevoerd hebben we ervoor gekozen om studenten manueel data te laten rapporteren. Deze rapportering gebeurde door google forms. Deze data werd vervolgens automatisch geanalyseerd en gevisualiseerd. In eerder werk van Derick Leony werd een methode ontwikkeld om automatisch indicaties van emotie en tijd te extraheren uit clickstream data [Leony et al. 2012, Leony et al. 2013]. Ons eerder onderzoek heeft aangetoond dat studenten vaak skeptisch staan tegenover dergelijke methoden, aangezien een automatische schatting vaak niet volledig correct is. Studenten van onze eerdere case studies gaven aan een manuele methode te verkiezen [Verbert et al. 2013]. Omwille van deze reden is er in dit project gekozen voor een manuele methode. In toekomstig onderzoek willen we onder meer onderzoeken of een gecombineerde aanpak die in een eerste stap automatisch data capteert en nadien kan bijgestuurd worden door studenten een invloed heeft op het effect van learning dashboards. 3) Welke visualisaties zijn het meest geschikt zijn om gebruikers inzicht te geven in hun leergedrag? In case study 1 werd een tijdslijn en een radial visualisatie die emotie per activiteit voorstelt gedeployed (zie Figuur 1 en Figuur 2 van Annex 1). De tijdslijn werd als meest nuttig beschouwd. De bruikbaarheid van beide visualisaties was goed volgens deelnemers. Deze deelnemers hebben een goede kennis van informatie visualisatie. In case study 2 werd naast deze twee visualisaties ook een heatmap en scatter plot toegevoegd (Figuur 3 en Figuur 4 in Annex 1). Studenten in deze case study hebben in tegenstelling tot deelnemers van case study 1 minder expertise in informatie visualisatie. Voor deze studenten bleken de visualisaties moeilijker te interpreteren. Het nut van de verschillende visualisaties werd ook lager beoordeeld. Reacties waren neutraal. De (eenvoudige) tijdslijn werd als beste visualisatie gekozen door de meeste studenten. 4) Hoe kunnen we het effect van deze visualisaties op het leerproces te evalueren? Het effect van visualisaties werd gemeten aan de hand van questionnaires en think-aloud studies. De resultaten zijn interessant omdat ze een inzicht geven in het potentieel nut van learning dashboards voor studenten. Bestaande projecten richten zich vooral op nut voor docenten [Verbert et al. 2013]. Verder onderzoek is nodig om te evalueren of dashboards ook een invloed kunnen hebben op het leren. 6

5. Continuering (0,5-1 pagina) De projectresultaten zullen beschreven worden in een paper dat ingediend zal worden voor publicatie in Computers & Education. Een draft is beschikbaar op: http://beethoven.gast.it.uc3m.es:8000/assets/media/draft.pdf We hebben tijdens de looptijd van het project ook een nieuwe samenwerking geïnitieerd met de Roode Kikker in Eindhoven. In opvolgonderzoek zullen we verder onderzoeken of de ontwikkelde dashboards inzetbaar zijn bovenop data dat verzameld wordt van studenten die gebruik maken van het platform. Het doelpubliek is anders aangezien het gaat om studenten lager onderwijs. In hoeverre visualisaties kunnen ingezet worden voor een dergelijk publiek is een interessante onderzoeksvraag. We bekijken met de Roode Kikker onder meer of visualisaties die gebruik maken van badges als rewards voor deze studenten nuttig zijn. De projectresultaten maken deel uit van het grotere thema rond learning analytics in de onderzoeksgroep: ook Derick Leony die zijn doctoraat plant af te ronden voor eind 2014 zal het onderzoek verderzetten en afronden als laatste onderdeel van zijn doctoraatsonderzoek. Aanspreekpunt is Katrien Verbert: katrien.verbert@gmail.com and @katrien_v 6. Overige opmerkingen / 7. Kostenoverzicht 1-1.5 pagina Beschrijf hier welke kosten zijn gemaakt en hoeveel subsidie aangevraagd wordt. Gebruik en integreer daarvoor het standaard kostenoverzicht (Excel) van SURF te vinden via: http://www.surf.nl/nl/themas/innovatieinonderwijs/learninganalytics/pages/stimuleringsregeli nglearninganalytics2013.aspx Geef een toelichting (max 0.5-1 pagina) onder de tabel als de gemaakte kosten wezenlijk afwijken van de in het projectvoorstel geschatte kosten. 7

De kosten wijken niet wezenlijk af van de begrootte kosten. 8

Referenties Bangor, P. T. Kortum, and J. T. Miller. An empirical evaluation of the system usability scale. Int. Journ. of HCI, 24(6):574 594, 2008 Leony, D., Pardo, A., de la Fuente Valentín, L., de Castro, D. S., & Kloos, C. D. (2012, April). GLASS: a learning analytics visualization tool. In Proceedings of the 2nd International Conference on Learning Analytics and Knowledge (pp. 162-163). ACM. Derick Leony, Pedro J. Muñoz Merino, Abelardo Pardo, Carlos Delgado Kloos: Provision of awareness of learners' emotions through visualizations in a computer interaction-based environment. Expert Syst. Appl. 40(13): 5093-5100 (2013) Santos, J.L., Verbert, K., Govaerts, S. and Duval, E. (2013). Addressing learner issues with StepUp!: an evaluation. In Proceedings of the Third International Conference on Learning Analytics and Knowledge (LAK '13), Dan Suthers et al. (Eds.). ACM, New York, NY, USA, pp. 14-22. Verbert, K., Govaerts, S., Duval, E., Santos, J.L., Van Assche, F., Parra, G., Klerkx, J. (2013). Learning Dashboards: an Overview and Future Research Opportunities. Personal and Ubiquitous Computing (PUC) Journal, 16 pages 9

Annex 1: visualisaties Figuur 1: emotie-per-activiteit visualisatie Figuur 2: tijdslijn 10

Figuur 3: heatmap Figuur 4: scatterplot 11