LEARNING ANALYTICS BIJ DE UNIVERSITEIT UTRECHT: DATA & DASHBOARDS

Transcriptie

1 LEARNING ANALYTICS BIJ DE UNIVERSITEIT UTRECHT: DATA & DASHBOARDS ECCA BERHITU, JOHAN JEURING, LARS VAN DER PLANK, ANNE-PETRA ROZENDAL, HAROLD VAN RIJEN

2 INTRODUCTIE De opdrachtgever voor dit project is Harold van Rijen, van het Onderwijscentrum UMC Utrecht, namens het projectteam van `Differentiatie door Blended learning en Learning Analytics. Het project `Differentiatie door Blended learning en Learning Analytics wordt gefinancierd door het Stimuleringsfonds Onderwijs van de Universiteit Utrecht voor de periode Het is een universiteitsbreed project, waarin geëxperimenteerd wordt met blended learning: een onderwijsvorm waarin studenten zowel onderwijs op de universiteit als via technologie volgen. Veel voorkomende vormen van technologie die gebruikt worden in blended learning zijn videolectures, quizes, en digitale of online toetsen. De opleidingen die deelnemen in het project zijn diergeneeskunde, biologie, geneeskunde, en nog veel meer. DOEL Het doel van dit project is het ontwikkelen van een learning analytics service. Het betreft een doorontwikkeling van het bestaande Learnlytics, dat is ontwikkeld in een softwareproject van februari - juli Meer informatie over dit project is te vinden op: Ondersteund door (gedocumenteerde) ervaringen en werk uit dit eerdere project, zullen er nieuwe dashboards ontwikkeld worden en zullen er meer systemen gegevens gaan leveren voor de service. De opdracht is om deze gegevens op een zinvolle manier te combineren en te presenteren aan de verschillende gebruikersgroepen in de hoop de connectie tussen voorbereidend online leren en verdiepend contactonderwijs te optimaliseren. Het onderwijsconcept waarbinnen de service (in eerste instantie) bij het UMC Utrecht gebruikt zal gaan worden is het blended team-based learning concept. Door de student inzicht te geven in het eigen studiegedrag en kennis- en begripsniveau kan de student zijn/haar inzet bijsturen zodat hij/zij voldoende is voorbereid om het verdiepend contactonderwijs te volgen.

3 Door de docent inzicht te geven in het studiegedrag en kennis- en begripsniveau van de studenten is gerichte sturing en begeleiding mogelijk. De docent kan de aandacht richten op onderwerpen die binnen zijn/haar werkgroep lastig blijken te zijn. Door de cursuscoördinator dit inzicht te geven over het gehele cohort kan de inhoud en het ontwerp van het onderwijs gericht bijgesteld worden met als doel prestaties en studiegedrag te verbeteren. WAT IS DE FUNCTIONALITEIT VAN DE GAME EN/OF SOFTWARE? Data uit verschillende bronnen zullen verzameld moeten worden binnen de service. De aandacht gaat uit naar data die voortkomen uit het gebruiken van e-modules, het bekijken van kennisclips en het beantwoorden van (formatieve) toetsvragen door studenten binnen een cursus. Ook andere bronnen (bijvoorbeeld ELO, evaluatiesysteem) zouden in aanmerking kunnen komen om data aan te leveren. Van een aantal databronnen is het nu al duidelijk dat we data van het juiste formaat kunnen krijgen, van een aantal bronnen zal dat gedurende het project blijken. We zullen dus niet nu al de databronnen precies vastleggen. De verzamelde data zal waar nodig worden aangevuld of gekoppeld met extra gegevens zoals aan de gegevens gerelateerde leerdoelen en/of andere metadata. De data zal vervolgens na transformatie en combinatie via dashboards aan de gebruikers worden gepresenteerd, waarin rekening wordt gehouden met vier verschillende niveaus van presentatie: individueel, team, werkgroep en cohort. TOEPASSINGSGEBIED De learning analytics service wordt gebruikt in onderwijssettings, zowel formele (universiteit, hbo, mbo, of voortgezet of primair onderwijs) als informele (online games, educational hypermedia, etc). Daarnaast kan het als component ingezet worden door andere onderwijs/serious game providers. In eerste instantie zal het resultaat toegepast worden bij het UMC Utrecht in een blended team-based learning onderwijssetting. Ook binnen andere settings kan de service, of kunnen delen van de service een rol gaan spelen. Eerder heeft biologie (Fred Wiegant) al gebruik gemaakt van de eerste versie van de software, echter niet met optimaal resultaat. De wens daar is een verbeterde versie van de software en uitbreiding van het gebruik. Johan Jeuring wil ook door met Learnlytics in combinatie met Communicate! (een ander lopend USO-project). We houden de mogelijkheid open voor andere universitaire afnemers om zich gedurende de loop van het project aan te sluiten, indien de databronnen goed ingelezen kunnen worden, en de gewenste presentaties in voldoende mate aansluiten bij de ontwikkelde dashboard presentaties.

4 De service kan ook ingezet worden voor het doen van onderzoek. Een aantal van de vragen die spelen zijn hieronder weergegeven. o o o Is er een relatie tussen de onderdelen in de e-modules die vaker worden teruggekeken en antwoorden op de individuele kennistoets? Is er een relatie tussen de gevolgde routes in de e-modules en de cijfers op de eindtoets? Kunnen de scores op de eindtoets voorspeld worden door de scores op de wekelijkse diagnostische kennistoetsen? CONTEXT/GERELATEERD WERK Er is op het moment veel aandacht voor learning analytics. Onder andere bij SURF wordt veel geëxperimenteerd met techniek. Ook zijn er diverse bedrijven die diensten aanbieden op dit gebied, vaak gekoppeld aan (en beperkt tot) andere producten. Het Educate-IT innovatieproject NGDLE (Next Generation Digital Learning Environment) is ook gerelateerd aan dit project, aangezien learning analytics een belangrijke rol zal geen spelen in de (digitale) leeromgeving van de toekomst. WAAROM IS HET PROJECT INTERESSANT? Recent onderzoek onder duizenden studenten gaf aan dat ze de meeste meerwaarde van ICT in het onderwijs verwachten als de student met behulp van ICT inzicht kan krijgen in zijn of haar vorderingen, en informatie over waar hij of zij nog meer aan moet werken. De learning analytics service draagt hopelijk aan dit doel bij. Daarnaast draagt de service bij aan het geven van informatie aan de docent waar zijn of haar studenten staan, en kan zo bijdragen aan beter onderwijs, omdat de docent beter weet wat op ieder moment de behoefte van de studenten is. WAAROM IS HET PROJECT INTERESSANT VOOR DE STUDENT? Dit project is nauw gerelateerd aan het proces waarin studenten zichzelf bevinden, en sluit hopelijk aan bij een aantal van hun interesses. Er zitten een aantal interessante technische aspecten aan het project: het ondersteunen van de constructie van ontleders voor verschillende formaten het ontwikkelen van een formaat dat geschikt is voor het leveren van informatie aan de verschillende dashboards

5 het op verschillende manieren analyseren van de data (longitudinaal, clusteren, trends en relaties, ). Hier komen mogelijk verschillende machine learning/statistische/data mining achtige technieken aan de orde het visualiseren van data het configureren van de verschillende aspecten de configuratiemogelijkheden op een gebruikersvriendelijke manier ter beschikking stellen DELIVERABLES Gedocumenteerde software om de data uit de verschillende bronnen te kunnen ontvangen en op te slaan. Dashboards om deze data te visualiseren. PROJECTDUUR Het software-project loopt van februari tot en met juni ONTWERP GRENZEN BEPERKENDE VOORWAARDEN Eén van de lastige aspecten van het project is privacy/security. Studenten mogen hun eigen data inzien, de docent mag de data van de ingeschreven studenten inzien, studenten kunnen mogelijk afgezet worden tegen het gemiddelde van de ingeschreven studenten, maar voor veel informatie is expliciete toestemming voor het gebruik nodig. Daarnaast kan het technisch lastig zijn om de gegevens uit de beschikbare systemen te krijgen en op een manier op te slaan die het mogelijk maakt data uit verschillende systemen met elkaar in verband te brengen. SYSTEEM INPUT De invoer voor de service zal bestaan uit data uit verschillende systemen. Elke afnemer van de service kan zijn eigen selectie maken van de systemen die input leveren. Denk aan bijvoorbeeld toetsresultaten, kijkgedrag, het gebruik van e-modules. Er zijn al lijsten beschikbaar van welke specifieke gegevens gewenst zijn uit de systemen die deze data genereren (bijvoorbeeld Remindo Toets, Mediasite, Trivantis Lectora / Articulate Storyline).

6 GEWENST GEDRAG De student gebruikt de informatie uit het dashboard om zijn of haar leren te sturen. De docent gebruikt het dashboard om het onderwijs aan studenten zo passend mogelijk te maken. ONGEWENST GEDRAG Het dashboard is nadrukkelijk bedoeld om studenten inzicht te geven in hun eigen vorderingen, en docenten inzicht te geven in de vorderingen van hun studenten. Het dashboard moet dus niet gebruikt worden voor bijvoorbeeld beoordelingen/cijfers/eindresultaten, of het kijken in data van andere studenten. GEBRUIK VISUALISATIE Voor de visualisatie van gegevens willen we graag standaard dashboard-technieken gebruiken. ARTWORK Voor dit project ligt het ontwikkelen van artwork niet voor de hand. SPELERS-/GEBRUIKERSPERSPECTIEF Gebruikers van de dashboards gebruiken de informatie vooral om hun acties buiten het systeem (leergedrag of onderwijsgedrag) te sturen. ACTIES/HANDELINGEN De gebruikers zullen vooral werken met de dashboards. Die leveren (o.a.) de volgende functionaliteiten. Terugkoppeling naar student: Wekelijks terugkoppeling van studiegedrag (e-modules) en kennis-en begripsniveau (diagnostische kennistoets) na de diagnostische teamtoets: o Vergelijk studiegedrag met het team, de groep en het cohort. o Score diagnostische toets individueel en diagnostische toets team. o Vergelijk scores met het team, de groep en het cohort (ranking). Terugkoppeling naar docent:

7 Directe wekelijkse terugkoppeling van studiegedrag (e-modules) en kennis-en begripsniveau (diagnostische kennistoets) van de individuele student na de voorbereidingsfase: o Vergelijk studiegedrag met het team, de groep en het cohort. o Score diagnostische toets individueel en diagnostische toets team. o Vergelijk scores met het team, de groep en het cohort (ranking). VEREISTE MATERIALEN MATERIALEN AANGELEVERD DOOR DE OPDRACHTGEVER De bestaande software zal door de opdrachtgever worden aangeleverd. Een groot deel van de toetsen en e-modules die het UMC gaat gebruiken is al geproduceerd. Om data uit deze bronnen met elkaar in verband te kunnen brengen is er echter nog wel aanpassing nodig. Ook de kennisclips moeten nog worden gemaakt. Dit zal parallel moeten gebeuren aan het project. TESTOMGEVING De cursus Genoom wordt vernieuwd, hierbij wordt het blended learning principe toegepast: individuele voorbereiding met online tools (Lectora, Remindo) gevolgd door verdiepend contactonderwijs. De wens is om learning analytics in te zetten om de effectiviteit van het blended learning principe te verhogen. De ontwikkelde producten zullen in de eerste plaats worden ingezet bij deze cursus. Ook de cursussen Biologie van Fred Wiegant bij het UCU worden gebruikt als testomgeving, en dat met name voor de digitale toetsomgeving Remindo. CONTACTPERSONEN Lars van der Plank Onderwijstechnologie, Onderwijscentrum UMC Utrecht [email protected] Meer informatie Ecca Berhitu Informatisering en ICT, Onderwijscentrum UMC Utrecht [email protected]

8 Anne-Petra Rozendal Onderzoeker, Onderwijscentrum UMC Utrecht Harold van Rijen Hoogleraar, Onderwijscentrum UMC Utrecht Johan Jeuring Professor, Department of Information and Computing Sciences, Universiteit Utrecht