UvAInform FNWI pilot COACH 2 Aanvragers: Bert Bredeweg (IvI, FNWI, UvA) 2 Natasa Brouwer (ESC, FNWI, UvA) Andre Heck (KdV, FNWI, UvA) Datum: versie 14 11 24 3 1. Inleiding algemeen De FNWI gaat drie onderzoeken uitvoeren naar de bruikbaarheid en effectiviteit van Learning Analytics (LA) 4 bij lopend onderwijs. De onderzoeken bouwen verder op de ervaring van het eerder uitgevoerde COACH project 5, maar betreffen een nieuwe aanpak en realisatie. Zo wordt onder meer gebruik gemaakt van de Learning Record Store (LRS) die momenteel in ontwikkeling is bij de afdeling ICT Services (ICTS) van de Universiteit van Amsterdam (UvA). In de basis kent elk onderzoek een ontwikkel en gebruik traject. Tijdens de ontwikkeling wordt het LA instrument gemaakt. Tijdens het gebruik worden de interacties tussen leerlingen (en/of docenten) met het LA instrument bestudeerd om te achterhalen of het LA instrument een positieve bijdrage levert aan het leerproces en de leerresultaten. Het ontwikkel traject kent een aantal onderdelen, welke in de basis gelijk zijn voor elk van de onderzoeken, maar die afhankelijk van het onderzoeksdoel anders worden uitgevoerd: 1. Vergaren en actueel houden van relevante data in de LRS. 2. Ophalen van data uit de LRS, bewerken en geschikt maken voor presentatie. 3. Visualiseren van de resultaten, waar nodig verrijkt met interactieve component. Tijdens het gebruik traject zijn vooralsnog twee soorten interactie voorzien: De individuele leerling ziet zijn/haar eigen resultaten gepositioneerd in de context van de resultaten van andere, vergelijkbare leerlingen. Ook wel mirroring genoemd. Belangrijk hierbij is de vraag welke relatieve positie wordt berekend en getoond. De positionering van individuele student wordt gebruikt door het onderwijzend personeel om te bepalen hoe hun ondersteuning het beste kan worden aangewend. 1. Learning Analytics voor Pre MSc Information Studies 1.1 Inleiding Pre Master Information Studies (MIS) is een programma met vijf online modules bedoeld voor de studenten (met deficiënties) die willen instromen in die Master om hun kennis op het vereiste niveau te brengen. De opzet van alle modules is gelijk en de onderwijsmethode is gebaseerd op toets 2 Contact: E mail: B.Bredeweg@uva.nl, Telefoon: +31 525 6788 3 In principe gelijk aan versie 14 09 22, doch met een vernieuwde opmaak. 4 http://en.wikipedia.org/wiki/learning_analytics 5 http://ictofnwi.wordpress.com/category/surf project/
gestuurd leren. De inhoud van de modules is verdeeld in lessons die door de studenten volgens het adaptive release principe worden gebruikt. In elke les is er een toets en is er divers lesmateriaal beschikbaar: video s en artikelen om te downloaden. In elke module is er ook een moderator die studenten begeleid en feedback geeft. 1.2 Doelen LA gebruiken om studenten continu te informeren over hun studiegedrag ten opzichte van het gedrag van hun medestudenten en hen advies te geven over het gebruik van lesmateriaal in de module. Een dashboard wordt gebruikt door de moderator om studenten efficiënter te kunnen begeleiden en studenten in gevaar snel te kunnen identificeren en tijdig te benaderen. 1.3 Onderzoeksvragen Zijn Blackboard data zoals vastgelegd bij deze 5 modules bruikbaar voor LA aanpak? Helpt de COACH2 informatievoorziening aan de studenten die een serie van online modules met geen face to face contact volgen om: o een beter inzicht te krijgen in hun leerproces in het algemeen? o een beter inzicht te krijgen in hun leerproces bij de modules die ze volgen? o en kunnen ze hierdoor beter studeren? Helpt de COACH2 informatievoorziening aan een (online) moderator van een module om studenten efficiënter te begeleiden en beter te motiveren voor hun leren? Helpt de COACH informatievoorziening eventuele zwakke plekken in het course design/aangeboden materiaal van de modules beter te kunnen herkennen waardoor vervolgens de kwaliteit van de modules verbeterd kan worden? 1.4 Software en Data Continue updating van LRS data op basis van Blackboard data. O.a. alle gebruik van het lesmateriaal, software tools, en student toets gedrag/resultaat worden geregistreerd en op diverse manieren in de interface gevisualiseerd om studenten continu feedback te geven. Elke student ziet in principe zijn/haar gedrag ten opzichte van zijn/haar medestudenten. 1.5 Werkplan # Activiteiten Uren A Requirements analyse en stapsgewijze verfijning, o.a. Inhoudelijk aanpak (onderwijs inbedding en positionering) Technisch aanpak (benodigde data en verwerking) Planning activiteiten in de tijd o Fase voor de start van modules o Tijdens de modules o Na afloop van de modules Design COACH2 interface o T.b.v. leerlingen o T.b.v. docenten Afstemming en overleg met technische partners (Ext1 en ) 80
B C D E F G H Koppeling databronnen (vanuit 5 vakken) en opslag van die data in LRS. Merk op dat data uit Blackbord komt, maar ook uit enkele andere bronnen. Ophalen data uit LRS en verwerking volgens inhoudelijke requirements. Implementatie van de COACH2 gebruikers interface (volgens requirements) en visualisatie van verkregen en verwerkte data. Monitoren van proces tijdens het onderzoek. Alle acties van alle studenten ingeschreven in Pre master MIS programma in één of meerdere modules in Blackboard worden gevolgd. Reageren op vragen van deelnemers, problemen en/of onverwachte zaken ter hand nemen. Communicatie naar studenten toe, afhandeling privacy issues. Alle studenten zijn op de hoogte van het lopen van het onderzoek. Ze kunnen in principe niet kiezen in welke groep ze zitten. Verdeling over groepen (zie F onder) roept zo minder vragen op bij studenten. Voorbereiding experiment. Verdeling van studenten in groepen, koppeling van moderatoren aan de juiste studenten, en administratieve zaken. De groep studenten die de Pre master volgen wordt random verdeeld in twee of drie groepen: (a) groep die een volledig dashboard te zien krijgt, (b) groep die geen dashboard ziet, en (c) groep die alleen een klein deel van het dashboard te zien krijgt. Elke moderator krijgt alleen zijn/haar eigen groep te zien. De ene moderator ziet alle gegevens van de studenten en de andere een deel. Alle moderatoren die mee doen, hebben al eerder dezelfde module begeleid zonder een LA instrumenten. Na afloop schriftelijke evaluatie van ervaringen van studenten (bij tentamen) en een gesprek met de moderatoren. Na afloop verwerking van de evaluatie van het onderzoek. Export en opslag van alle gebruikte data, o.a. uit het LRS, aanvullende data analyse waar nodig. I Schriftelijk rapportage 40 Ext1 Tijd totaal 0 2. Motivatie opwekken middels spiegeling (BSc KI) 2.1 Inleiding Bij een selectie van cursussen binnen de bachelor Kunstmatige Intelligentie (BSc KI) wordt het online leergedrag van studenten gemonitord, en via spiegeling (mirroring) technieken teruggekoppeld aan de individuele student. Hiervoor wordt het gebruik van online materiaal en activiteiten in Blackboard gevolgd, en individueel gedrag gepresenteerd ten opzichte van de groep via een visuele interface.
2.2 Doelen LA instrumenten gebruiken om studenten continu feedback te geven over hun studiegedrag ten opzichte van het gedrag van hun medestudenten. Het onderzoek bestaat er uit om na te gaan of en in welke mate spiegelen bijdraagt aan het verbeteren van studiegedrag, o.a. via onderliggende mechanismen zoals motivatie. 2.3 Onderzoeksvragen De precieze realisatie van het experiment zal gaandeweg worden aangepast op basis van de verkregen inzichten, er van uitgaande dat de technische implementatie generiek wordt uitgevoerd. In de basis zijn de manipulaties echter steeds van de volgende soort: Positioneren van individuen in huidige cohort ten opzichte van het cohort van het voorgaande jaar. Dit met als doel om te onderzoeken of het LA instrument een verbetering geeft van het rendement (en daarom gemeten t.o.v. het vorige studiejaar). Positionering t.o.v. huidige (of vorig cohort), aangevuld met een voorspelling over het verwachte eindresultaat. Dit met als doel om te achterhalen of het laten zien van het verwachte eindresultaat (t.o.v. alleen de huidige stand van zaken ) een impact heeft op motivatie en daardoor op studiegedrag en rendement. 2.4 Software en Data Alle data die binnen Blackboard beschikbaar is bij vakken binnen de BSc KI. Continue updating van LRS data op basis van de Blackboard data. 2.5 Werkplan # Activiteiten Uren A B C D E Requirements analyse en stapsgewijze verfijning, o.a. Inhoudelijk aanpak (onderwijs inbedding en positionering) Technisch aanpak (benodigde data en verwerking) Planning activiteiten in de tijd Design interface Afstemming en overleg met technische partners (Ext1 en ) Koppeling van Blackboard als databron en opslag van die data in LRS. Merk op dat in principe de data van alle vakken in de BSc KI worden meegenomen. Ophalen data uit LRS en verwerking volgens inhoudelijke requirements. Implementatie van de gebruikers interface (volgens requirements) en visualisatie van verkregen en verwerkte data. Monitoren van proces tijdens het onderzoek. Reageren op vragen van deelnemers, problemen en/of onverwachte zaken ter hand nemen. Communicatie naar studenten toe, afhandeling privacy issues. Studenten op de hoogte brengen van het onderzoek. Studenten kunnen in principe niet kiezen in welke groep ze zitten. 80 Ext1
F G H Voorbereiding experiment. Verdeling van studenten in groepen, administratieve zaken, etc.. Debriefing. Na afloop schriftelijke evaluatie van ervaringen van studenten. Gesprekken met docenten. Na afloop verwerking van de evaluatie van het onderzoek. Export en opslag van alle gebruikte data, o.a. uit het LRS, aanvullende data analyse waar nodig. I Schriftelijk rapportage (bij meerdere vakken en manipulaties). 80 Tijd totaal 240 3. Learning Analytics voor studenten Levenswetenschappen 3.1 Inleiding Dit onderzoek is een opschaling van het SURF project COACH1. Het leren is volledig online. Onderwijsmethode is toets gestuurd leren gebruikmakend van een wiskunde oefen en testomgeving, alsmede in combinatie met andere leeromgevingen. 3.2 Doelen Het dashboard zoals gemaakt in het project COACH1 optimaliseren wat betreft de functionaliteit en uiterlijk, ten einde een LA instrument te krijgen met meer impact. Op basis van het resultaat van COACH1 het dashboard aanpassen naar meer of naar juist minder functionaliteiten. Data van COACH1 ter beschikking stellen van het testen van LRS in het IC project en nabootsen van situaties die eerder moeilijk zijn geweest. 3.3 Onderzoeksvragen Dit onderzoek betreft een opschaling van COACH1. COACH1 is gebruikt bij één vak met een wiskunde component. Werkt de nieuwe LRS? Welke componenten van het dashboard moeten er zijn? Ervaringen uit COACH1 project gebruiken. Kan het COACH1 dashboard worden opgeschaald naar andere vakken met dezelfde structuur? 3.4 Software en Data Continu export (push) naar LRS uit SOWISO, de wiskunde oefen en test omgeving en uit de Khan academie. Visualisatie via nieuwe COACH2 interface. 3.5 Werkplan # Activiteiten A Requirements analyse en stapsgewijze verfijning, oa. Inhoudelijk aanpak (onderwijs inbedding en positionering) Technisch aanpak (benodigde data en verwerking) Planning activiteiten in de tijd Ure n
B C D E F G H Design COACH2 interface op basis van COACH1 Afstemming en overleg met technische partners (Ext1 en ) Koppeling databronnen en opslag van die data in LRS. Merk op dat data uit meerdere bronnen komt. Ophalen data uit LRS en verwerking volgens inhoudelijke requirements. Implementatie van de COACH2 gebruikers interface (volgens requirements) en visualisatie van verkregen en verwerkte data. Monitoren van proces tijdens het onderzoek. Reageren op vragen van deelnemers, problemen en/of onverwachte zaken ter hand nemen. Communicatie naar studenten toe, afhandeling privacy issues. Alle studenten zijn op de hoogte van het lopen van het onderzoek. Ze kunnen in principe niet kiezen in welke groep ze zitten. Voorbereiding experiment. Verdeling van studenten in groepen, koppeling van moderatoren aan de juiste studenten, en administratieve zaken. Na afloop schriftelijke evaluatie van ervaringen van studenten (bij tentamen) en een gesprek met docenten. Na afloop verwerking van de evaluatie van het onderzoek. Export en opslag van alle gebruikte data, o.a. uit het LRS, aanvullende data analyse waar nodig. I Schriftelijk rapportage Ext1 Tijd totaal 80 4. Financiën Context Item Kosten (Euro) Onderzoek 1 Student assistent (0 uur) 6000 Onderzoek 2 Student assistent (240 uur) 70 Onderzoek 3 Student assistent (80 uur) 2400 Onderzoek 1, 2 en 3 Extern 1 (totaal) 2500 6 Onderzoek 1, 2 en 3 Extern 2 (totaal) 9000 6 Schatting.
Totaal 270 5. Herbruikbaarheid en schaalbaarheid De voorgestelde mechanismen zijn in hoge mate herbruikbaar. Om te beginnen kunnen dezelfde principes worden overgezet op andere studieonderdelen. In dat geval volstaat het implementeren van adequate koppelingen met de data gegenereerd in de context van dergelijke studieonderdelen. Variaties zijn ook denkbaar, bijvoorbeeld andere visualisaties of berekeningen. Afhankelijk van de wensen vergen dergelijke stappen mogelijk enige aanpassing van de originele opzet, en meer of minder inspanning afhankelijk van de complexiteit van die wensen. Echter, in de basis betreft het mechanismen die met relatief weinig extra inspanning op grote schaal, zeker UvA breed, kunnen worden ingezet. 6. Risicoanalyse Het project is afhankelijk van het tijdig opleveren en goed functioneren van de LRS (Learning Record Store) zoals die momenteel binnen de UvA door ICTS wordt ontwikkeld. Mocht hierin vertraging ontstaan, dan kan het noodzakelijk zijn om de uitvoering van het hier voorgestelde project uit te stellen tot een later tijdstip. 7. Verspreiding (disseminatie) De resultaten zullen worden beschreven in een technisch rapport. Daarnaast zal een beknopte versie worden voorgedragen voor wetenschappelijk publicatie, bij voorkeur internationaal. Tevens zullen voordrachten worden gegeven. 8. Ethische zaken Naar beste inzicht van de aanvragers zijn er geen relevant ethische zaken aan de orde. Wel wordt er gebruik gemaakt van data en is het noodzakelijk dat gehandeld wordt conform de gebruikelijke regelgeving in deze. Daartoe zal onder anderen worden gewerkt met geïnformeerde toestemming (informed consent), zoals gebruikelijk bij wetenschappelijk onderzoek. Daarnaast wordt de te handhaven procedure aangaande ethische zaken en privacy ter goedkeuring voorgelegd aan de ethische commissie informatie wetenschappen van de FNWI. 7 7 Ethical Committee Information Sciences (ECIS): http://ivi.uva.nl/news events/news/news/news/content/folder/14/06/ecis.html