Onderwijs verbeteren met learning analytics Resultaten van het STELA-project Jan-Paul van Staalduinen, TU Delft SURF Onderwijsdagen, 6 november 2018
Inhoud 1. Wat is learning analytics? 2. Wat is het STELA-project? 3. Een tweetal dashboards 4. Dezelfde dashboards, andere context 5. Conclusies en aanbevelingen
Wat is Learning Analytics? Learning analytics is het verzamelen van digitale sporen die leerders achterlaten en die sporen gebruiken om leren te verbeteren. - Erik Duval (vert., 2012) Learning Analytics and Educational Data Mining, Erik Duval s Weblog, 30 January 2012, https://erikduval.wordpress.com/2012/01/30/learning-analytics-and-educational-data-mining/
Het STELA project (1) Successful Transition from secondary to higher Education using Learning Analytics (STELA) Focus: Transitie van secundair naar hoger onderwijs Doel: Die transitie ondersteunen m.b.v. van learning analytics
Het STELA project (2) Achterliggende gedachte dashboards Schaalbaar en transferabel O.b.v. beschikbare data Bruikbare feedback Technologie eenvoudig aan te passen aan omstandigheden Social-comparison theorie Mensen evalueren hun vaardigheden door zichzelf met anderen te vergelijken (als objectieve maatstaven ontbreken) Eerstejaars studenten missen dit referentiekader nog
[!] Feedback moet bruikbaar zijn Attentie! Mannelijke studenten hebben 10% minder kans succesvol te zijn. Jij bent een man. Attentie! Je online activiteit loopt achter op schema.? action?? action?
Een tweetal dashboards Dashboard 1: Learning tracker In TU Delft MOOCs MOOC: Massive Open Online Course Dashboard 2: Leervaardigheden (LASSI) In KU Leuven campusonderwijs
Dashboard 1: Learning tracker
Dashboard 1: Learning tracker Studenten in MOOCs (33K+) Students ontvangen een overzicht van hun voortgang in de MOOC Eerst in reguliere MOOCs, daarna in MOOC speciaal voor transitie SO-HO Dan Davis, Ioana Jivet, Rene Kizilcec, Guanliang Chen, Claudia Hauff, and Geert-Jan Houben. Follow the Successful Crowd: Raising MOOC Completion Rates through Social Comparison at Scale, LAK, pp. 454-463, 2017.
Impact van de learning tracker In reguliere MOOCs met deelnemers van alle leeftijden significant effect te zien: Slagingspercentage van 18,9% t.o.v. 15,5% in controlegroep (beiden 2000+ studenten) In MOOC voor transitie SO-HO géén effect geobserveerd Verklaring nog niet gevonden, maar zit waarschijnlijk in doelgroep Dan Davis, Ioana Jivet, Rene Kizilcec, Guanliang Chen, Claudia Hauff, and Geert-Jan Houben. Follow the Successful Crowd: Raising MOOC Completion Rates through Social Comparison at Scale, LAK, pp. 454-463, 2017.
Leerpunten n.a.v. dashboard 1 Start met beschikbare data Heel veel data kan wellicht in de toekomst beschikbaar komen begin met wat al beschikbaar is Context is belangrijk Context bepaalt welke data beschikbaar is en gebruikt kan worden (Commerciële) MOOCs bieden vrijheden Context is ook bepalend voor de impact van learning analytics
Dashboard 2: Leervaardigheden
Dashboard 2: Leervaardigheden Studenten vullen LASSI-vragenlijst in Studenten ontvangen persoonlijke mail met uitnodiging voor dashboard 4000+ studenten in 27 programma s in 9 faculteiten @ KU Leuven Demo: https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
Dashboard 2: Score Structuur Introductie en 5 vaardigheden Wat? Uitleg van de vaardigheid Score en peers? Vergelijking met peers in programma; elke stip is één student; eigen score in een kader Demo: https://learninganalytics.set.kuleuven.be/lassi-1718/ (KU Leuven login)
Dashboard 2: Bruikbare feedback Actie Tips om aan je studievaardigheden te werken
Impact: Bruikbare feedback? How CLEAR is this info? stars stars http://blog.associatie.kuleuven.be/tinnedelaet/learning-dashboard-for-actionable-feedback-on-learning-and-studying-skills/
Studenten die doorklikken Beter ontwikkelde leervaardigheden Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness. In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
Meer intensieve gebruikers Minder ontwikkelde leervaardigheden Broos, T., Peeters, L., Verbert, K., Van Soom, C., Langie, G., & De Laet, T. (2017, July). Dashboard for Actionable Feedback on Learning Skills: Scalability and Usefulness. In International Conference on Learning and Collaboration Technologies (pp. 229-241). Springer, Cham.
Leerpunten n.a.v. dashboard 2 Impact is moeilijk te meten De impact van learning analytics is soms moeilijk te bepalen Zeer veel factoren bepalen prestaties van studenten in het campusonderwijs Ethiek is leidend in live onderwijssetting Woordkeuze doet ertoe Ondersteunende tekst bij de visualisaties moet zorgvuldig worden geformuleerd De formulering moet de juiste interpretatie weergeven En moet bovendien bruikbare feedback leveren
Dezelfde dashboards, andere context
Dezelfde dashboards, andere context Dashboard 1: Learning tracker In een SPOC van KU Leuven, ontwikkeld door TU Graz + TU Delft SPOC: Small Private Online Course Dashboard 2: Leervaardigheden (LASSI) In TU Delft campusonderwijs, geïntegreerd in eigen ICT-landschap, data verwerkt door KU Leuven
Dashboard 1: Learning tracker Opschalen naar andere MOOCs TU Delft Uiteindelijk naar 4 MOOCs, meerdere runs, 33K studenten Eenvoudige transferabel naar andere MOOCs omdat de technologie hetzelfde is en schaalbaar is Context van de MOOC doet er wel toe (self-paced versus paced) Transfer naar KU Leuven (SPOC) 2 SPOCS, andere context: studenten beginnen later; wekelijkse update moeilijk Discussie over de juiste metrics en causaliteit tussen SPOC activiteit en metrics Eerste keer MOOC-data gebruiken is een uitdaging; ook lastig te verkrijgen Data door andere universiteit laten analyseren is zeer uitdagend vanwege AVG / GDPR bemoeilijkt internationale samenwerking Impact lastig te bepalen
Dashboard 2: Leervaardigheden Opschalen binnen KU Leuven 27 programma s, > 4000 studenten, >120 studieadviseurs Hoge acceptatiegraad bij alle actoren (programmacommissie, studenten, studieadviseurs) Geen zorgen over datagebruik voor dashboard Transfer naar TU Delft Eerst 2 programma s, later 3 Data eenvoudig te verkrijgen Toestemming (ethiek) en acceptatie relatief eenvoudig Integratie van dashboard binnen ICT-landschap: technisch eenvoudig, toch zeer ingewikkeld proces Lagere respons dan verwacht Impact lastig te bepalen
Conclusies en aanbevelingen
Conclusies en aanbevelingen (1) Let op ethiek Belangrijk, door stakeholders te betrekken goed te regelen Gebruik small data Eenvoudiger voorhanden Bevordert schaalbaarheid en overzetbaarheid Neem de tijd voor gereed maken van data Tijdrovend en vereist het snappen van de data Data van externe bronnen verkrijgen is niet eenvoudig Impact is lastig te meten Manage verwachtingen
Conclusies en aanbevelingen (2) Modulaire technologie Technologie moet toegankelijk en modulair zijn Open source software is handig, maar integratie met bestaande ICTlandschappen is cruciaal voor schaalbaarheid Context doet er toe Dashboards werken niet in alle settings (Inter)nationale regelgeving vormt een uitdaging Maakt overzetbaarheid veel moeilijker i.v.m. beschikbaarheid data Modulariteit cruciaal (aanpassen aan context) Verschillen in AVG / GDPR bemoeilijkt internationale samenwerking
Hartelijk dank! Eindrapportage verwacht eind 2018 Meer informatie: http://stela-project.eu/ Contact: J.P.vanStaalduinen@tudelft.nl 562167-EPP-1-2015-1-BE-EPPKA3-PI-FORWARD