INNOVATIEPROGRAMMA ONDERWIJS OP MAAT PROJECT: LEARNING ANALYTICS ACTIVITEITENPLAN 2015 WWW.SURF.NL/ONDERWIJS
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 2 INHOUD 1. Learning Analytics 3 1.1 Doelen 3 2. Werkwijze en deliverables 4 2.1 Kennis 4 2.2 Diensten 6 2.3 Experimenten 7 2.4 Overzicht deliverables 8 3. Samenwerking en raakvlakken met andere projecten 9 Innovatieprogramma Onderwijs op Maat Het hoger onderwijs ziet zich geconfronteerd met een studentenpopulatie die steeds meer divers van samenstelling is, eigen devices meeneemt en verwacht overal en altijd draadloos toegang te hebben tot hun leeromgeving en (open) leermateriaal. Omdat studenten een verschillende leerbehoefte en studieaanpak hebben, voldoet het one-size-fits-all principe niet om hen optimaal te bedienen. De mogelijkheden om onderwijs op maat aan te bieden groeien dankzij ICT. Met het programma Onderwijs op Maat draagt SURFnet bij aan het realiseren van de ambitie van instellingen voor hoger onderwijs om gepersonaliseerd en flexibel onderwijs aan te bieden dat zo goed mogelijk aansluit bij de leerbehoeften van de individuele student. Binnen het programma worden zes projecten uitgevoerd: 1. Communitymanagement 2. Open en Online Onderwijs 3. Toetsing en Toetsgestuurd Leren 4. Flexibele en Persoonlijke Digitale Leeromgeving 5. Learning en Academic Analytics 6. Proeftuin
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 3 1. LEARNING ANALYTICS Learning analytics is het verzamelen, analyseren en rapporteren van data van studenten en hun omgeving om zo het onderwijs en de omgeving waarin dit onderwijs plaatsvindt te begrijpen en verbeteren. Learning analytics lijken een grote belofte te zijn voor het verbeteren van het onderwijs. Door studiedata te analyseren kunnen we leergedrag beter begrijpen en daarmee verbeteren. Studiedata geven inzicht in bijvoorbeeld het studiegedrag van studenten, de kwaliteit van het gebruikte onderwijsmateriaal, het gebruik van de digitale leer- en werkomgeving, de kwaliteit van toetsitems en de studievoortgang. Maar de belofte kent ook nog de nodige hindernissen. Welke data geven inzicht in studiegedrag? Hoe vertaal je analyses in feedback naar studenten en docenten? En wat kan en mag er eigenlijk, hoe zit het met privacy en ethiek? In de afgelopen jaren heeft SURF samen met instellingen kennis opgebouwd over learning analytics. Zij hebben bijvoorbeeld experimenten uitgevoerd om onderwijskundige vragen met behulp van learning analytics proberen te beantwoorden. Die experimenten hebben veel inzicht geboden. Tegelijkertijd riepen ze ook veel vragen op die we nog moeten beantwoorden. Op basis van deze informatie zijn de vijf grootste uitdagingen ( Grand Challenges ) van de inzet van learning analytics benoemd, die input zullen vormen voor een aantal deliverables binnen dit project. Academic Analytics, gerelateerd aan management informatie (institutional research), laten we in dit project buiten beschouwing. 1.1 Doelen Het project Learning Analytics is onderdeel van het innovatieprogramma Onderwijs op Maat. Met Onderwijs op Maat draagt SURFnet in de periode 2015-2018 bij aan de ambitie van instellingen voor hoger onderwijs om gepersonaliseerd en flexibel onderwijs aan te bieden dat zo goed mogelijk aansluit bij de leerbehoeften van de individuele student. Hoofddoel van het project: Instellingen hebben inzicht in hoe learning analytics kunnen bijdragen aan een effectievere en efficiëntere begeleiding van studenten, die aansluit op hun leerbehoeften en de verbetering van het studiesucces. In 2015 willen we het volgende hebben bereikt: Met experts is meer kennis opgebouwd over het gebruik van learning analytics in de onderwijssituatie, waarbij het netwerk is uitgebreid en is voortgebouwd op al beschikbare kennis. Bestaande kennis is vertaald naar praktische handvatten voor toepassing in de praktijk. De opgebouwde kennis is op een toegankelijke manier gedeeld met belang stellenden. Er is meer inzicht in: - aan welke diensten hoger onderwijs instellingen behoefte hebben op het gebied van learning en academic analytics, - of die diensten door marktpartijen worden aangeboden en via SURFmarket onder gunstige voorwaarden kunnen worden aangeboden, - of dat het zinvol is dat SURF diensten ontwikkelt en aanbiedt. Instellingen zijn uitgenodigd om met behulp van subsidie learning analytics naar een hoger plan te tillen. Instellingen kunnen in 2016 starten met het uitvoeren van experimenten.
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 4 2. WERKWIJZE EN DELIVERABLES Het doel van het innovatieprogramma Onderwijs op Maat is de hogeronderwijsinstellingen op verschillende manieren te ondersteunen. Dat gebeurt op drie onderdelen: Kennis: SURFnet biedt een platform voor kennisopbouw, -uitwisseling en professionalisering. Diensten: SURFnet organiseert samen met instellingen en marktpartijen dat instellingen kunnen beschikken over een geïntegreerd dienstenportfolio voor onderwijs van eigen diensten, diensten van marktpartijen en diensten van SURF. Experimenten: SURFnet stelt instellingen en marktpartijen in staat om te experimenteren met innovatieve ICT-toepassingen binnen het onderwijs en succesvolle resultaten op te schalen. De drie onderdelen versterken en beïnvloeden elkaar. Experimenten kunnen leiden tot nieuwe kennis en ervaring wat weer kan leiden tot nieuwe diensten/dienstverlening die marktpartijen kunnen bieden, of, als marktpartijen niet kunnen voldoen aan eisen op terreinen van functionaliteit, beveiliging, privacy en pricing, tot nieuwe diensten/dienstverlening van SURFnet. Door op (inter)nationaal niveau kennis uit te wisselen kan innovatie en kwaliteitsverbetering van het onderwijs worden versneld. SURFnet kan door het laten uitvoeren van experimenten met nieuwe ontwikkelingen in de onderwijspraktijk een belangrijke aanjaagfunctie vervullen voor innovatie in het hoger onderwijs, doordat kansrijke toepassingen in kaart worden gebracht en waar zinvol worden doorontwikkeld. 2.1 Kennis Wiki: Aan de slag met learning analytics Voor 2015 staan verschillende onderwerpen op de kennisagenda: - didactische interventies - privacy en ethiek - standaarden en architectuur - visualisatie Opgebouwde kennis op deze onderwerpen wordt verzameld in de wiki, Aan de slag met learning analytics, om instellingen concrete handvatten te bieden bij de inzet van learning analytics. In samenwerking met experts bekijkt SURFnet op welke onderwerpen we ons nog verder moeten richten, bijvoorbeeld op onderwerpen als relevante data voor learning analytics, welke goede algoritmen zijn etc. Wiki: Aan de slag met learning analytics (Q4) SURFacademy-seminar Aan de slag met learning analytics (Q4) Didactische interventies Learning analytics hebben daadwerkelijk effect, wanneer de juiste didactische interventie aan de data wordt gekoppeld. In 2015 onderzoekt SURFnet op welke typen onderwijskundige vragen learning analytics een antwoord kunnen geven. Daarnaast kijken we naar voor welke didactische interventies learning analytics zinvol zijn en voor welke niet. Op basis van diepte-interviews van gebruikers bij instellingen en
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 5 resultaten uit literatuurstudies wordt gekeken naar gemeenschappelijke thema s op dit gebied. Hiermee kunnen we ook een bijdrage leveren aan het antwoord op de vraag welke data zinvol zijn om te analyseren en welke data niet. Deliverable: Whitepaper Learning analytics en didactische interventies (Q4) Privacy en ethiek Veel onderwijsinstellingen beginnen overtuigd te raken van de meerwaarde van learning analytics voor het onderwijs, maar zijn nog terughoudend in het daadwerkelijk gebruiken er van vanwege privacy en ethische issues. Eind oktober 2014 is een workshop gehouden over ethiek en privacy bij learning analytics. Hieruit kwam naar voren dat er bij instellingen vragen leven zoals: Wat is de juridische basis voor learning analytics? Wie is de eigenaar van de gegenereerde data? Als data worden gebruikt ter ondersteuning van het leerproces, hoe wordt de privacy gerespecteerd van de betrokkenen? Wanneer en hoe moet er toestemming worden gevraagd aan de betrokkenen? Hoe lang mogen data van studenten worden gebruikt en bewaard ten behoeve van learning analytics? Om de hindernissen voor de onderwijsinstellingen op het gebied van privacy en ethiek van learning analytics weg te nemen, werken we in 2015 aan het toegankelijk maken van praktische/toepasbare kennis over privacy en ethische aspecten en regelgevingen. Vertrekpunt hiervoor is het rapport dat JISC heeft gepubliceerd Code of practice for learning analytics: A literature review of the ethical and legal issues. Dit rapport geeft een vrij compleet beeld weer van alle juridische en ethische aspecten die van belang zijn bij learning analytics. Dit rapport wordt als eerste getoetst op de juridische toepasbaarheid in de Nederlandse onderwijscontext. Op basis van de toetsing van het JISC-rapport, de bovengenoemde ethische principes die ook beschikbaar zijn in het rapport Ethics and data sharing en het hogeronderwijs normenkader, dat ook al juridische kaders voor learning analytics geeft, wordt een document Juridische en Ethische richtlijnen voor Learning Analytics opgeleverd. Dit document heeft een praktische insteek, met voorbeelden waarmee medewerkers binnen instellingen direct aan de slag kunnen. De nadruk zal liggen op de mogelijkheden en de kansen die de ethische en juridische kaders bieden, in tegenstelling tot de belemmeringen. Hiermee helpt het medewerkers in de instellingen ook om draagvlak te creëren voor learning analytics. Hierbij is voorlichting en informatievoorziening van groot belang voor onderwijsinstellingen. We organiseren een SURFacademy-bijeenkomst over privacy en ethische issues bij learning analytics. Tijdens deze bijeenkomst wordt het eerste concept van het richtlijnendocument gepresenteerd en wordt input verzameld voor de definitieve deliverable. SURFacademy-bijeenkomst Juridische en Ethische Richtlijnen voor Learning Analytics (Q2) Document: Juridische en Ethische Richtlijnen voor Learning Analytics (Q3) Standaarden & architectuur Bij learning analytics is veel data afkomstig uit de leeromgeving van de instelling. De leeromgeving wordt vaak gevormd door een variëteit van onderwijsspecifieke applicaties. De vraag is welke data uit welke applicaties nodig zijn om analyses te maken ter ondersteuning van het leerproces.
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 6 Op basis van de HORA wordt een overzicht gemaakt van welke type data zich in welke applicaties bevinden. Maar alleen het aanwijzen van de applicaties waar de geschikte data voor learning analytics zich bevinden, is niet voldoende. Er moet ook gebruik gemaakt worden van standaarden of leertechnologie specificaties om deze data uit de systemen te kunnen halen, en om data uit verschillende systemen te combineren. Veel van deze standaarden zijn nu in ontwikkeling, zoals de Caliper Standaard van IMS, en de ISO/IEC JTC 1/ SC 36 werkgroep voor Learning Analytics Operability standaard. Naast standaarden zijn er ook volop ontwikkelingen op het gebied van infrastructuren voor learning analytics, zoals binnen Apereo en JISC. In 2015 participeren we vanuit het project vooralsnog niet actief in deze initiatieven. Wel volgen we deze ontwikkelingen nauw en delen we de resultaten uit 2015. Eind 2015 brengen we een advies uit over of, en op welke manier SURFnet een rol in deze initiatieven zou moeten spelen in 2016. Document: De plaats van learning analytics binnen de elementen van de HORA (Q3) SURFacademy bijeenkomst: De plaats van learning analytics binnen de HORA (Q3) Volgen van internationale standaarden en architectuur discussies (Q1-4) en een aanbeveling voor de rol van SURFnet hierin in 2016. Visualisatie Het succes van learning analytics valt of staat met de juiste interpretatie van de data. Goede visualisatie van gegevens maakt de interpretatie gemakkelijker, waardoor er gerichte acties richting student kunnen worden ondernomen. Dit maakt de inzet van learning analytics een stuk effectiever. Vaak worden deze gegevens in een dashboard weergegeven. Binnen het traject Grand Challenges van Learning Analytics wordt een hoofdstuk over visualisatie geschreven, inclusief de requirements aan dergelijke dashboards. Dit is belangrijke input voor de verdere invulling van dit thema binnen de kennisagenda. Over de wijze waarop we dit invullen komt voor eind Q2 een voorstel. Voorstel voor de invulling van het thema visualisatie binnen het project Learning Analytics (Q2) Opleveren van de deliverable zoals beschreven in het voorstel in Q2 (Q4) 2.2 Diensten In 2015 onderzoekt SURFnet welke learning analytics-diensten aansluiten bij de behoeften van instellingen. Hierbij kijken we zowel naar marktpartijen als naar onze eigen dienstverlening. Ook bieden we een overzicht van het beschikbare aanbod vanuit de markt, met een duiding naar de requirements van docenten. Ook komen technische randvoorwaarden aan de orde zoals een koppeling met SURFconext. Challenge Day (Q3) Update tools en diensten (met SURFconext / duiding, mede n.a.v. Challenge Day) (Q4) Technologieverkenning naar mogelijkheden Learning Analytics met SURFconext, de relatie met de onderwijs API en de centrale architectuur van JISC (Q2)
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 7 2.3 Experimenten De afgelopen jaren hebben diverse instellingen geëxperimenteerd met learning analytics dankzij stimuleringsregelingen van SURF. Uit de lessons learned van deze projecten is naar voren gekomen dat - om de effecten van learning analytics goed te kunnen meten - er voldoende tijd en middelen nodig zijn voor het uitvoeren van projecten. Daarnaast blijken juridische en ethische vragen steeds een belemmering voor structurele inzet van learning analytics. De kennis die we in 2015 opbouwen, vormt belangrijke input voor een nieuwe regeling. Het voorstel is dan ook om deze vragen eerst uit te zoeken en tijdens het seminar Aan de slag met learning analytics een stimuleringsregeling voor 2016 te lanceren. Behalve de projecten die instellingen binnen de stimuleringsregeling uitvoeren, wordt op specifieke onderwerpen de vertaling naar de praktijk gezocht. Wat betekent het voor een instelling om iets met visualisatie te doen? Hoe werkt de juridische en ethische richtlijn in praktijk? Op welke manier kunnen we studenten ondersteunen, zodat hun resultaten verbeteren en de uitval vermindert? In samenwerking met de special interest group (SIG) Learning Analytics worden de belangrijkste onderwerpen geïdentificeerd en worden calls uitgeschreven om te experimenteren met specifieke onderwerpen. Lancering stimuleringsregeling learning analytics (Q4) 3 proofs-of-concept door instellingen uitgewerkt via drie calls (Q4)
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 8 2.4 Overzicht deliverables DELIVERABLES Q2 TYPE WANNEER SURFacademy-bijeenkomst Juridische en ethische richtlijnen voor learning analytics K Bijeenkomst Q2 Voorstel voor de invulling van het thema visualisatie binnen het project learning analytics K Document Q2 Technologieverkenning naar mogelijkheden learning analytics met SURFconext en de onderwijs API D Document Q2 DELIVERABLES Q3 TYPE WANNEER Juridische en ethische richtlijnen voor learning analytics K Document Q3 De plaats van learning analytics binnen de elementen van de HORA K Document Q3 SURFacademy-bijeenkomst De plaats van learning analytics binnen de HORA. K Bijeenkomst Q3 Challenge Day D Bijeenkomst Q3 DELIVERABLES Q4 TYPE WANNEER Wiki: Aan de slag met learning analytics K Wiki Q4 SURFacademy-seminar Aan de slag met learning analytics K Bijeenkomst Q4 Whitepaper Learning analytics en didactische interventies K Document Q4 Update tools en diensten (met SURFconext / duiding, mede n.a.v. Challenge Day) D Document Q4 Aanbevelingen rol SURFnet op het gebied van internationale standaarden K Document Q4 Lancering stimuleringsregeling learning analytics E Stimuleringsregeling Q4 3 proofs-of-concept door instellingen uitgewerkt via drie calls E Experiment Q4 K = onderdeel kennis D = onderdeel diensten E = onderdeel experimenten
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 9 3. SAMENWERKING EN RAAKVLAKKEN MET ANDERE PROJECTEN Het project Learning Analytics is één van de zes projecten binnen het Onderwijs op Maat innovatie-programma, één van de 10 innovatieprogramma s van SURF. Binnen dit programma heeft het project raakvlakken met de projecten Open en Online Onderwijs, aangezien de toename van online onderwijs ook zorgt voor een toename van data. Daarnaast heeft het project raakvlakken met het project Flexibele en Persoonlijke Leeromgeving: veel data komen uit (applicaties uit) deze omgeving. Verder heeft het project raakvlakken met andere innovatieprogramma s binnen SURF, zoals het programma Duurzame Data (vooral op het gebied van kennisontwikkeling) en het programma Federatieve en Geïntegreerde e-infrastructuur. Ook zijn er raakvlakken met SURFconext in relatie tot mogelijke dienstontwikkeling via de SURFnet samenwerkingsinfrastructuur. Relevante partners om mee samen te werken zijn: Kennisnet Voor Kennisnet zijn learning analytics en data gedreven onderwijs ook belangrijke thema s. De afstemming met Kennisnet richt zich vooral op het toepassen van learning analytics in de hele onderwijsketen. JISC Learning analytics is een van de aandachtsgebieden van JISC. JISC werkt aan een learning analytics infrastructuur en heeft al een aantal interessante rapporten opgeleverd (Code of Conduct en Practices). De afstemming met JISC richt zich vooral op delen en hergebruiken van elkaars kennis. Internationale projecten waar we actief in (willen) participeren: ECAR/ELI Working Group on Using the LMS to Produce Predictive Analytics (ECAR Analytics Workgroup) In dit project werken we samen aan een rapport over de manier waarop learning analytics ingezet kan worden in het onderwijs. Het rapport richt zich op de beleidsmakers van de instellingen. Wij leveren een bijdrage aan het hoofdstuk over Strategische Implementatie Issues. NEN, working group learning analytics Binnen de ISO/IEC JTC 1/SC 36 is een nieuwe werkgroep opgericht WG on Learning Analytics Interoperability. Via de NEN kan SURF adviseren over de standaard die binnen de ISO wordt ontwikkeld. Op dit moment wordt onderzocht of leden van de SIG Learning Analytics vanuit SURFnet deel willen nemen in deze werkgroep. Projecten waar we niet actief in participeren, maar waar we de activiteiten en resultaten volgen: Het LACE Project Het Learning Analytics Community Exchange project is een Europees project dat loopt tot 2016 en is vooral gericht op kennisontwikkeling rondom learning analytics. De Nederlandse partners zijn de OU en Kennisnet. Wij volgen de resultaten, met name op het gebied van ethiek en privacy.
Innovatieprogramma Onderwijs op Maat Project: Learning Analytics 10 IMS Global Learning Consortium Binnen IMS wordt gewerkt aan de Caliper specificatie voor learning analytics. Deze specificatie draagt bij aan de standaardisatie van dataverzameling en analyse uit Learning Management Systemen. ADLnet Binnen ADLnet wordt gewerkt aan een learning record store die werkt met behulp van een Experience API (xapi). Apereo Learning analytics Inititative Apereo is een community waarbinnen architecturen en open source software wordt uitgewerkt. Voor learning analytics is een open dashboard ontwikkeld en twee learning records stores en wordt het Open Academic Analytics Initiative van SAKAI beheerd. PAR Framework Het PAR framework is een samenwerking van verschillende Amerikaanse universiteiten om het studiesucces te verbeteren met als resultaten data definities en een Student Succes Framework. Meedoen aan dit project? Vragen? Neem contact op met: Marieke de Wit 088 787 30 00 marieke.dewit@surfnet.nl Jocelyn Manderveld 088 787 30 00 jocelyn.manderveld@surfnet.nl Programmamanager Onderwijs op Maat Christien Bok 088 787 36 58 christien.bok@surf.nl SURF Kantoren Hoog Overborch (Hoog Catharijne) Moreelsepark 48 Postbus 19035 3501 DA Utrecht T +31 (0)88 78 73 000 info@surfnet.nl www.surfnet.nl 2015 beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland. www.creativecommons.org/licenses/by/3.0/nl