TITEL TOOLS EN DIENSTEN VOOR LEARNING ANALYTICS

Transcriptie

1 TITEL TOOLS EN DIENSTEN VOOR LEARNING ANALYTICS

2 2 Tools en diensten voor learning analytics VOORWOORD In deze brochure vindt u informatie over enkele tools en diensten voor learning analytics. De toolbeschrijvingen in deze brochure zijn afkomstig van de leveranciers en vertegenwoordigen niet de opvattingen van SURF. Genoemde leveranciers zijn geen preferred suppliers. Deze brochure geeft een eerste overzicht van beschikbare tools. Hierin is ook opgenomen welke bij SURF aangesloten instellingen de beschreven producten gebruiken. Dit maakt het makkelijker te informeren naar gebruikerservaringen met deze tools. SURF en learning analytics SURF onderzoekt sinds 2011 in samenwerking met het hoger onderwijs de mogelijkheden van learning analytics in Nederland. Instellingen experimenteren hierbij op kleine schaal met learning analytics, en maken daarbij onder andere gebruik van de in deze brochure beschreven tools. Disclaimer Deze brochure bevat enkele beschrijvingen van tools en diensten op het gebied van learning analytics. Deze lijst is niet volledig, geeft geen kwaliteitsoordeel en wordt niet actief bijgehouden. SURFmarket heeft nog niet met alle leveranciers overeenkomsten afgesloten. Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. SURFmarket kijkt naar de belangen voor alle onderwijsinstellingen (vraagbundeling), de technische ontsluiting via SURFconext en aandachtspunten zoals Service Level Agreement en HO-normenkader. Er kunnen geen rechten aan deze lijst ontleend worden.

3 Tools en diensten voor learning analytics 3 INHOUDSOPGAVE Introductie tools voor learning analytics 4 Toolbeschrijvingen van leveranciers BLACKBOARD ANALYTICS FOR LEARN 6 BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK 9 EESYANALYTICS 11 INZICHT IN ZICHT 13 PROF PROGRESS TEST FEEDBACK 15 SCORION 18 SOWISO 20 STUDENT ACTIVITY METER (SAM) 23 STUDENT ANALYTICS SERVICE 25 Overzicht toolgebruikers 27 Overzicht software in SURF-experimenten learning analytics 29

4 4 Tools en diensten voor learning analytics INTRODUCTIE TOOLS VOOR LEARNING ANALYTICS Anjo Anjewierden en Wibo Bakker Deze inleiding geeft in vogelvlucht inzicht in de samenhang tussen de verschillende databronnen en tools die gebruikt kunnen worden om learning analytics te realiseren, overigens zonder al te specifiek te worden. Als je kijkt naar het aanbod dan wordt in één oogopslag duidelijk dat het hier om een breed veld gaat, dat nog volop in ontwikkeling is: kant-en-klare oplossingen zijn dan ook nog niet uitgekristalliseerd. Duidelijke link tussen de tools en beschikbare data In het algemeen geldt dat er een sterke afhankelijkheid is tussen de beschikbare data (en de databronnen), en de tools die gebruikt kunnen worden. Zo is er in de zeven grassrootsprojecten uit de SURF-innovatieregeling Learning Analytics 2012 regelmatig voor gekozen om zelf tools te ontwikkelen om de beschikbare data te kunnen analyseren (denk hierbij aan Vak voor vak, Pinpoint, UvA analytics, ProF). Ook bij commerciële aanbieders van tools voor learning analytics is er vaak een sterke koppeling tussen de gepresenteerde tools en de typen data (en/of databronnen) die door die tools verwerkt en geanalyseerd kunnen worden. Statische en dynamische data Het is zinvol om te kijken welke soorten data over studenten en de leeromgeving beschikbaar zijn, en waar die data vandaan komen. We maken daarbij een onderscheid tussen statische data die bijvoorbeeld inschrijfgegevens en studieresultaten vastleggen, en dynamische data die het leerproces of studiegedrag weerspiegelen. De meeste ho-instellingen in Nederland gebruiken studentinformatiesystemen (SIS) en studentvolgsystemen om essentiële gegevens vast te leggen over vakken die leerlingen volgen en de resultaten die ze behalen. Naast tekstuele informatie betreft het vaak eenvoudige numerieke gegevens. Om patronen in deze data te vinden kunnen standaard tools voor statistische analyse (Excel, SPSS) gebruikt worden. Het lastige is echter dat de studieresultaten weinig zeggen over hoe het studiegedrag te verbeteren is. Naast het analyseren van studieresultaten kan ook gekeken worden naar data over studiegedrag: de activiteiten die leiden tot resultaten. Veel leeractiviteiten vinden tegenwoordig plaats op internet. De meeste ho-instellingen in Nederland gebruiken hiervoor elektronische leersystemen (ELO s). Ook bieden enkele organisaties MOOCs aan, een vrij toegankelijke variant van ELO s. Hierin worden cursusmaterialen geplaatst zoals documenten en weblectures en kunnen studenten samenwerken, opdrachten inleveren en soms ook toetsen maken, alhoewel hier ook aparte toetsapplicaties voor zijn. Om het gebruik hiervan in kaart te brengen kunnen logfiles, of speciale trackingtools worden gebruikt, denk bijvoorbeeld aan Google Analytics of Piwik. Met behulp van deze tools kan bijvoorbeeld worden vastgelegd welk materiaal studenten bekijken, en hoe vaak en hoe lang ze dat doen. Door deze data in combinatie met data over studieresultaten te analyseren kan worden vastgesteld wat succesvol studiegedrag is. De meest interessante data zijn te vinden in leeromgevingen die gebruik maken van technieken voor machine learning. Machine learning werkt vaak het beste bij een specifiek domein (bijvoorbeeld thermodynamica of wiskunde) of methode (het maken van een concept map, het schrijven van een samenvatting). De data die in deze

5 Tools en diensten voor learning analytics 5 leeromgevingen wordt geproduceerd, is zo specifiek dat er speciale tools voor kunnen worden ontwikkeld, die niet alleen rekening houden met de data, maar ook met de pedagogische relevantie van de data. Bijvoorbeeld welke concepten en relaties tussen concepten relevant zijn, of welke termen in een samenvatting voorkomen. Mogelijkheden van social media Daarnaast zijn er applicaties voor social media. Ook hier is in potentie belangrijke data te vinden die iets kan zeggen over hoe studenten in een groep leren, denk bijvoorbeeld aan Facebook of Twitter. Soortgelijke, maar meer rudimentaire functionaliteiten worden ook door ELO s aangeboden, zoals chatmogelijkheden en discussiefora. Activiteiten in deze applicaties kunnen gevolgd en gevisualiseerd worden met bijvoorbeeld Social Network Analysis (SNA) tools. Vooralsnog worden deze alleen voor onderzoek gebruikt. Dashboards bieden inzicht Analyses van studiedata kunnen gevisualiseerd worden in dashboards. Hierop kunnen management, docenten of studenten studiegedrag monitoren, en/of aanwijzingen krijgen over hoe dit te verbeteren is. Voor veel ELO s zijn eenvoudige dashboards beschikbaar. Tegenwoordig wordt echter ook geëxperimenteerd met dashboards die datastromen uit verschillende softwareapplicaties integreren. Vaak betreft het open-sourceproducten. Een voorwaarde is dan echter wel dat de data makkelijk uit de applicaties te halen zijn. Het voordeel van deze dashboards is dat ze het makkelijker maken om uitgebreide analyses te visualiseren, die zijn gebaseerd op data over studieresultaten én studiegedrag. Tools moeten goed op elkaar zijn afgestemd Er is voorlopig nog geen allesomvattende tool voor learning analytics die breed kan worden ingezet. Tools zijn vaak specifiek voor een bepaald onderwijsdomein of hebben slechts betrekking op een deel van de zogenoemde cyclus van learning analytics. Om de hele cyclus te voltooien, van dataproductie, verzameling, analyse, visualisering tot interventie, zijn vaak diverse tools nodig die met elkaar samenwerken. Daarom moet bij de keuze voor tools goed worden opgelet in hoeverre de data en de analyses die ze produceren uitwisselbaar zijn. Daarbij is het handig om voort te bouwen op eerdere ervaringen die gebruikers met deze tools hebben opgedaan.

6 6 Tools en diensten voor learning analytics BLACKBOARD ANALYTICS FOR LEARN FUNCTIONALITEIT Beoogde gebruikers: Campus leaders, instructors, staff and students. Firmanaam: Blackboard International Contactpersoon: Richard Burrows Adres: 175 Oxford Street London W1D 2JS United Kingdom Website: analytics/overview.aspx Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. Zo kan Blackboard Analytics for Learn worden gebruikt: The Analytics for Learn solution is a packaged elearning Analytics Solution. It includes a dimensional data warehouse and provides self-service reporting, dashboards, and trend analysis so that users can visualize and analyze the wealth of information within both the Blackboard Learn 9.1 platform and their student information system. Blackboard Analytics for Learn helps you meet challenges like these: Increasing student retention by identifying students at risk Identifies areas for improving student performance Identifying online learning best practices Determining ROI of LMS investments Capacity planning Integrating administrative (ERP/SIS) data with instructional (LMS) data for reporting and analysis With Blackboard Analytics for Learn you will: Eliminate information delivery bottlenecks by providing self-service access to actionable information Measure student achievement against goals by monitoring and analyzing trends to enact curriculum and pedagogical change over time Establish and track Key Performance Indicators - a single source of the truth for monitoring strategic goals and enabling data-driven decision making The Blackboard Analytics application delivers information to your end-users quickly, with short implementation process. The data warehouse is populated with institutional data in days, followed by a services engagement that includes knowledge transfer, data validation, and embedding of your business rules. Our solution covers a much wider base than any other alternative on the market. Our learning analytics data model delivers 15 Fact Tables and more than 100 Measures, including many that are derived or calculated by Blackboard Analytics for Learn, and don t exist natively in the LMS or SIS. The measures are then embedded in the data model and can be customized with institutional business rules. Welke data wordt gebruikt en gegenereerd? The Blackboard Analytics for Learn platform transforms raw data from your LMS and SIS into actionable information. The application provides a library of standardized metrics and descriptive attributes consistent with best practices in higher education management. Blackboard Analytics provides its customers with detailed documentation that includes a data dictionary, ERD designs, and a full view into our underlying code. This will enable the institution to not only better understand the application as delivered, but empower them to extend it with customized table structures, new data sources, and advanced metrics and measures.

7 Tools en diensten voor learning analytics 7 Wie is eigenaar van de data? The Institution / Client Hoe vrij beschikbaar en transporteerbaar is de data? The data in the warehouse is accessible via SQL and MDX Queries. When using the Pyramid Analytics visualization tool, reports can be exported to MS Excel or MS Powerpoint. MS SQL Server Reporting Services reports can be exported to multiple formats including MS Excel, CSV and PDF. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? As an analytics tool designed for use with Blackboard Learn it is designed specifically for use in educational settings, and comes bundled with reports designed to inform students, instructors, department and institutional leadership. A Dutch localized version of Blackboard Analytics for Learn will be released in 2014 and as of January 2014, we have customers across the world such as: The University of Maryland, Baltimore County (United States) Coppin State University (United States) The University of Westminster (United Kingdom) The University of Pretoria (South Africa) Swinburne University (Australia) University of Queensland (Australia) The University of Western Sydney (Australia) Charles Darwin University (Australia) Nanyang Technological University (Singapore) King Khalid University (Saudi Arabia) King Abdulaziz University (Saudi Arabia) King Faisal University (Saudi Arabia) INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Blackboard Analytics is built on a solid foundation of Microsoft SQL Server and Microsoft Analysis Server to create, host, and manage the dimensional data warehouse. Blackboard Analytics includes sample reports delivered in Microsoft SQL Server Reporting Services as well as more than 50 Business Intelligence reports and dashboards delivered in Pyramid Analytics tool set. In addition we have proven that our data warehouse is compatible with most BI and reporting tools on the market including Microsoft Excel pivot tables. Utilizing On Line Analytical Processing (OLAP) technology, we deliver a self-service environment that shifts institutions from the report writer/report requester world to an end-user defined reporting environment. This technique allows non-technical users to interact with the underlying data model without engaging technical resources.

8 8 Tools en diensten voor learning analytics TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Blackboard Analytics is built on Microsoft SQL Server, which is the leading commercial database software, and provides the strongest foundation for continuity and upgrade. The core code of Blackboard Analytics is separate from the configuration and customizations, so facilitating easy upgrade of both Blackboard Analytics and Blackboard Learn. Unlike other data warehouse solutions, the Blackboard Analytics for Learn is easily updated as new LMS upgrades become available. Most upgrades have minimal effect on the underlying data model, because they are generally designed around the transactional nature of the LMS and SIS; however even those upgrades that require change are easily handled within our architecture, generally with a delivered upgrade script. Visie op ontwikkeling product / learning analytics Analytics for Learn shall provide critical insights and information that helps students, instructors, and administrators maintain visibility on key performance metrics, guide decision making with appropriate and timely data, and maintain adaptability to each institutions unique requirements and achieving strategic goals. Focus areas for product development include responding to client and market feedback such that reports and dashboards are tuned to better meet institutional needs all over the world. Also key is building in additional flexibility and extensibility to the data model so that each institution may accommodate a variety of academic structures, program offerings, and flexible course delivery means (e.g. self-paced learning or flexible academic terms). The development team will work closely with existing and future Analytics clients to clearly understand requirements and respond directly in kind with capabilities that help solve critical institutional challenges through timely and accurate reports, dashboards, and insights.

9 Tools en diensten voor learning analytics 9 BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK FUNCTIONALITEIT Firmanaam: Valid B.V. Contactpersoon: Boris Corvers boris.corvers@valid.nl Telefoon: Adres: Flight Forum 565, 5657 DR Eindhoven Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is Beoogde gebruikers: Afdelingshoofden, managers Bedrijfsvoering, managers Finance, managers HRM, managers Marketing & Communicatie, student Informatie Zaken, IT & informatiemanagers. Zo kan het Business Intelligence Development Framework worden gebruikt: Valid benadert business intelligence en learning analytics zowel vanuit een businessperspectief als vanuit technologisch perspectief. Aan de businesszijde beoordelen we hoe u binnen uw organisatie informatie consolideert, analyseert en distribueert. Daarbij leggen we vast wie wanneer welke informatie nodig heeft voor strategische, tactische en operationele beslissingen. In de eerste fase van onze dienstverlening worden vooral de behoeftes geanalyseerd. De ervaring leert dat het credo think big, act small het beste werkt voor businessintelligence-trajecten. In kleine stappen wordt toegewerkt naar de wenselijke situatie. Geheel afhankelijk van uw huidige situatie wordt gestart met een pilot om de toegevoegde waarde en de kracht van de werkwijze aan te tonen. Stapsgewijs kan de business intelligence en learning analytics succesvol in de organisatie worden uitgerold, met de voor u belangrijkste databronnen (zoals SIS, ELO, DLWO, DUO, etcetera) en rapportages en dashboards op het gebied van bijvoorbeeld inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen en onderwijskwaliteitscontrole. Het Business Intelligence Development Framework van Valid bestaat uit een bewezen architectuur en Microsoft-technologieën die zorgdragen voor de informatieverwerking en rapportages. Door het business- en techniekperspectief te combineren kunnen we samen met u een geïntegreerde businessintelligence-oplossing realiseren. Diensten die Valid in dit kader levert zijn: Consultancy - Development - ETL-werkzaamheden - Testen - Projectmanagement Welke data worden gebruikt en gegenereerd? De belangrijkste databronnen zijn de systemen die het primaire proces bewaken, zoals een SIS, ELO, DLWO, maar ook bronnen als DUO en NSE. Daarnaast kunnen ook bijvoorbeeld financiële en HRM-systemen als bron worden gebruikt. Deze combinatie van bronnen voorziet de organisatie van rapportages, dashboards, scorecards, kubussen en vrij te gebruiken Excel-sheets op het gebied van bijvoorbeeld inschrijvingen, switchgedrag, uitschrijvingen, studievoortgang, diploma-rendementen en onderwijskwaliteitscontrole. Wie is eigenaar van de data? De onderwijsinstelling blijft altijd de eigenaar van de data en de ICT-afdeling faciliteert normaliter een omgeving voor data-opslag. Valid kan ook voorzien in storage en hosting, indien wenselijk.

10 10 Tools en diensten voor learning analytics Hoe vrij beschikbaar en transporteerbaar zijn de data? Data zijn zo vrij beschikbaar als de interne organisatie het toelaat. Er worden vooraf afspraken gemaakt over hoe toegang en autorisatie in te regelen. Daarnaast wordt natuurlijk aansluiting gezocht bij de wensen op het gebied van security en encryptie. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Oplossingen van Valid worden gebruikt door onder andere: Technische Universiteit Eindhoven, Universiteit Maastricht, Fontys Hogescholen, Hogeschool Zuyd, Arcus College en ROC Midden Nederland. [ILLUSTRATIE] INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? De oplossingen voor business intelligence en learning analytics zijn op maat afgestemd op de behoefte van de individuele instellingen en instituten. Ze maken allen echter wel gebruik van het BI Framework van Valid. Hierdoor hebben ze voordeel van best practice -oplossingen gerealiseerd bij anderen. Het maatwerk zit vaak in de aan te sluiten databronnen en de specifieke wensen in de presentatielaag. Tot nu toe zijn alle installaties lokaal ingeregeld, maar met een Microsoft-cloudplatform als Windows Azure & SharePoint kan er eenvoudig een PaaS/SaaS-oplossing worden gemaakt. De architectuur vormt hierin geen belemmering. Valid heeft de competenties in huis om een As a Service -model te implementeren. Indien wenselijk kunnen we ook toewerken naar centrale ontsluiting via SURFconext. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Valid hanteert het motto Stay ahead, hetgeen betekent dat we altijd naar technologieën kijken die op de roadmap staan van onze technologiepartners (zoals Microsoft) en toepasbaar zijn voor onze oplossingen. Alle cloudgebaseerde technologieën worden ingezet om toekomstvaste diensten te leveren volgens het pay per use model. Met meer dan 300 medewerkers is Valid small enough to care & big enough to deliver. Onze Special Interest Group Business Intelligence zorgt ervoor dat we ook op business intelligence en learning analytics relevante technologieën toe kunnen passen. Visie op ontwikkeling product / learning analytics: Oplossingen zullen meer en meer gebruikt gaan worden op basis van anytime, anywhere and any device. Daarnaast zorgt individualisering van het onderwijs ervoor dat monitoring van de resultaten en sturing op individueel niveau noodzakelijk is. Een andere tendens is dat externe data gecombineerd gaan worden met interne instellingsdata, en die worden bij voorkeur real time inzichtelijk gemaakt (Big Data). Dit betekent dat de gebruikte technologie rekening moet houden met deze ontwikkelingen om waarde te blijven houden voor de gebruikers. Valid kiest voor Microsofttechnologieën als SharePoint, die rekening houden met bovenstaande ontwikkelingen en integratie met de gehele ICT-omgeving.

11 Tools en diensten voor learning analytics 11 EESYANALYTICS FUNCTIONALITEIT Firmanaam: EesySoft Contactpersoon: Michel Visser Telefoon: Adres: Beech Avenue 54-80, Schiphol-Rijk Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. Eesysoft analyseert het gebruik van de digitale leer-en werkomgeving door student, docenten en medewerkers. Via real-time rapportages krijgt de gebruiker inzicht in de mate waarin gebruik wordt gemaakt van de beschikbare functionaliteit. Beoogde gebruikers: Budget holders digitale leer- en werkomgeving, head of learning and teaching, functioneel beheer. Zo kan EesyAnalytics worden gebruikt: EesyAnalytics wordt veelal gebruikt om inzicht te krijgen in het gebruik van Blackboard, maar kan mogelijk ook voor andere webbased softwareoplossingen binnen de digitale leer- en werkomgeving (DLWO) worden ingezet. Tevens zorgt de module EesyMessaging ervoor dat er op basis van deze analyse zeer gericht gecommuniceerd kan worden met bijvoorbeeld docenten die een specifieke functionaliteit nog niet (optimaal) gebruiken. Doelstelling is adoptie van de DLWO te verhogen. Welke data worden gebruikt en gegenereerd? Op individueel gebruikersniveau analyseert EesyAnalytics het gebruik van applicaties: welke functionaliteit wordt gebruikt, door wie (bijvoorbeeld docent, student of faculteit), hoe lang, wanneer, et cetera. Wie is eigenaar van de data? EesyAnalytics wordt als SaaS-oplossing aangeboden. De data zijn eigendom van de klant en worden opgeslagen binnen de SaaS-infrastructuur van EesySoft. Hoe vrij beschikbaar en transporteerbaar zijn de data? Data zijn beschikbaar via reports als raw data (CSV file). TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Circa 23 instellingen hebben het EesySoft building block voor EesyAnalytics geïnstalleerd. Dit zijn in Nederland onder andere: Saxion, TU Delft, Haagse Hogeschool, Hogeschool Leiden, Avans, Radboud Universiteit, Universiteit Leiden, Hanzehogeschool. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? EesyAnalytics vereist installatie van het EesySoft Building Block (voor Blackboard) of het toevoegen van de trackingcode (javascript) aan de webbased applicatie. Verder werkt het product als SaaS-oplossing.

12 12 Tools en diensten voor learning analytics TOEKOMSTIG GEBRUIK In welke mate is het product future proof? EesyAnalytics is voortgekomen uit feedback van klanten die EesySoft reeds enkele jaren gebruiken voor in-application support. We streven naar 2 upgrades per jaar, plus specifieke kleine wijzigingen op basis van de feedback van onze gebruikers. Visie op ontwikkeling product / learning analytics: EesySoft benadert learning analytics vanuit een pragmatische invalshoek. Dit in tegenstelling tot de onderzoekende methoden waarbij veelal datamining-technieken worden ingezet. Wij geven inzicht in het gebruik van de DLWO door docenten en studenten. Door deze informatie te vergelijken met studieresultaten kan worden onderzocht of er een causaal verband bestaat tussen deze twee variabelen.

13 Tools en diensten voor learning analytics 13 INZICHT IN ZICHT FUNCTIONALITEIT Firmanaam: UP learning Contactpersonen: Theo Osse telefoon: David Bezemer telefoon: Adres: Business & Science Park, Agro Business Park 82, 6708 PW Wageningen Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. Beoogde gebruikers UP ondersteunt zowel de onderwijsorganisatie als de administratieve organisatie van instellingen in het mbo en hoger onderwijs. Onze diensten zijn gericht op alle betrokkenen bij het leerproces van de student. Of dit nu managementinformatie is om de organisatie te sturen, of informatie om de student direct te begeleiden. Bij alle informatie staat de student centraal. Daarnaast biedt UP leeroplossingen voor de zakelijke markt. Zo kan de methodiek van UP worden gebruikt UP steekt in op de ondersteunende kant van learning analytics met behulp van bestaande tooling, met eventueel uitbreiding van bestaande systemen. De eerste stap is een gesprek met de gebruiker en de klant om de informatiebehoefte vast te stellen. Daarna brengt UP de bestaande systemen in kaart en stelt vast welke gegevens nodig zijn om tot de benodigde informatie te komen. Met diverse betrokkenen vindt daarna een sessie plaats. Er wordt in kaart gebracht welke systemen input leveren, of aanpassingen nodig zijn en of er nog een latente informatiebehoefte is. Daarna vindt de uitwerking plaats, waarin er diverse rapportagemogelijkheden zijn zoals bijvoorbeeld dynamische dashboards, heat maps, real-time indicatoren en rapportages op basis van evaluatiedata. Welke data wordt gebruikt en gegenereerd? UP maakt zo veel mogelijk gebruik van data en tools die al aanwezig zijn binnen de organisatie, of dat nu ons SIS (EduArte of Alluris) of Blackboard of Moodle is. Maar ook systemen die niet door UP zijn geleverd of worden ondersteund kunnen uiteraard meegenomen worden. De inzet van de op de instelling beschikbare businessintelligence-tools heeft onze voorkeur. Of het nu Business Objects, Microsoft Business Intelligence of Cognos is. Van de bestaande data, eventueel aangevuld met externe bronnen, maakt UP met deze tools de informatie die aansluit bij de informatiebehoefte van de gebruiker. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? UP biedt sinds 1997 oplossingen op het gebied van didactiek, online leren en SIS. Dit doet UP in de zakelijke markt onder andere bij KLM, Shell, Belastingdienst en Achmea, en binnen het onderwijs bij de Open Universiteit, Universiteit van Amsterdam, Hogeschool Arnhem en Nijmegen en meer dan 30 mbo-instellingen. Daarnaast bestaan er diverse partnerships met partijen die op grotere schaal (learning) analytics inzetten binnen organisaties en onderwijsinstellingen, waarbij UP haar specifieke expertise inbrengt. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Omdat UP voor learning analytics geen softwarepakket van de plank levert, maken wij zo veel mogelijk gebruik van de bestaande infrastructuur en architectuur. Dit is onafhankelijk van de gekozen systemen, of dit nu SaaS in één van de eigen beveiligde

14 14 Tools en diensten voor learning analytics datacentra of op locatie bij de klant of leverancier is. Door deze platformonafhankelijke werkwijze, onafhankelijk van derden, komt UP samen met de klant tot een solide oplossing binnen bestaande IT-ecosystemen. Om dit mogelijk te maken, gebruikt UP kennis over de vele mogelijkheden om data te benaderen in deze systemen. Met behulp van specifieke methoden voor data-mapping, combineert UP data uit alle onderliggende bronsystemen. TOEKOMSTIG GEBRUIK In welke mate is de dienstverlening future proof? UP blijft ook op het gebied van learning analytics werken met een flexibel portfolio producten, diensten en partners. Centrale gedachte daarbij is dat learning analytics gestuurd en geïnitieerd moet worden vanuit een vraag of probleem, en niet vanuit de technologie. Deze visie wordt blijvend ondersteund met marktonderzoeken, publicaties, didactische modellen en advies. Visie op ontwikkeling product / learning analytics: Meer doen met bestaande data is waar UP voor staat. Met bestaande data (actueel én historisch) kan steeds accurater worden voorspeld. Dit in plaats van enkel achteraf rapporteren en constateren. Door alleen de hiaten in kaart te brengen en daar een oplossing voor te bieden, kan learning analytics in iedere omgeving efficiënt worden ingevoerd. Implementatietrajecten zijn daardoor kort. Door learning analytics worden interventies in toenemende mate op basis van actuele en complete data gepleegd. Hierdoor neemt de kwaliteit van en de grip op interventies toe. Zowel op strategisch als uitvoerend niveau.

15 Tools en diensten voor learning analytics 15 Firmanaam: Maastricht University Contactpersonen: Jeroen Donkers Frank van de Kamp Adres: Dep. EDUC, FHML. Postbus 616, 6200 MD Maastricht Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. PROF PROGRESS TEST FEEDBACK FUNCTIONALITEIT Beoogde gebruikers: Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en studieadviseurs, docenten, studenten. Zo kan ProF worden gebruikt: The ProF-system (Progress test Feedback) is intended to provide online longitudinal feedback on progress test results to students and staff. Although the ProFsystem was originally developed specifically for the progress test in medicine, it has been generalized to deal with general progress tests. A progress test, in this respect, is a test that is taken at regular intervals during a student s trajectory (e.g. twice or four times a year) and is exactly the same for all levels of students. The test is taken at the level of graduation which means that starting students score lower than students at the end of their study. The standards for each student are based on the score distribution within the student s peer group. The scores for the progress test may be differentiated in several types of subscores, e.g. on disciplines or knowledge categories. This type of test allows for a true measurement of progress. By comparing their own results with those of their peers (aggregated), students can analyze their strong and weak points in their own development. Moreover, educators can study the behavior of their student population. The progress test can be administered by multiple institutions simultaneously, as is for example the progress test in medicine. In this case, the progress test also acts as a benchmark between institutions. For more background on progress testing we refer to Students can browse through their progress test data using an intuitive dashboard that allows the selection of parameters along a series of dimensional axes, such as: total score, or detailed score, raw data or cumulative, type of score and the peergroup data which should be presented as background. The data can be presented in a longitudinal or momentaneous view. The dashboard allows the student to switch easily between all parameters. This gives the students much freedom to explore their results and make their own analysis. Staff members can see data on the level of peer groups and may or may not, depending on their permissions, see results of individual students. The ProF application is enhanced with a web-analytics tool (Piwik) that makes it possible to trace the use of the system by students and staff members. Please contact us if you wonder whether test outcome data of you institute or consortium might be suitable for being displayed by ProF. Welke data wordt gebruikt en gegenereerd? The ProF system takes the outcome data of a series of progress tests (which should be provided by the client in a required format) and pre-computes longitudinal views, cumulative scores and group aggregates for all students. Next to this, the webanalytics tool Piwik is used to generate ProF usage data.

16 16 Tools en diensten voor learning analytics Wie is eigenaar van de data? Client organisations have access to the data and remain the owner of the data. Hoe vrij beschikbaar en transporteerbaar is de data? Consortia can extract data by the client as needed. Piwik website usage reports can be downloaded by the client in several formats. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? ProF is currently in use in three different settings: A) Medicine (Maastricht University / MUMC, Radboud universiteit Nijmegen / UMCN, Universiteit Groningen / UMCG, Leiden University / LUMC, Vrije Universiteit Amsterdam / This configuration involves about users. B) General practitioners (Huisartsopleiding Nederland (UMCN, LUMC, UMCG, AMC, UMCU, MUMC, UM, Erasmus MC, VUmc) This configuration involves about users. C) Psychology at Maastricht University This configuration involves about 950 users. The ProF system was first evaluated on its usability during a pilot study at Groningen University. The reactions of students were very promising. Since 2009 the system is continuously in use within the 5 partners of the ivtg. In 2012, an investigation of the usage of ProF was performed in the SURF Learning Analytics Innovation project. The usage varied greatly among groups of students. We concluded that it is important to incorporate the use of ProF in the curriculum, and to advocate the use of ProF by tutors and study advisors. A follow-up study in 2013 showed an increased usage and, more importantly, signs for a positive longitudinal effect on test outcomes. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The system consists of three parts: (I) an import/computation module, (II) a central data warehouse and (III) the user interface including Piwik web analytics. The import/computation module is developed in Perl and Project R and uses a local MySQL database for its computations. The data warehouse is implemented as a MySQL database. The user interface is developed in PHP. ProF does not support the Tin Can API, but for institutions that are member of SURF it allows federated login through SURF Conext. For other users, individual passwords can be used to login into the system. Each consortium of institutes that run a progress test together will have their own private data warehouse and version of computation module. We call this a configuration. All configurations share the same user interface. The ProF system is offered as SAAS. The application is hosted by an external provider (Pine Digital Security BV). TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Since its first version in 2009, ProF has been extended continuously. The first additional functionality was connection to SURF Federation (now SURFconext). In 2011 the system was made configurable so that multiple consortia can use ProF, each having their own data warehouse and import/computation module version. In 2012 a connection was introduced with the web-analytics tool Piwik.

17 Tools en diensten voor learning analytics 17 The development and maintenance of the system is done at Maastricht University. Next to regular maintenance, the introduction of ProF to new consortia always leads to requests for new functionality. Since everyone shares the same user interface, we will coordinate these requests and try to find solutions that fit all consortia. Substantial changes will have to be negotiated and will request additional funding. Visie op ontwikkeling product / learning analytics We envision several extensions to ProF in the coming years. The navigational structure will be improved to motivate students even more to stroll through their data. We will try to improve the prognosis model, based on advanced data analysis methods. The system will become more adaptable to the specific needs of consortia. More languages (next to Dutch and English) will eventually become available.

18 18 Tools en diensten voor learning analytics SCORION FUNCTIONALITEIT Firmanaam: Parantion Contactpersonen: Roel Smabers & Robert Smeenk Telefoon: Adres: Munsterstraat EV Deventer, Postbus AC Deventer Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. Beoogde gebruikers: Studenten, docenten, begeleiders en opleiding. Zo kan Scorion worden gebruikt: Het doel van Scorion is om talentontwikkeling te ondersteunen door het leerproces en leerresultaat inzichtelijk te maken voor de student, de docent, begeleiders en de opleiding. Doordat alle resultaten vastgelegd worden via vragenlijsten en documenten en een grote verscheidenheid aan toets- en feedbackmethoden kunnen worden toegepast, kunnen de data goed worden vergeleken. De open standaarden zorgen voor brede analysemogelijkheden. De grafische weergaven en het gebruik van de Scorion App geeft real-time inzicht in resultaat. Welke data wordt gebruikt en gegenereerd? Data worden verzameld op het niveau van de student, de docent, maar ook over de volle breedte van de opleiding. Het persoonlijke dashboard en filtering zorgen voor analytics op maat. Wie is eigenaar van de data? De data zijn eigendom van de licentiehouder. Meestal is dat de opleidingsinstantie, maar data kunnen ook van de student zijn wanneer een opleiding dit zou willen. Hoe vrij beschikbaar en transporteerbaar is de data? De data kunnen in allerlei soorten formaten worden geëxporteerd of gekoppeld. Bijvoorbeeld: Excel, SPSS, CSV, XML, PDF en Word. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Scorion wordt onder meer gebruikt door SURF, TUDelft, UMCG, UvA, RuG, Avans, Erasmus Medisch Centrum, Academisch Ziekenhuis Maastricht, UMC st Radboud, Hogeschool Leiden, Hogeschool Utrecht, Hogeschool de Kempel Saxion, Fontys, INHOLLAND en de Politieacademie. Fontys heeft onderzoek gedaan naar het gebruik van Scorion. Verder doen bijna alle instituten gebruikersonderzoek naar al hun applicaties. Informatie kan desgewenst bij desbetreffende instanties en Parantion worden ingewonnen. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Scorion is een volledige private cloudoplossing die draait vanaf twee datacenters op Nederlandse bodem. Configuratie en dataopslag zijn volledig redundant uitgevoerd. Scorion ondersteunt SURFconext.

19 Tools en diensten voor learning analytics 19 TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Enkele van de nieuwe functionaliteiten die in 2013 ontwikkeld zijn; - Integratie met GoogleMaps. Hiermee kunnen geografische posities worden gekoppeld. Een mooi voorbeeld hiervan is: - De hybride app, die klantspecifiek configureerbaar is, inclusief een persoonlijk dashboard, werkt op alle platforms en devices. Gebruikmakend van PhoneGap, Sencha en HTML5. - JIT (Just in time) surveying met de app door koppeling met bestaande systemen. Bijvoorbeeld lesevaluatie met app, op basis van lestijden, afkomstig uit roostersystemen. Er wordt gewerkt in ontwikkelsprints van circa 4 weken, en er wordt 12 keer per jaar geüpdatet. Dit gebeurt zonder dat gebruikers dat merken, en dus zonder downtime. Nieuwe functionaliteit is nagenoeg altijd instelbaar, zodat de gebruiker de keuze heeft om deze aan of uit te zetten. Verwachte ontwikkelingen voor 2014: - Een tailormade dashboard voor gebruikers. Met behulp van XML en HTML zijn dashboards geheel aan te passen. Hiermee kunnen klanten hun eigen dashboard inrichten. - Doorontwikkeling van de datamanager: Flexibele filtering, gebruikers kunnen zelf filters instellen. Hierdoor is het mogelijk om eigen datasets te creëren. - Delen van specifieke (gedeeltes van) datasets en delen van het dashboard. Met behulp van de analistenlink kunnen gebruikers bepaalde data in laten zien door collega s. - Koppelingen met Blackboard en Turnitin. - Functionaliteit voor het inleveren van opdrachten.

20 20 Tools en diensten voor learning analytics SOWISO FUNCTIONALITEIT Firmanaam: SOWISO bv Contactpersoon: Marc Habbema Telefoon: / Adres: Science Park 400, 1098 XH Amsterdam Website: Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. Beoogde gebruikers: NOTE: The focus of our e-learning platform is the exact sciences. We can identify multiple end users of our product, and our platform ensures that they all benefit from its features. Students. The students that follow the courses on our platform benefit from the advanced interactivity in their learning experience. They get instant feedback exactly where and when they need it. They receive more than binary wrong/correct feedback. Because of the effective feedback and hints, our application is more of a learning-system than just a testing-system. Teachers. For the teachers our platform eases their workload by taking over some of their repetitive tasks and by providing targeted attention to the students at all times. Moreover, because of the extensive progress reports, the teacher can identify problematic subjects/skills and students. The interactive learning content can be exported to multiple formats and channels. Authors. Because of the user-friendly authoring tool, the authors (often these are the teachers) have a tool to create rich interactive e-learning without them needing to code. The authoring tool accepts multiple input-languages, such as TeX, but also has a what-you-see-is-what-you-get type input editor. Educational institutions. Our platform is modestly priced, so institutions can benefit in a financial way as well. The increase in productivity and learning results more than enough compensate for the costs incurred. We adhere to a very transparent pricing structure with campus-wide licenses. We also offer a comprehensive first year university calculus-course based on the platform. The platform is scalable and can be used by multiple departments within an institution at the same time. The platform also has community-features, so that co-creation and co-learning is stimulated. It s even possible to have cooperation in content creation between different institutions. Zo kan SOWISO worden gebruikt: The SOWISO e-learning platform is a turn-key state-of-the-art e-learning solution for the exact sciences in higher education. It enables institutions to create, manage and publish the next generation e-learning. Progress reports / learning analytics is just one feature of this platform. A list of some of the features of this platform is provided here: Learning management system with student/teacher/author/admin profiles and functions. The platform acts as an LMS/CMS in which courses can be presented for students. Interactive e-learning with intelligent communication between user and software. Interpretation of open answers and targeted feedback and hints. The software is not only able to see that a mistake is made, but also what that mistake is. Apart from exercises, the e-learning also includes theory-pages. Randomization. The exercises are composed with random parameters: students can practice a particular problem/skill as intensive as they want. Progress reports for students and teachers at any desired level of detail. Very suited for learning analytics and predictive learning. Authoring tool for teachers/authors so they can create interactive content without programming knowledge. This holds for exercises, theory and tests. Tests can be composed and taken by teachers. These can be entrance or exit-level (diagnosing) tests. Less formal (self-)tests are also possible.