Tools voor learning analytics

Transcriptie

1 Tools voor learning analytics Arnoud Groot (in opdracht van SURF) 2013 Brochure samengesteld op basis van de SURFacademy bijeenkomst tools voor learning analytics. Tijdens deze bijeenkomst zijn leveranciers van diensten op het gebied van learning analytics uitgenodigd om te presenteren welke diensten zij leveren en hoe deze aansluiten op de behoeften die leven in het Nederlands hoger onderwijs. De Brochure dient om een eerste overzicht te geven van beschikbare tools, en beoogt zeker geen compleet beeld te geven.

2 Disclaimer: SURF heeft met deze bijeenkomst een podium willen bieden voor mogelijke diensten die van nut kunnen zijn voor het Nederlands hoger onderwijs, het betreft een momentopname. SURF beoogt deze lijst NIET te gebruiken als preferred supplier list. Aanbieders van diensten rondom learning analytics worden als ze niet in deze brochure staan, maar dat wel zouden willen, uitgenodigd om contact op te nemen met SURF. SURF beoogt op een meer dynamisch overzicht te bieden voor beschikbare tools. 2

3 INHOUDSOPGAVE Introductie Learning Analytics 4 Blackboard analytics for learn - Blackboard 5 Student Analytics Service - Deloitte 10 Eesy Analytics - Eesysoft 13 Scorion - Parantion 15 Vak voor Vak Applicatie - Universiteit Leiden 18 ProF (Progress Test Feedback) - Universiteit Maastricht 21 SOWISO - SOWISO 25 Student Activity Meter - KU Leuven 31 Inzicht in Zicht - UP learning 34 Business Intelligence Development Framework - Valid 37 3

4 INTRODUCTIE LEARNING ANALYTICS In deze brochure vindt u informatie over een reeks learning analytics- producten en diensten. Een nieuw begrip in onderwijsland, dat de komende jaren naar onze overtuiging sterk aan relevantie zal winnen. Zoals bekend drukken het alomtegenwoordig internet, snel aan kracht en mogelijkheden winnende mobile devices en mediarijke sociale netwerken onvermijdelijk hun stempel op de manier waarop onderwijsinstellingen interacteren met studenten, onderzoekers en docenten. Denk bijvoorbeeld aan de snelle toename van virtuele samenwerkingsmogelijkheden en hoogwaardige, vrij op het internet beschikbare lesstof. Als gevolg wordt het kan het onderwijs- en ontwikkelproces van de Nederlandse student steeds persoonlijker, en kunnen onderwijsinstellingen naar verwachting steeds meer toegevoegde waarde gaan bieden in de wijze waarop zij hun studenten begeleiden. Een helder en zo volledig mogelijk inzicht in prestaties en ontwikkeling is daarbij een eerste vereiste. Een deel van dit inzicht kan worden gegenereerd met behulp van learning analytics. Volgens de door SURF gehanteerde definitie hebben we het dan over het verzamelen, analyseren en rapporteren van data van studenten en hun omgeving ten behoeve van het begrijpen en verbeteren van het onderwijs en de omgeving waarin dit onderwijs plaatsvindt (SoLAR, 2011). Empowerment middels op data gebaseerde feeback dus, waarmee onderwijsinstellingen, docenten, onderzoekers én studenten allen hun voordeel kunnen doen. Zo kunnen onderwijsinstellingen bijvoorbeeld vroegtijdig inzoomen op groepen studenten die het risico lopen af te vallen, daarop gepaste ondersteuning aanbieden en zo hun retentiepercentage verhogen. Docenten krijgen de mogelijkheid het leerproces en de ontwikkeling van individuele studenten gedetailleerder te monitoren, en de aangeboden leerstof daar eventueel op aan te passen. En studenten kunnen met de directe feedback op hun leerprestaties, al dan niet afgezet tegen de resultaten van andere studenten, hun aandacht verleggen of inspanningen verhogen. In 2012 voerde SURF een eerste verkenning uit naar het thema learning analytics, waarbij onder meer 7 pilot projecten werden opgestart. In vervolg hierop kwamen op 7 maart aanbieders naar Utrecht om hun learning analytics-producten en diensten te presenteren. In deze brochure vindt u een samenvatting (van 10 van deze diensten) met de essentiële punten van de bij die gelegenheid aangeboden informatie. Plus goed advies van de aanwezige aanbieders: Nederlandse onderwijsinstellingen hebben al erg veel informatie voorhanden. Eerste vraag zou daarom moeten zijn: Wat willen wij precies weten? 4

5 BLACKBOARD ANALYTICS FOR LEARN Firmanaam: Blackboard, Inc. Contactpersoon: Kent Chen, Website: FUNCTIONALITEIT Beoogde gebruikers: Campus leaders, instructors, staff and students Zo kan Blackboard Analytics worden gebruikt: Blackboard Analytics for Learn integrates with the Blackboard Learn 9.1 platform and enables campus leaders to analyze Blackboard Learn activity and use data comparatively and over time to improve the quality of courses and increase adoption by instructors, staff, and students. The Analytics for Learn solution provides self-service reporting, dashboards, and trend analysis so that users can access and analyze the wealth of information within both the Learn platform and their student information system. Blackboard Analytics for Learn helps you meet challenges like these: Increasing student retention Improving student performance Identifying online learning best practices Determining ROI of LMS investments Capacity planning Integrating administrative (ERP/SIS) data with instructional (LMS) data for reporting and analysis Information delivery bottlenecks; no self-service access to actionable information Measure student learning outcomes - monitoring and analyzing trends to enact curriculum and pedagogical change over time Establish and tracking KPIs - a single source of the truth for monitoring strategic goals and enabling data-driven decision making The Blackboard Analytics application shows immediate results, with a warehouse that is populated with institutional data in 2 days. There is still an implementation process to do knowledge transfer, data validation, and embedding of business rules in the baseline model, 5

6 but our application mitigates the risk of a very complicated IT project.projects that have failed at other institutions after many years and dollars have been spent. Our solution covers a much wider base than any other alternative on the market. Our learning analytics data model delivers 18 Fact Tables and more than 100 Measures, including 40 that are derived or calculated by Blackboard Analytics for Learn, and don t exist natively in the LMS or SIS. The measures are then embedded in the data model and can be customized with institutional business rules. Welke data wordt gebruikt en gegenereerd? The Blackboard Analytics for Learn platform essentially transforms raw data from your LMS and SIS into actionable information. This access to information supports a broad spectrum of users spanning institutional research, management reporting, external reporting, and analytic needs across the institution. The application provides a library of standardized metrics and descriptive attributes consistent with best practices in higher education management. Our data warehouse provides the ability to alter the data model by using a custom hook structure that separates our core code from the customizations and embeds code into the underlying SQL. This feature enables virtually any metric/measure to reflect the specific needs of the institution or system, including supporting multiple definitions, where needed. Blackboard Analytics provides its customers with a full window into our underlying code and design. Once a customer purchases the application, they receive detailed documentation that includes a data dictionary, ERD designs, and a full view into our underlying code. There are no black boxes, compiled code, or hidden code in the application. This will enable the institution to not only better understand the application as delivered, but empower them to extend it with customized table structures, new data sources, and advanced metrics and measures. TRACK RECORD Wat is het track record van het product in een onderwijsomgeving? As of March 2013, we have customers across the world such as: The University of Maryland, Baltimore County (United States) Coppin State University (United States) The University of Pretoria (South Africa) 6

7 The University of Western Sydney (Australia) Edith Cowan University (Australia) The University of Westminster (United Kingdom) All of these clients are using (or will be implementing) Blackboard Analytics for Learn to address the key issues facing several higher educational institutions regarding learning analytics. Specifically, they will be interested in identifying at-risk students for student retention purposes; and measuring the adoption rate of Blackboard Learn LMS to identify highly effective teaching practices using elearning technology. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Although Blackboard Analytics currently delivers content (reports, KPI s, Dashboards) using Microsoft tools, we have proven that our application works with virtually any tool on the market. Today our customers use Pyramid analytics, Cognos, Business Objects, Hyperion, Crystal Reports, SAS and other tools against our application. Utilizing On Line Analytical Processing (OLAP) technology, we deliver a self-service environment that shifts institutions from the report writer/report requester world to an enduser defined reporting environment. This technique allows non-technical users to interact with the underlying data model without engaging technical resources. This dramatically decreases the effort required to generate reports and fosters a culture of self-sufficient datadriven decision making. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? Blackboard Analytics for Learn is licensed similarly to other Blackboard products. Our licensing model is based on a recurring annual fee, adjusted according to the FTE size of the institution. In addition to the annual license fee, there is also a one-time consulting services implementation package that is delivered. This consulting implementation package will cover software installation, report configuration, and knowledge transfer to properly train our clients on how to use and maintain the Blackboard Analytics for Learn application in the future. 7

8 TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Separating the core code from the customizations is essential when it is time to upgrade. Unlike other data warehouse solutions, the Blackboard Analytics for Learn is easily updated as new LMS upgrades become available. Most upgrades have minimal effect on the underlying data model, because they are generally designed around the transactional nature of the LMS and SIS; however even those upgrades that require change are easily handled within our architecture, generally with a delivered script. The Blackboard Analytics model is based on best practices in data warehouse methodology and design. We use Kimball s dimensional modeling methodology that provides the most effective technique for analyzing admissions, student records, and other information for higher education. One of the key factors in turning data into information is deriving important management metrics and dimensions. LMS and SIS systems capture a wealth of detail, but management information requires data rules, aggregations, and algorithms that may not exist in the LMS and SIS source systems. Our data model consists of a wide range of derived information that enables Blackboard Analytics for Learn to solve difficult problems. Some examples include course utilization, student performance, instructor participation, and more. We do not measure success by the size of the analytical reporting solution, but rather by the impact the information has on institutional performance. The focus should be on utilizing information in decision-making and problem solving. To that end, we need to understand the problems we are trying to solve and the decisions that institutional leaders face on a daily basis. Our success is founded on a commitment to work with our higher education customers to continually refine the data model to solve the information challenges that they have brought to us. Blackboard Analytics for Learn reflects the collective expertise of our entire collective customer base, not just one firm s view. Our initial challenge was in selling a product that had no commercial competitors. In effect, Blackboard Analytics for Learn defined a new commercial market that previously did not exist pre-built learning analytics applications. We started with a Student Management data warehouse product in 2003, and have added Financial Management, Human Resources, Financial Aid, and Advancement modules. And most recently, we now also integrate with Blackboard Learn to provide learning analytics for our clients. 8

9 On the horizon, our plan is to extend the portfolio to integration with Academic Information Systems, advanced analytic applications, and integration with other external data sources. 9

10 STUDENT ANALYTICS SERVICE Firmanaam: Deloitte Consulting Contactpersoon: Theo Bakker, , Adres: Laan van Kronenburg 2, 1183 AS Amstelveen Website: FUNCTIONALITEIT De Student Analytics Service van Deloitte biedt onderwijsinstellingen de basis om studenten optimaal en op maat te begeleiden. Op basis van een combinatie van gegevens uit uw bestaande informatiesystemen, verrijkt met externe bronnen, segmenteren we studentgroepen en opleidingen naar uitval, studieduur en excellentie. Vervolgens bepalen we hoe u bestaande maatregelen voor studiesucces veel gerichter kunt inzetten. Hiermee bereikt u een efficiënte inzet van middelen en een beter studierendement. Beoogde gebruikers: Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en studieadviseurs Zo kan de Student Analytics Service worden gebruikt: Met deze service heeft de Faculteit der Geesteswetenschappen (UvA) op historische gegevens geanalyseerd uit 7 bronsystemen. Op basis hiervan zijn 12 segmenten gevonden binnen de gehele populatie en een voorspellend algoritme voor uitval. Parallel aan het project zijn gesprekken met medewerkers gevoerd om de werkpraktijk en houding ten aanzien van rendement bevorderende maatregelen beter te begrijpen. De uitkomsten worden gebruikt om bestaande studiesuccesmaatregelen beter toe te snijden op de behoefte binnen de faculteit van zowel studenten als medewerkers. Een segmentatie en basis voor gerichte studiesuccesmaatregelen kan er als volgt uitzien: 10

11 Welke data wordt gebruikt en gegenereerd? Voor de analyse en segmentatie maakt de Student Analytics Service gebruik van gegevens uit de gehele studieloopbaan van de student die we verrijken met externe data: CRM gegevens over voorlichting, Studielink, SIS-inschrijf/SIS-Volg, roostergegevens, HRgegevens, DLWO etc., aangevuld met gegevens van DUO, CBS. Wie is eigenaar van de data? De aanleverende instelling is eigenaar van de data (DUO en CBS gegevens zijn eigendom van het Ministerie van OC&W en het CBS). De data worden opgeslagen op de servers van Deloitte voor uitvoering van de opdracht en als back-up bewaard om de uitkomsten van onderzoek en analyses te kunnen rechtvaardigen als hier op een later tijdstip vraag naar is. Hoe vrij beschikbaar en transporteerbaar is de data? De data komt uit bestaande systemen: beschikbaarheid is verbonden met de data-policy van deze systemen. De onderwijsinstelling ontvangt een algoritme en formule om de segmentatie zelfstandig te kunnen herhalen. Informatie wordt niet gedeeld tenzij hierover toestemming is van de onderwijsinstelling zelf. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? De Student Analytics Service is ingezet de Faculteit der Geesteswetenschappen (UvA). Verdere referenties zijn op aanvraag beschikbaar bij Deloitte (zie contactdata). INFRASTRUCTUUR EN ARCHITECTUUR 11

12 Wat is nodig om het product goed te laten draaien? De Student Analytics Service is geen softwarepakket, maar een consultancy dienst voor student analytics. Data moeten goed met elkaar te verbinden zijn. De meest gangbare bestandsformaten (ODBC database, Excel, CSV, et cetera) kunnen ingelezen worden. Analyse van gegevens en rapportages zijn op te schalen naar elke gewenste omvang. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? De kosten van deze service zijn in principe eenmalig en gebaseerd op daadwerkelijk bestede adviesdagen. Een traject kost ongeveer 25 dagen (voor het verzamelen en samenvoegen van data, analyse, berekening van algoritme en uitvoering van segmentatie, rapportage, workshops voor implementatie van passende maatregelen; dagen kunnen variëren op basis van de kwaliteit en omvang van data, klantvraag, et cetera). Minimale benodigde FTE: 1. TOEKOMSTIG GEBRUIK Als leverancier van kennis is Deloitte gericht op voortdurende innovatie van haar dienstverlening. Data analytics is één van de speerpunten in alle vormen van onze dienstverlening. Op basis van analyses van trends in het Hoger Onderwijs (en andere industrieën) passen wij in nauw contact met onze Member Firms in het buitenland onze dienstverlening en proposities voortdurend aan. Visie op ontwikkeling product / learning analytics: De ontwikkeling van Student Analytics zal ertoe leiden dat de norm voor begeleiding van studenten in het Hoger Onderwijs wezenlijk zal gaan veranderen. Het nieuwe leenstelsel zal studenten kritischer maken over de studiebegeleiding die onderwijsinstellingen bieden. De snelheid waarmee studenten feedback krijgen en de breedte aan adviezen voor een beter studiesucces zullen sterk toenemen. Meer en meer zullen verschillende datasets met elkaar gecombineerd worden. Het eigenaarschap en de portabiliteit van data zal sterker bij de student komen te liggen evenals de toestemming of het verzoek om data ten gunste van zijn/haar succes te gebruiken. Voor een gericht beleid hiervoor bieden wij een Privacy Adviesdesk Service. 12

13 EESY ANALYTICS Firmanaam: EesySoft Contactpersoon: Michel Visser Adres: Beech Avenue 54-80, Schiphol-Rijk Website: FUNCTIONALITEIT Eesysoft analyseert het gebruik van de digitale leer en werkomgeving door student, docenten en medewerkers. Via real-time rapportages krijgt de gebruiker inzicht in de mate waarin gebruik wordt gemaakt van de beschikbare functionaliteit. Beoogde gebruikers: Budget holders digitale leer- en werkomgeving, head of learning and teaching, functioneel beheer. Zo kan worden gebruikt: EesyAnalytics wordt veelal gebruikt om inzicht te krijgen in het gebruik van Blackboard, maar kan ook voor andere webbased software oplossingen binnen de Digitale Leer en Werkomgeving (DLWO) worden ingezet. Tevens zorgt de module EesyMessaging ervoor dat er op basis van deze analyse zeer gericht gecommuniceerd kan worden met bijvoorbeeld docenten die een specifieke functionaliteit nog niet (optimaal) gebruiken. Doelstelling is adoptie van DLWO te verhogen. Welke data wordt gebruikt en gegenereerd? Op individueel gebruikersniveau analyseert EesyAnalytics het gebruik van applicaties: welke functionaliteit wordt gebruikt, door wie (bijvoorbeeld docent, student of faculteit), hoe lang, wanneer, et cetera. Wie is eigenaar van de data? EesyAnalytics wordt als SaaS oplossing aangeboden. De data is eigendom van de klant en wordt opgeslagen binnen de SaaS-infrastructuur van EesySoft. Hoe vrij beschikbaar en transporteerbaar is de data? Data is beschikbaar via reports als raw data (CSV file). 13

14 TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Circa 23 instellingen hebben het EesySoft building block voor EesyAnalytics geïnstalleerd hebben. Dit zijn in Nederland o.a. : Saxion, TU Delft, Haagse Hogeschool, Hogeschool Leiden, Avans, Universiteit Twente, Universiteit Leiden, Hogeschool InHolland, ROC MN. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? EesyAnalytics vereist installatie van het EesySoft building Block (voor Blackboard) of het toevoegen van de tracking code (javascript) aan de webbased applicatie. Verder werkt het product als SaaS-oplossing. Op dit moment maken circa gebruikers gebruik van het systeem, en worden er gesprekken gevoerd met SURF om EesyAnalytics te koppelen aan de SURFconext infrastructuur. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? EesyAnalytics is beschikbaar vanaf 500 euro per maand (afhankelijk van aantal gebruikers). In dit bedrag zitten tevens de hostingkosten, updates en support. De eenmalige set upkosten bedragen euro TOEKOMSTIG GEBRUIK In welke mate is het product future proof? EesyAnalytics is voortgekomen uit feedback van klanten die EesySoft reeds enkele jaren gebruiken voor in-application support. We streven naar 2 upgrades per jaar, plus specifieke kleine wijzigingen op basis van de feedback van onze gebruikers. Visie op ontwikkeling product / learning analytics: EesySoft benadert Learning Analytics vanuit een pragmatische invalshoek. Dit in tegenstelling tot de onderzoekende methoden waarbij veelal datamining technieken worden ingezet. Wij geven inzicht in het gebruik van de DLWO door docenten en studenten. Door deze informatie te vergelijken met studieresultaten kan worden onderzocht of er een causaal verband bestaat tussen deze twee variabelen. 14

15 SCORION Firmanaam: Parantion Contactpersonen: Roel Smabers & Robert Smeenk, Adres: Munsterstraat EV Deventer, Postbus AC Deventer Website: FUNCTIONALITEIT Beoogde gebruikers: Studenten, docenten, begeleiders en opleiding. Zo kan Scorion worden gebruikt: Het doel van Scorion om de talentontwikkeling te ondersteunen door het leerproces en leerresultaat inzichtelijk te maken voor de student, de docent, begeleiders en de opleiding. Doordat alle resultaten vastgelegd worden via vragenlijsten, documenten en verschillende feedback methoden kunnen worden toegepast, kan de data goed worden vergeleken. De open standaarden zorgen voor brede analyse mogelijkheden. De grafische weergaven en het gebruik van de Scorion App zorgen voor een goed inzicht. Welke data wordt gebruikt en gegenereerd? Data wordt verzameld op niveau van de student, docent, maar ook over de volle breedte van de opleiding. Wie is eigenaar van de data? De data is in principe eigendom van de licentie houder. Meestal is dat de opleidingsinstantie. Hoe vrij beschikbaar en transporteerbaar is de data? De data kan in allerlei soorten formaten worden geëxporteerd of gekoppeld. Bijvoorbeeld: Excel, SPSS, CSV, XML, PDF en Word. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? 15

16 Scorion wordt onder meer gebruikt door SURF, TUDelft, UMCG, Saxion, Fontys, INHOLLAND, Fontys. Fontys heeft onderzoek gedaan onder het gebruik van Scorion. Verder doen bijna alle instituten gebruikersonderzoek onder al hun applicaties. Tot slot heeft bij UMCG net een pilot project plaatsgevonden dat zeer goed is verlopen en ook als zodanig is geëvalueerd. Informatie kan desgewenst bij desbetreffende instanties en Parantion worden ingewonnen. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Scorion is een volledige Saas-oplossing die draait vanaf twee datacenters op Nederlandse bodem. Configuratie en data storage zijn volledig redundant uitgevoerd. Scorion ondersteunt SURFconext. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? Een SURF-licentie is voor handen. Kosten zijn variabel en variëren van 35 per respondent bij een stuks licentie tot 3 per student voor een enterprise licentie. In dat geval is de basis licentie Inrichting van een basis systeem kost ca Daarbij komt een admintraining van Dataopslag uit het systeem zelf is daarbij inbegrepen. Extra dataopslag kost 3 voor eigen documenten. In principe is geen support nodig vanuit de eigen organisatie. Wel is het verstandig om een 1e lijns helpdesk voor gebruikers binnen de instelling te doen. Ca 0,2 fte is dan voldoende. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Er wordt gewerkt aan verschillende innovatieprojecten waarbij integratie met Google, voor geografische posities kan worden gekoppeld. Verdere ontwikkelingen: PhoneGap, Android en Windows App, Sencha (HTML5 graphics) Er wordt gewerkt in sprint cycli van circa 4 weken, en er wordt 12 keer per jaar geüpdate. Dit gebeurt zonder dat gebruikers dat merken, en dus zonder downtime. Nieuwe functionaliteit is nagenoeg altijd instelbaar, zodat de gebruiker de keuze heeft. In 2013 wordt de grafische module uitgebreid in HTML5. Grafieken kunnen direct op data worden toegepast. Verder is er dan een app op alle relevante platforms. Tevens volgt in dit jaar de integratie met panels 16

17 en Survey module. In 2014 worden de koppelingen met externe bronnen bi-directioneel verder uitgebreid. Scorion 4 krijgt een Graphical User Interface tbv integratie user generated data en sociale media. AANVULLENDE DOCUMENTATIE Scorion platform mei 2012: Scorion Peer evaluation TUDelft January 2013: Scorion gebruikt als medische toepassing 2013: Scorion Learning Analytics The Movie: March 2013: Gelanceerd op 7 maart 2013 at the Surf Learning Analytics Event 17

18 DE VAK VOOR VAK APPLICATIE Firmanaam: Universiteit Leiden, Institute of Advanced Computer Science (LIACS) Contactpersoon: Dr. Arno Knobbe, Adres: Postbus RA Leiden Website: - FUNCTIONALITEIT Beoogde gebruikers: The Vak voor Vak application aims to support education managers, study advisors and individual lecturers by presenting in a visual way high-level information concerning study results and course evaluations. The VvV Learning Analytics dashboard presents a visual, color-coded overview of the entire curriculum, including the option to drill down into detailed data concerning individual courses. Zo kan Vak voor Vak worden gebruikt: Using various graphs, managers can get a quick insight into which courses require further attention or coaching of the lecturers involved, and individual lecturers can examine their evaluation details (collected by student questionnaires) and compare these to their peers. Welke data wordt gebruikt en gegenereerd? The VvV applications connect to two sources of information, being usis for details about exam results for a given course, and Evasys for evaluation scores. The dashboard aims to provide a quick understanding of these two perspectives on course quality. Although the application is currently specific to these two systems, it should be fairly easy to extend this to different sources of data with a similar structure. Wie is eigenaar van de data? The VvV application does not collect new data about students and course. It simply loads and presents existing data in a visual manner. The combined data resides in an applicationspecific database, but this database can be maintained by the educational institute, such that ownership is not an issue. 18

19 Hoe vrij beschikbaar en transporteerbaar is de data? The data is an extract from two existing sources, so there would not be any need to access this data. If required however, the data can be simply queried as any relational database. The RDBMS is MySQL. Zo zien dashboard en weergave data van de Vak voor Vak-applicatie er uit: 19

20 TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? The system is being used to monitor the courses of the Computer Science bachelor of the LIACS (Leiden University), with plans to extend this to the entire faculty and possibly other faculties in UL. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The system requires a central MySQL database and Apache to provide a webinterface for the dashboard. The actual dashboard can be reached through the Internet, and as such can be reached from office or home environments. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? The product is currently a prototype, and hence the licensing structure needs to be decided upon, but will be reasonable and depend on the scale of the organization. Additional costs may be involved in tuning the application to the specific field and the source of data. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? We intend to further develop the application, mostly based on requirements of early adopters. Visie op ontwikkeling product / learning analytics: The VvV application implements one type of Learning Analytics, specifically target towards supporting those responsible for the education. We acknowledge that other forms of LA are also useful, specifically where the analysis of detailed study behavior is concerned, but this is not the aim of this specific tool. 20

21 PROF PROGRESS TEST FEEDBACK Firmanaam: Maastricht University Contactpersonen: Jeroen Donkers Frank van der Kamp Adres: Postbus 616, 6200 MD Maastricht Website: FUNCTIONALITEIT Beoogde gebruikers: Management, middelmanagement, beleidsmedewerkers, studieloopbaanbegeleiders en studieadviseurs, docenten, studenten. Zo kan ProF worden gebruikt: The ProF-system (Progress test Feedback) is intended to provide online longitudinal feedback on progress test results to students and staff. Although the ProF-system was originally developed specifically for the progress test in medicine, it has been generalized to deal with general progress tests. A progress test, in this respect, is a test that is taken at regular intervals during a student s trajectory (e.g. twice or four times a year) and is exactly the same for all levels of students. The test is taken at the level of graduation which means that starting students score lower than students at the end of their study. The standards for each student are based on the score distribution within the student s peer group. The scores for the progress test may be differentiated in several types of subscores, e.g. on disciplines or knowledge categories. This type of test allows for a true measurement of progress. By comparing their own results with those of their peers (aggregated), students can analyze their strong and weak points in their own development. Moreover, educators can study the behavior of their student population. The progress test can be administered by multiple institutions simultaneously, as is for example the progress test in medicine. In this case, the progress test also acts as a benchmark between institutions. For more background on progress testing we refer to Students can browse through their progress test data using an intuitive dashboard that allows the selection of parameters along a series of dimensional axes, such as: total score, or detailed score, raw data or cumulative, type of score and the peergroup data which should 21

22 be presented as background. The data can be presented in a longitudinal or momentaneous view. The dashboard allows the student to switch easily between all parameters. This gives the students much freedom to explore their results and make their own analysis. Staff members can see data on the level of peer groups and may or may not, depending on their permissions, see results of individual students. The ProF application is enhanced with a web-analytics tool (Piwik) that makes it possible to trace the use of the system by students and staff members. Please contact us if you wonder whether test outcome data of you institute or consortium might be suitable for being displayed by ProF. Welke data wordt gebruikt en gegenereerd? The ProF system takes the outcome data of a series of progress tests (which should be provided by the client in a required format) and pre-computes longitudinal views, cumulative scores and group aggregates for all students. Next to this, the webanalytics tool Piwik is used to generate ProF usage data. Wie is eigenaar van de data? Client organisations have access to the data and remain the owner of the data. Hoe vrij beschikbaar en transporteerbaar is de data? Consortia can extract data by the client as needed. Piwik website usage reports can be downloaded by the client in several formats. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? ProF is currently in use in three different settings: A) Medicine (joined in the ivtg interuniversitaire Voortgangstoets Geneeskunde) Maastricht University / MUMC Radboud universiteit Nijmegen / UMCN Universiteit Groningen / UMCG Leiden University / LUMC Vrije Universiteit Amsterdam / VuMC 22

23 This configuration involves about users. B) General practitioners (huisartsopleiding) Huisartsopleiding Nederland (UMCN, LUMC, UMCG, AMC, UMCU, MUMC, UM, Erasmus MC, VUmc) This configuration involves about users. C) Psychology at Maastricht University This configuration involves about 950 users. The ProF system was evaluated on its usability when its first version was developed during a pilot study at Groningen University. The reactions of students were very promising. Since 2009 the system is continuously in use within the 5 partners of the ivtg. In 2012, an investigation of the usage of ProF was performed in the SURF Learning Analytics Innovation project. The usage varied greatly among groups of students. We concluded that it is important to incorporate the use of ProF in the curriculum, and to advocate the use of ProF by tutors and study advisors. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The system consists of three parts: (I) an import/computation module, (II) a central data warehouse and (III) the user interface including Piwik web analytics. The import/computation module is developed in Perl and Project R and uses a local MySQL database for its computations. The data warehouse is implemented as a MySQL database. The user interface is developed in PHP. ProF does not support the Tin Can API, but for institutions that are member of SURF it allows federated login through SURF Conext. For other users, individual passwords can be used to login into the system. Each consortium of institutes that run a progress test together will have their own private data warehouse and version of computation module. We call this a configuration. All configurations share the same user interface. The ProF system is offered as SAAS. The application is hosted by an external provider (Pine Digital Security BV). 23

24 FINANCIEEL Wat zijn de directe en indirecte kosten van het product? The cost for using ProF is a fixed price per configuration per year of The number of institutions within one configuration is irrelevant, but in the case of more than 1000 users in total we will increase the fee. There will be no license but a service agreement. Since ProF needs to be configured for the needs of the client, additional setup-costs are charged depending on the complexity of the task. Clients will receive an administration account that allows them to manage staff accounts. Student accounts are managed along with the import procedure. Further administration is not required for ProF. The preparation of the progress test data has to be arranged by the client and depends on the way in which the progress test data is collected and stored. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Since its first version in 2009, ProF has been extended continuously. The first additional functionality was connection to SURF Federation (now SURFconext). In 2011 the system was made configurable so that multiple consortia can use ProF, each having their own data warehouse and import/computation module version. In 2012 a connection was introduced with the web-analytics tool Piwik. The development and maintenance of the import/computation module and data warehouse is done at Maastricht University. The user interface is developed and maintained by our partner Case Builders BV. Next to regular maintenance, the introduction of ProF to new consortia always leads to requests for new functionality. Since everyone shares the same user interface, we will coordinate these requests and try to find solutions that fit all consortia. Substantial changes will have to be negotiated and will request additional funding. We envision several extensions to ProF in the coming years. The navigational structure will be improved to motivate students even more to stroll through their data. We will try to improve the prognosis model, based on advanced data analysis methods. The system will become more adaptable to the specific needs of consortia. More languages (next to Dutch and English) will become available. 24

25 SOWISO Firmanaam: SOWISO bv Contactpersoon: Marc Habbema, / Adres: Science Park 400, 1098 XH Amsterdam Website: FUNCTIONALITEIT Beoogde gebruikers: We can identify multiple end users of our product, and our platform ensures that they all benefit from its features. Students. The students that follow the courses on our platform benefit from the advanced interactivity in their learning experience. They get instant feedback exactly where and when they need it. They receive more than binary wrong/correct feedback. Because of the effective feedback and hints, our application is more of a learningsystem than just a testing-system. Teachers. For the teachers our platform eases their workload by taking over some of their repetitive tasks and by providing targeted attention to the students at all times. Moreover, because of the extensive progress reports, the teacher can identify problematic subjects/skills and students. Authors. Because of the user-friendly authoring tool, the authors (often these are the teachers) have a tool to create rich interactive e-learning without them needing to code. The authoring tool accepts multiple input-languages, such as TeX, but also has a what-you-see-is-what-you-get type input editor. Educational institutions. Our platform is very modestly priced, so institutions can benefit in a financial way as well. The increase in productivity and learning results more than enough compensate for the costs incurred. The platform is very scalable and can be used by multiple faculties/departments within an institution at the same time. The platform also has community-features, so that co-creation and co-learning is stimulated. It s even possible to have cooperation in content creation between different institutions on one platform. Zo kan SOWISO worden gebruikt: The SOWISO e-learning platform is a turn-key state-of-the-art e-learning solution for the exact sciences in higher education. It enables institutions to create, manage and publish the 25

26 next generation e-learning. Progress reports / learning analytics is just one feature of this platform. A list of some of the features of this platform is provided here: Learning management system with student/teacher/author/admin profiles and functions. The platform acts as an LMS/CMS in which courses can be presented for students. Interactive e-learning with advanced intelligent communication between user and software. Interpretation of open answers and targeted feedback and hints. The software is not only able to see that a mistake is made, but also what that mistake is. Apart from exercises, the e-learning also includes theory-pages. Randomization. The exercises are composed with random parameters, so that students can practice a particular problem/skill as intensive as they want. Progress reports for students and teachers at any desired level of detail. Very suited for learning analytics and predictive learning. Authoring tool for teachers and authors so they can create interactive content without programming knowledge. This holds for both the exercises and theory. Tests can be composed and taken by teachers. These can be entrance or exit-level (diagnosing) tests. Tags and metadata make sure the platform can be applied in a diagnosing and remedial way by the use of learning-taxonomy. Community features enable students, teachers and authors to co-create and colearn Cross-browser, cross-device HTML5 future-proof technology. No use of flash or java-applets that require local installation of software. Cloud-based. The platform is cloud based web-service, meaning that the client/student only needs a device with a browser to access the platform. The platform can be installed on a local server if the institution desires so. All mathematical subjects are covered by our platform, ranging from arithmetic to advanced calculus. 14 exercise types Our platform currently provides templates for a lot of exercise types, like open answers, draw a line and all types of multiple choice. Many more types are constantly being developed. In general, all these features enable institutions to create future-proof technology enhanced learning that fit the needs of their students. A demo-website, with a collection of interactive exercises, is available at: Welke data wordt gebruikt en gegenereerd? The data generated for the progress reports is actually an incredible amount: Userid, school, class, chapter, subject, question, correct or wrong answer, hints asked, solutions asked, types of errors made, date, time, day of the week. But apart from this also the random parameters that were generated for that particular exercise are stored, so that students and 26

27 teachers can use an advanced replay-functionality so that one can see the exact same context in which the particular answers were given. Finally, also meta-data tags that describe skills or for example categories of mistakes are stored. This all means that the progressreports can be based on many types of stored data. A teacher can for example run reports on the types/categories of mistakes that his or her students have made in a particular course. The teacher can adapt to this in coming meetings. The cockpit, that teachers or students have in the reporting-tool is easily customizable. Because the platform is capable of dealing with open answers and providing targeted feedback, a whole lot of specific detailed user data is stored. The data, and thus the Learning Analytics that can be performed with it, is a direct result of the learning process of the student. Wie is eigenaar van de data? The data is stored in a database. Concerning intellectual property, there is a clear distinction. All content that is created by the client on the platform, and the user-data that is generated by its use of the platform, is owned by the client on that particular platform. SOWISO remains the legal owner of the platform. Hoe vrij beschikbaar en transporteerbaar is de data? The data is flexible and open, because it can be exported in any format, like xml, json, csv, excel or ods. It s also possible to import existing digital material, depending on the specifications of this material. Theory in the form of text, pictures or movies can be incorporated. Also exercises (preferably with XML-type structure) can be imported. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? The SOWISO e-learning platform is relatively new, but already being used at multiple universities, colleges and publishers. We are talking with a dozen more about starting a project in the near future. All our projects have been delivered on-time, on budget. The technology on which the platform is partly based has been used many more times, at even more institutions. The company providing the e-learning platform is a spin-off from the Technical University of Eindhoven, at which the underlying technology was developed and tested many times. 27

28 For a use-case of our platform, we can refer to a university of applied sciences who used our platform for teaching in the domain of information technology. A course, containing both theory and exercises, was developed to complement the existing class-room education. Over exercises were made by around 40 students. After the exam was made, this was one of the results: Number of exercises made Average grade 5,79 5,88 5,91 5,90 6,12 6,91 8,00 % of students passing 61% 63% 65% 67% 71% 82% 100% Number of students INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The platform is partly based on many years of scientific research at the Technical University of Eindhoven. When it comes to the exact sciences, it is the most advanced solution out there. The platform is also very flexible and open in architecture so we can deal with future developments/trends/standards in the e-learning world. We can call on different (mathematical, graphical, social, analytical, etc) programs as services. The open architecture ensures us that we can do this in the future as well. The technology we use is fully HTML5- proof and will therefore work on all types of devices and browsers. We will support SURF Conext in the very near future. We already established a similar connection with Kennisnet Entree. We will also support the Tin Can API. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? A yearly license-fee is charged, depending on the number of named-users (students) using the platform. We have 2 pricing structures. The most applicable one for higher education institutions is the following: Under 25 named users: 2.500,- per year Between 25 and 150 named users: 2.500,- plus 12,- per named user above 25 28

29 Above 150 named users: 4.000,- plus 4,- per named user above For heavy users (above 1650 named users), there is a different pricing structure, with higher initial yearly costs, but lower cost per additional user. This license fee covers the complete platform, including LMS, authoring tool, progress reports, community features, etc. The client is allowed to create as many courses for this fee, the criterion is the number of named users. Experience tells us that at the beginning of a project time-investment is needed, mostly to create content with the authoring tool. SOWISO can help in this process. We always provide a workshop to train the authors and are available for functional support. In some cases, SOWISO can actually create the content for the institution, we have the right resources available. After this process, no minimal number FTEs is needed for use of the product. Of course, at least one teacher should use the platform in his or her classes. Apart from the yearly license fee (which includes technical support) specific customization wishes, for example integration with existing software systems or specific functionalities which have to be created, we charge a daily consulting fee. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? As an innovative company with strong co-operation with many players in the educational market, we are constantly up-to-date with current demands and desires for future developments. Personal attention is a proven concept in education. Our platform provides this attention on two levels. First, because of the intelligent feedback that is provided to the student. Second, because of the extensive and detailed progress reports, the teacher can adapt his or her teaching towards the students needs. Apart from this, we believe in a class-room future in which testing is not a precondition for establishing a student s level of knowledge. An intelligent system which constantly monitors progress on all types of dimensions, and which can present the student in an adaptive way with the most suited content, is able to define at which point the student has reached the desired end-level. 1 These are the 2013, exclusive VAT prices 29

30 Concerning updates, we work with major and minor releases that are periodically released. All upgrades are backward compatible, so that developed content will always be supported. 30

31 STUDENT ACTIVITY METER Firmanaam: KU Leuven Contactpersoon: Sten Govaerts, Website: FUNCTIONALITEIT Beoogde gebruikers: Students and teachers Zo kan de Student Activity Meter worden gebruikt: The Student Activity Meter visualizes time spent and resource use of students to enable awareness for students and teachers and provides a mechanism for self-reflection for students. Three different visualisations are available. One visualization shows the time spent of all students over the period of the course, enabling students and teachers to see when students were most active, when they were idle and what they were doing. This visualization can for instance be used by teachers to detect dropouts early or it can be used for students to see if they are spending the expected amount of time on the course. Another visualization, namely Parallel Coordinates, provides more details on resource use and time spent. But other metrics can be added depending on the course. For instance, if a computer programming course is tracking the use of the programming tools than usage of these tools could help teachers better understand whether students have mastered the concepts taught in the course. A third visualization displays the distribution of various metrics tracked in the course. If a student identifies herself to the Student Activity Meter than his information is highlighted in green to enable better comparison. The metrics of students can be compared against minimum, maximum and averages, enabling students and teachers to get an overview. 31

32 Welke data wordt gebruikt en gegenereerd? The Student Activity Meter uses user tracking data from various platforms. For better performance, the Student Activity Meter uses a preprocessing step that collects the data and calculates metrics. We have provided scripts for various data sources, e.g. Contextualised Attention Metadata (CAM) and Moodle ( The scripts take basic log records (e.g. timestamp, user info, action, resource, etc.) in various formats and calculate the metrics (such as time spent) and user info used by the Student Activity Meter. The kind of metrics on resource use will depend on the data tracked by the learning environment. The Student Activity Meter easily allows the use of different metrics as the visualizations will dynamically update based on the data provided. The preprocessing scripts are open source and freely available. They can be extended to make use of other user tracking formats. Wie is eigenaar van de data? The data used by the preprocessing scripts is owned by the owner of the tracked data. The owner has full control over the data and can decide where he applies the Student Activity Meter. Hoe vrij beschikbaar en transporteerbaar is de data? The data format generated by the preprocessing step and used by the Student Activity Meter is a simple JSON format that can be easily extended if needed. The JSON data is structured per course and can be just copied to another web server to be used by another installation of the Student Activity Meter. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? The Student Activity Meter has been evaluated in 4 real-world settings: (1) a computer science course at KULeuven, (2) an agroforestry course at CGIAR ( (3) a MOOC on learning analytics and (4) a computer science course at the Carlos III University of Madrid. The main results were that the Student Activity Meter was perceived as useful by teachers and students. From these evaluations we have also discovered that the Student Activity Meter can be used in many different situations beyond what the original developers would have foreseen. 32

33 The Student Activity Meter was also integrated by SURF to assess learning analytics in an internal project. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? The Student Activity Meter consists of a flash application that reads a set of data files. The data files contain preprocessed student data to enable faster performance and scalability. Scripts to generate these files exist for a few learning management systems, such as Moodle, but the data format can be easily used to preprocess the data of your favourite LMS. The Flash application of the Student Activity Meter is easily installed by just copying a directory to a web server. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? The Student Activity Meter is available under open source license and is free. TOEKOMSTIG GEBRUIK In welke mate is het product future proof? Currently we are not actively extending the Student Activity Meter. But as mentioned before, the source code of the Student Activity Meter is available open source and free. Thus developers can extend the Student Activity Meter if needed. Furthermore, the Student Activity Meter can be extended without any implementation by adding new metrics to the JSON files, which will be automatically shown in the visualisations. 33

34 INZICHT IN ZICHT Firmanaam: UP learning (voorheen Stoas Learning & Educus) Contactpersonen: Marc Swanenberg, , David Bezemer, , Adres: Business & Science Park, Agro Business Park 82, 6708 PW Wageningen Website: FUNCTIONALITEIT Op wie richten wij onze diensten: Wij ons op een combinatie van het primaire- en secundaire onderwijsproces. Onze diensten zijn gericht op alle betrokkenen bij het leerproces van de student. Of dit nu management informatie is om de organisatie te sturen, of informatie om de student direct te begeleiden, bij alle informatie staat de student centraal. Zo kan UP learning worden gebruikt: UP learning steekt in op de ondersteunende kant van Learning Analytics. In plaats van zelf uitgebreide tooling te ontwikkelen, volgt eerst een gesprek met de gebruiker en klant om de analytics behoefte vast te stellen. Daarna brengt UP de bestaande systemen in kaart. Ook stelt UP vast welke gegevens nodig zijn om tot de benodigde data te komen. Er zijn diverse rapportage mogelijkheden; van statische rapporten tot dynamische dashboards en van heat maps tot real-time indicatoren. UP maakt zo veel mogelijk gebruik van data en tools die al aanwezig zijn binnen de organisatie, of dat nu ons SIS (EduArte of Alluris) is, of dat Blackboard of Moodle is, of zelfs systemen die niet door ons geleverd of ondersteund worden. Bestaande data heeft altijd onze voorkeur. Of het nu Business Objects, Microsoft Business Intelligence of Cognos is. Van deze data maakt UP vervolgens informatie die aansluit bij de informatiebehoefte van de gebruiker. Zo veel mogelijk vanuit de bestaande techniek. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? 34

35 UP biedt sinds 1997 oplossingen op het gebied van didactiek, online leren en SIS. Dit doet UP in de zakelijke markt onder andere bij KLM, Shell, Belastingdienst en Achmea, en binnen het onderwijs bij de Open Universiteit, Universiteit van Amsterdam, ROC Albeda, ROC Zeeland (Scalda) en nog een 30-tal andere ROC s. In totaal werkt UP voor meer dan drie miljoen lerenden! Hiernaast bestaan er diverse partnerships met partijen die op grotere schaal (Learning) Analytics inzetten binnen organisaties en onderwijsinstellingen, waarbij UP de expertise inbrengt. Dit zijn onder andere Macaw ( Topicus en Sogeti. INFRASTRUCTUUR EN ARCHITECTUUR Binnen welke infrastructuur/architectuur kan het product functioneren? Omdat UP voor Learning Analytics geen softwarepakket van de plank levert, maken wij zoveel mogelijk gebruik van de bestaande infrastructuur en architectuur. Dit is onafhankelijk van de gekozen systemen, of dit nu SaaS in één van de eigen beveiligde datacentra of op locatie bij de klant of leverancier is. Door deze platformonafhankelijke werkwijze, onafhankelijk van derden, komt UP samen met de klant tot een solide oplossing binnen bestaande IT ecosystemen. FINANCIEEL Wat zijn de directe en indirecte kosten van het product? Omdat het gaat om dienstverlening op maat, worden de kosten in samenspraak met de klant bepaald. Afhankelijk van het budget wordt samen met de klant gekozen voor de oplossingen die zowel bij de vraag als bij het budget het beste past. De kosten zullen (vrijwel) altijd bestaan uit de volgende componenten: data-warehouse (software) data analyse (software) implementatie en begeleiding (consultancy) 35

36 TOEKOMSTIG GEBRUIK In welke mate is de dienstverlening future proof? UP blijft ook op het gebied van Learning Analytics werken met een vast portfolio producten, diensten en partners. Centrale gedachte daarbij is dat Learning Analytics gestuurd en geïnitieerd moet worden vanuit een vraag of probleem, en niet vanuit de technologie. Deze visie wordt blijvend ondersteund met marktonderzoeken, publicaties, didactische modellen en vrijblijvend advies. Visie op ontwikkeling product / learning analytics: Meer doen met bestaande data, in plaats van meer data verzamelen, is voor UP de actualiteit, en ook de toekomst. Daarbij is de verwachting dat met bestaande (historische) data steeds accurater kan worden voorspeld, in plaats van achteraf te rapporteren. Strategische interventies zullen in toenemende mate data-driven genomen worden, hierbij stijgen de kwaliteit en het overzicht van de effectiviteit van interventies. In alle gevallen blijft de student centraal staan. 36

37 BUSINESS INTELLIGENCE DEVELOPMENT FRAMEWORK Firmanaam: Valid B.V. Contactpersoon: Boris Corvers, Adres: Flight Forum 565, 5657 DR Eindhoven Website: FUNCTIONALITEIT Beoogde gebruikers: Afdelingshoofden, Managers Bedrijfsvoering, Managers Finance, Managers HRM, Managers Marketing & Communicatie, Student Informatie Zaken, IT & Informatie Managers. Zo kan het Business Intelligence Development Framework worden gebruikt: Valid benadert Business Intelligence & Learning Analytics zowel vanuit business als technologisch perspectief. Aan de businesszijde beoordelen we hoe u uw organisatie informatie consolideert, analyseert en distribueert. Daarbij leggen we vast wie wanneer welke informatie nodig heeft voor strategische, tactische en operationele beslissingen. In de eerste fase van onze dienstverlening worden vooral de behoeftes geanalyseerd. De ervaring leert dat het credo think big, act small het beste werkt voor Business Intelligencetrajecten. In kleine stappen wordt toegewerkt naar de wenselijke situatie. Geheel afhankelijk van uw huidige situatie wordt gestart met een pilot om de toegevoegde waarde en de kracht van de werkwijze aan te tonen. Stapsgewijs kan de BI & Learning Analytics succesvol in de organisatie worden uitgerold. Met de voor u belangrijkste databronnen (zoals SIS, ELO, DLWO, DUO, etc) en rapportages en dashboards op het gebied van bijvoorbeeld inschrijvingen, switch gedrag, uitschrijvingen, studie voortgang, diploma rendementen en onderwijs kwaliteitscontrole. Het Business Intelligence Development Framework van Valid bestaat uit een bewezen architectuur en Microsoft technologieën die zorg dragen voor de informatieverwerking en rapportages. Door het business- en techniekperspectief te combineren kunnen we samen met u een geïntegreerde Business Intelligence oplossing realiseren. 37

38 Diensten die Valid in dit kader levert zijn: - Consultancy - Development - ETL werkzaamheden - Testen - Projectmanagement Welke data wordt gebruikt en gegenereerd? De belangrijkste databronnen zijn de systemen die het primaire proces bewaken, zoals een SIS, ELO, DLWO, maar ook bronnen als DUO en NSE. Daarnaast kunnen ook bijvoorbeeld financiële en HRM systemen als bron worden gebruikt. Deze combinatie van bronnen voorziet de organisatie van rapportages, dashboards, scorecards, kubussen en vrij te gebruiken Excel sheets op het gebied van bijvoorbeeld inschrijvingen, switch gedrag, uitschrijvingen, studie voortgang, diploma rendementen en onderwijs kwaliteitscontrole. Wie is eigenaar van de data? De onderwijsinstelling blijft altijd de eigenaar van de data en de ICT afdeling faciliteert normaliter een omgeving voor data opslag. Valid kan ook voorzien in storage en hosting indien wenselijk. Hoe vrij beschikbaar en transporteerbaar is de data? 38

39 Data zijn zo vrij beschikbaar als de interne organisatie het toelaat. Er worden vooraf afspraken gemaakt over hoe toegang en autorisatie in te regelen. Daarnaast wordt natuurlijk aansluiting gezocht bij de wensen op het gebied van security en encryptie. TRACK RECORD Wat is het track record van het product in een (Nederlandse) onderwijsomgeving? Oplossingen van Valid worden gebruikt door o.a.: Technische Universiteit Eindhoven, Universiteit Maastricht, Fontys Hogescholen, Hogeschool Zuyd, Arcus College en ROC Midden Nederland. 39