Eindrapportage Vak voor Vak een Learning Analytics dashboard Penvoerende instelling: LIACS, Universiteit Leiden Partner instellingen: ICLON, CWTS (Universiteit Leiden) Datum: 5-10-2012 Auteur: Dr. Arno Knobbe 1
Inhoud 1. Korte Samenvatting... 3 2. Doelstelling en Aanpak... 3 3. Kostenoverzicht... 4 4. Resultaten... 4 5. Conclusies en Geleerde lessen... 6 6. Continuering... 6 7. Overige opmerkingen... 6 www.creativecommons.org/licenses/by/3.0/nl 2
1. Korte Samenvatting Door middel van dit project beoogden de deelnemende instituten een prototype te ontwikkelen van een Learning Analytics dashboard, gericht op vakken binnen een opleiding vanuit het perspectief van door studenten behaalde cijfers, en vakevaluaties door studenten. De beoogde gebruikers van dit dashboard zijn de onderwijsmanagers en curriculumplanners van de individuele opleidingen. Door middel van het LA dashboard is het mogelijk om op een visuele en relatief eenvoudige wijze inzicht te krijgen in een aantal belangrijke parameters betreffende de opleiding en de samenhang tussen die parameters. Bovendien is het dashboard historisch, zodat ook de ontwikkeling in de tijd van de gekozen parameters en verbanden kan worden weergegeven. Het dashboard is geïmplementeerd als web-applicatie, in PHP en MySQL, en werkt voor de vakgegevens van de Bacheloropleiding Informatica van de Universiteit Leiden, over de afgelopen 5 jaar. In dit project werken drie specifieke expertises nauw samen: data mining expertise van het LIACS, de expertise op het gebied van het vaststellen van en rekenen met indicatoren in universitaire settings van het CWTS en de expertise van het ICLON op onderwijskundig gebied en op het gebied van 'quality assurance' kwesties in het onderwijs. Figuur 1. Screenshot van het LA dashboard 2. Doelstelling en Aanpak De doelstelling van het project is de mogelijkheden te onderzoeken van een LA dashboard voor het verkrijgen van inzicht in een opleiding. Een LA dashboard is een interactieve compacte visualisatie op een beeldscherm van studentdata (opgeslagen in de universitaire ICT systemen) op opleidingsniveau. Het dashboard visualiseert studentdata per onderwijsonderdeel, laat de relaties tussen de onderwijsonderdelen zien en geeft waarden van indicatoren per vak en per opleiding. Het project is relatief klein en daarom is gekozen binnen het project voor een afbakening van de doelgroep en de onderliggende data die beschouwd wordt: de beschouwde data is door Bachelor studenten behaalde cijfers (tentamens, tussentoetsen, werkcolleges, practica) en vakevaluaties door studenten (door ICLON afgenomen vragenlijsten bij studenten over elk vak/docent), over een periode van vijf jaar. Testomgeving was de Bacheloropleiding Informatica in Leiden. De doelgroep van het dashboard binnen dit project is het personeel betrokken bij de opleiding. Daarbij moet vooral gedacht worden aan de onderwijsmanager en studieadviseur, en eventueel individuele docenten. De onderwijsmanager zal de data vooral bekijken vanuit het perspectief van docentperformance en samenhang van het 3
totale studieaanbod, terwijl de studieadviseur het dashboard kan bekijken om inzicht te verkrijgen in verschillende vormen van studieverloop om daaruit individuele studenten te adviseren. Docenten zullen het dashboard vooral gebruiken om de beoordeling van het gegeven vak te bekijken in de context van andere vakken, en inzicht te verkrijgen in de relaties tussen de vakken. Door de toegang van het dashboard te beperken tot het personeel van de opleiding, worden privacyproblemen voorkomen: de data zijn al beschikbaar voor deze doelgroep. Het dashboard is slechts een herinterpretatie van de bestaande data. Het dashboard is een informatiehulpmiddel in de evaluatie van de opleiding en helpt in het kwaliteitsbewakingproces. De doelgroep krijgt door een het dashboard een beter inzicht in de opleiding. 3. Kostenoverzicht Begroting zoals in projectvoorstel Gerealiseerde projectkosten In rapportage Restant begroting (A) periode (B) (A)-(B) Totaal materiele kosten 0 0 0 Personele kosten WP Ontwerp 3,750 3,750 0 WP Prototype 4,500 5,500-1000 WP Toepassen 3,750 2,750 1000 WP Evaluatie 2,625 2,625 0 Totaal personele kosten 14,625 14,625 0 Totaal overige kosten 0 0 0 Totaal projectkosten 14,625 14,625 0 OVER TE MAKEN OP REKENINGNUMMER: IBAN NL78RABO0102468869 SAP nummer 2006008007 4. Resultaten In het VvV dashboard komen gegevens samen van de studieresultaten, alsook de vakevaluaties over het vak en de docent. In dit project zijn deze twee bronnen geïdentificeerd, en is er uit de juiste IT systemen data verzameld in een centrale LA database. In eerste instantie is gekeken naar de opleiding Informatica van het LIACS (onderdeel Bachelor), wat data over zo n 30 vakken verspreid over 3 jaar omvat. Voor de studieresultaten is er gebruikt gemaakt van informatie uit usis, die door het LIACS zelfstandig geëxporteerd is naar de centrale database. Door het ICLON is relevante data over de vakevaluaties van deze opleiding verzameld. Deze data is geëxporteerd uit het systeem Evasys. Evasys is de survey automation suite waarmee de Universiteit Leiden onder meer de vakevaluaties van haar opleidingen uitvoert. Het beheer ligt bij het ICLON, afdeling Hoger Onderwijs, de eenheid die op wens de faculteiten ondersteunt bij de uitvoering van hun onderwijs. De opleidingen, geven de evaluatieservice van het ICLON-HO opdracht tot het uitvoeren van evaluaties op basis van vragenlijsten die door de opleiding/faculteit in samenwerking met ICLON-HO worden ontwikkeld en geïmplementeerd. De verzamelde gegevens en achtergronden zijn beschikbaar gesteld aan het CWTS, waar gewerkt is aan het definiëren van enkele indicatoren voor studievoortgang en studiekwaliteit die in het dashboard voorkomen. Aan het LIACS is gewerkt aan een prototype dashboard, dat een hoogniveau blik op de LA data verschaft, en op die manier een toegankelijk beeld vormt van de opleiding, geschikt voor de beoogde eindgebruikers. Het hoofdscherm toont de verschillende vakken binnen de opleiding, geordend naar jaar van de opleiding (1, 2, 3). Voor elk vak wordt er getoond hoeveel studenten er deelnamen (voor het getoonde jaar), hoe de gemiddelde evaluatie van het vak/docent was, en wat het gemiddelde tentamencijfer was. Omdat de evaluatie van een vak is opgebouwd uit een aantal factoren, is ervoor gekozen om deze (vijf) factoren door middel van een kleurcodering te tonen naast de key performance indicators. Lichtgroen geeft aan dat alles in orde is, terwijl donkerdere tinten aangeven dat er een 4
lagere beoordeling gegeven wordt. Door de kleurcodering kan de gebruiker in één oogopslag de vakken identificeren waar mogelijk in detail naar gekeken moet worden. Vanuit het hoofdscherm kan doorgeklikt worden naar de gedetailleerde gegevens per vak, bijvoorbeeld als ontwikkeling door de tijd. Bij de evaluaties worden de gemiddelde scores per factor weergegeven, en is het eventueel mogelijk om van individuele factoren een vergelijking te maken met alle overige vakken. Voor de tentamencijfers worden de gemiddelde cijfers getoond, plus minima en maxima, om een idee van de spreiding te krijgen. Door op de balk van een individueel jaar te klikken, wordt een histogram van de behaalde cijfers getoond, zodat de exacte verdeling te zien is. Merk op dat individuele resultaten nooit te zien zijn, alleen maar anonieme, geaggregeerde resultaten. Figuur 2 Twee schermen met detailgegevens van een gekozen vak (Data Mining). Deze schermen geven de beoordeling van het vak weer. Vergelijkbare schermen bestaan voor de tentamenresultaten. Het dashboard blijkt een interessant tool te zijn voor mensen die betrokken zijn bij het management van onderwijs. Er was veel vraag naar informatie over het project: Demonstraties: Walter Kosters, voorzitter onderwijscommissie Informatica Judith Havelaar, studiecoordinator Informatica Riet Derogee, studiecoordinator Informatica Eric van Hoof, Blackboard Coordinator, Universiteit Leiden Thomas Bäck, onderwijsdirecteur LIACS Presentaties + demo Studiemiddag Learning Analytics, Nederlandse Vereniging voor Medisch Onderwijs Blogs First experiments with Learning Analytics https://www.surfspace.nl/artikel/870- first-experiments-with-learning-analytics/ Taking Learning Analytics one step further wrap-up 5
5. Conclusies en Geleerde lessen Over het algemeen is het Vak voor Vak soepel verlopen. Bij het verzamelen van de data ging het om twee potentiële bronnen. Ten eerste zijn de gegevens van de evaluaties verzameld door het ICLON, wat relatief eenvoudig verliep, hoewel er wel beperkte gaten in de data bleken te bestaan. Daarnaast zijn de tentamenresultaten vergaard uit de usis applicatie. Dit bleek redelijk omslachtig, zowel wat betreft het verkrijgen van toegang tot de usis data, als wat betreft het verkrijgen van de juiste gegevens, waarvoor vrij uitgebreid gewerkt moest worden met de query-interface van usis. Uiteindelijk is de verzamelde data samengebracht in een enkele relationele database, die onderdeel vormt van de VvV applicatie. Hoewel er aanvankelijk slechts een prototype applicatie, of zelfs een mock-up in powerpoint of als video gepland was, bleek het toch mogelijk om in de beperkte tijd een volwaardige applicatie te ontwikkelen. Ondanks de beperkte huidige scope (alleen de Bacheloropleiding Informatica), blijkt de applicatie volledig aan zijn verwachtingen te voldoen, en er is dus niet echt meer sprake van een prototype. Op dit vlak heeft het project meer opgeleverd dan toegezegd. Het zal duidelijk zijn dat de VvV applicatie met veel interesse ontvangen is, zowel binnen het LIACS, als universiteitsbreed. Het blijkt dat de software voldoet aan een lang bestaande behoefte bij de onderwijsdirecteur. Tijdens de eerste tests en demonstraties leverde de tool al inzichten die ondanks de grote ervaring bij de betrokkenen niet bekend was. Hoewel deze inzichten gebaseerd zijn op data die in principe voor alle partijen beschikbaar is, blijkt het verzamelen van de complete informatie, en het geïntegreerd presenteren daarvan al een hele waardevolle toevoeging. Indien managers geïnteresseerd zijn in specifieke details over vakken, studenten of docenten, kan de bestaande interface voor usis gebruikt worden, maar dit is duidelijk omslachtig, en biedt geen overzicht of een totaalplaatje. De VvV applicatie richt zich juist op deze behoefte. 6. Continuering Gezien het succes, en een lopend tweede LA project, zal het onderwerp in de toekomst zeker blijven spelen. Het dashboard zal binnen het LIACS gebruikt blijven worden voor onderwijsmanagement, en mogelijk uitgebreid worden richting andere opleiding binnen de Universiteit Leiden. Hier is al eerste interesse voor getoond. Het dashboard zal mogelijk ook tijdens een geplande visitatie gebruikt worden als demonstrator. Mogelijk zal het dashboardidee uitgebreid worden naar een managementinformatie-dashboard voor het gebruik van Blackboard binnen de universiteit. Voor toekomstige ontwikkelingen of informatie kan Dr. Arno Knobbe (LIACS, knobbe@liacs.nl) benaderd worden. Het Vak voor Vak project zal gepresenteerd worden tijdens de Onderwijsdagen, op 13-15 november 2012. 7. Overige opmerkingen Zowel aan de usis- als Evasys-kant blijkt dat de opgeslagen data op zich wel zinvol is, maar niet 100% compleet voor onze LA-doelen. Voor een deel is dit te verklaren uit het feit dat de applicaties niet altijd primair ontwerpen zijn met analytics in het achterhoofd. Verder blijkt dat data onvolledig kan zijn omdat bijvoorbeeld de evaluaties van vakken ontbreekt, of de evaluatieformulieren niet ingeleverd zijn bij het ICLON door de betreffende docent. Verder is in de usis data niet altijd duidelijk of studenten die deelnemen aan een tentamen maar een onvoldoende halen wel geregistreerd staan. 6