TITEL LEARNING ANALYTICS IN HET HOGER ONDERWIJS RESULTATEN STIMULERINGSREGELING 2013

Transcriptie

1 TITEL LEARNING ANALYTICS IN HET HOGER ONDERWIJS RESULTATEN STIMULERINGSREGELING 2013

2 2 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 INHOUDSOPGAVE Samenvatting 3 Studiesucces verhogen met learning analytics 3 Resultaten en conclusies 4 Aanbevelingen 9 Opzet van de projecten 11 De projecten 12

3 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling SAMENVATTING Learning analytics is in potentie een waardevol instrument om de kwaliteit van het onderwijsaanbod en de begeleiding van studenten te verhogen, blijkt uit de negen projecten die het hoger onderwijs met subsidie van SURF in het studiejaar uitvoerde. Zo kan bijvoorbeeld op basis van data in leer- en toetsomgevingen worden geanalyseerd welke variabelen met betrekking tot studiegedrag de belangrijkste voorspellers zijn van studiesucces. Ook kan met learning analytics tijdig worden gesignaleerd dat studenten risico lopen op uitval, en kunnen didactiek en begeleiding worden afgestemd op de persoonlijke oriëntatie van studenten. Projecten van één jaar zijn echter te kort om op basis van de bevindingen interventies uit te voeren en het effect daarvan te onderzoeken. Wat is learning analytics? In het hoger onderwijs worden in elektronische leer- en toetsomgevingen, maar ook op Twitter en Facebook en in blogs en discussiefora enorme hoeveelheden data gegenereerd. De analyse van deze gegevens kan hogescholen en universiteiten inzicht geven in het studiegedrag van studenten, de kwaliteit van het gebruikte onderwijsmateriaal, het gebruik van de digitale leer- en werkomgeving, de kwaliteit van toetsitems en de studievoortgang. STUDIESUCCES VERHOGEN MET LEARNING ANALYTICS De stimuleringsregeling Learning Analytics 2013 had als doel inzicht te krijgen in de vraag hoe het gebruik van learning analytics studiesucces kan verhogen. Universiteiten en hogescholen verkenden in negen projecten of analyse van studentdata een antwoord kan geven op onderwijskundige vragen van docenten, studenten, onderwijsmanagers en studiecoördinatoren, zoals: Hoe kan learning analytics helpen de interactie tussen student en docent te verbeteren? Hoe kan learning analytics helpen tijdig te signaleren dat studenten risico lopen, zodat daarop adequaat kan worden gereageerd? Hoe kan learning analytics docenten helpen in een cursus of opleiding te achterhalen welke onderwerpen studenten als lastig ervaren? Hoe kan learning analytics helpen studenten cursusmateriaal aan te bieden dat past bij hun individuele leerstijl? Hoe kan learning analytics helpen studenten een optimale en efficiënte route door het curriculum te kiezen? De stimuleringsregeling Learning Analytics 2013 De stimuleringsregeling Learning Analytics 2013 maakte onderdeel uit van de innovatieregeling Learning Analytics De projecten liepen van 1 juni 2013 tot 1 juni In totaal is euro toegekend. Een vergelijkbare regeling in 2012 subsidieerde zeven pilotprojecten met euro. Daaruit bleek dat meer aandacht nodig was voor kwaliteit van data, zorgvuldige interpretatie van data-analyses, expertisebundeling en juridische en ethische aspecten.

4 4 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 RESULTATEN EN CONCLUSIES Naar aanleiding van de negen projecten kan worden geconcludeerd dat learning analytics een waardevol instrument kan zijn om de kwaliteit van het onderwijsaanbod en de begeleiding van studenten te verhogen. Op basis van data in leer- en toetsomgevingen is bijvoorbeeld met succes geanalyseerd welke variabelen met betrekking tot studiegedrag de belangrijkste voorspellers zijn van studiesucces. Ook is gebleken dat het mogelijk is tijdig te signaleren dat studenten risico lopen op uitval en dat didactiek en begeleiding kan worden afgestemd op de persoonlijke oriëntatie van studenten. Het kostte een aantal projecten echter zoveel moeite data te verzamelen en te analyseren, dat voor het uitvoeren van interventies en het evalueren van de effecten daarvan te weinig tijd was. Kans op uitval tijdig signaleren Ongeveer de helft van de projecten onderzocht het vraagstuk van voorspelbaarheid van studiesucces. Daaruit kwam naar voren dat de voorgeschiedenis van studenten - met name vwo-cijfers - in combinatie met informatie over achtergrond, doelen en studiehouding een hoge correlatie vertoont met studiesucces. Ook de mate waarin studenten online activiteit vertonen is een goede voorspeller. Het project van de Hanzehogeschool laat zien dat het mogelijk is al na vier weken van het eerste studiejaar een groep studenten te isoleren die een groot risico loopt om uit te vallen. De technische proof of principle van de Universiteit Leiden toont aan dat met data mining de voorspellende variabelen voor studiesucces statistisch kunnen worden afgeleid uit de voetstappen van studenten in Blackboard. Uit het project van de Universiteit Maastricht blijkt dat de combinatie van instroomtoetsing, trackdata uit e-tutorials en leerdisposities vrijwel dezelfde voorspelkracht van studiesucces biedt als formatieve toetsing. De combinatie heeft echter als groot voordeel dat deze al snel na de start van een lesperiode beschikbaar zijn, zodat interventie eerder mogelijk is. Ook door studenten in te delen in studenttypen op basis van motivaties en drijfveren kan een verhoogde kans op uitval gelijk aan het begin van het studiejaar worden gesignaleerd, laat het project van de Hogeschool Utrecht zien. De profielen van de studenttypen (wensen en behoeften, sterke en zwakke punten) bieden handvatten voor een vraaggestuurde aanpak van didactiek en begeleiding, zodat ieders studeren optimaal kan worden ondersteund. Feedbacktools voor studenten In de projecten is geëxperimenteerd met leerfeedback, hetzij voor studenten, hetzij voor docenten en/of studieloopbaanbegeleiders. Bij gebruik van het dashboard dat de Universiteit van Amsterdam ontwikkelde voor studenten om hun studiegedrag te monitoren en te vergelijken met dat van andere studenten werden echter geen significante verschillen gevonden in studiesucces (tentamenresultaten) tussen de experimentele en de controlegroep. Geneeskundestudenten van het UMC Utrecht hebben positieve verwachtingen over de leerfeedbacktools die werden ontwikkeld als aanvulling op het daar gebruikte toetsprogramma op het gebied van radiologische beeldinterpretatie. Een dashboard van de Technische Universiteit Eindhoven met verschillende visualisaties van de hoeveelheid tijd die studenten besteden aan verschillende activiteiten en de daarmee gepaard gaande emoties bleek minder nuttig voor het verkrijgen van inzicht in het eigen leergedrag.

5 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling Feedbacktools voor docenten en studieloopbaanbegeleiders Op het gebied van feedback voor docenten concludeert de Hogeschool Utrecht dat het onderscheiden van vier studenttypen die variëren in werkhouding en zelfstandigheid mogelijkheden biedt om het studierendement van de verschillende studenttypen te bepalen en als feedback te geven aan docenten. Die leren de verschillen tussen studenten te zien en de studenttypen in de klas te herkennen, waardoor ze in kunnen spelen op hun wensen en behoeften en sterke en zwakke kanten. Door studenttypen in de tijd te volgen kunnen ze interventies of het reguliere programma evalueren. Het instrument voor analyse van de kwaliteit van toetsen en toetstaken, en interventies zoals coaching en training, hebben de bekwaamheid van docenten van de lerarenopleiding van de Hogeschool van Arnhem en Nijmegen verhoogd op gebied van het analyseren en interpreteren van toetsdata en het construeren van toetsitems en tentamens. Met behulp van de resultaten van de analyses van Blackboard-data over elektronisch studiegedrag (Universiteit Leiden) kunnen docenten de kwaliteit van hun vak verbeteren. Vroege identificatie van potentiële studiestoppers op basis van hun studiegedrag - zoals onderzocht door de Hanzehogeschool - biedt studieloopbaanbegeleiders de mogelijkheid eerder in te grijpen. Datavisualisatie Op verschillende manieren is geëxperimenteerd met het visualiseren van data afkomstig van leeromgevingen of van studenten zelf. Het dashboard van de Universiteit van Amsterdam toont studenten met behulp van een barcode hoe zij ervoor staan ten opzichte van de rest van de groep. Zij kunnen zien waar andere studenten zich in de leerstof bevinden en krijgen adviezen over het lesmateriaal dat andere studenten goed heeft geholpen. Het UMC Utrecht maakte gebruik van hotspots in radiologiebeelden om te laten zien welke parameters significant bijdragen aan de toetsscore. Uit het project van de Technische Universiteit Eindhoven blijkt dat een vrij eenvoudige tijdlijn die de bestede tijd ten opzichte van de gemiddelde bestede tijd toont het beste wordt beoordeeld. Complexere visualisaties zijn alleen nuttig als studenten hebben geleerd ze te interpreteren (bijvoorbeeld omdat ze een college hebben gevolgd op het gebied van informatievisualisatie, wat hier het geval was). Het dashboard dat de Universiteit van Amsterdam ontwikkelde

6 6 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 Het verzamelen van data blijft lastig De technische en organisatorische obstakels bij het verzamelen van data uit leeromgevingen zijn hoog. Bij sommige projecten heeft het verzamelen en verwerken van data zoveel aandacht gevraagd, dat minder tijd overbleef om te onderzoeken wat deze data precies zeggen en hoe je ze in het onderwijsproces zinvol kunt inzetten. Een goed voorbeeld hiervan is het project van de Hogeschool Utrecht, waar data van studenten is verzameld via vragenlijsten. Bij de eerste poging om studenten de vragenlijsten te laten invullen was de respons te laag om een betrouwbaar segmentatiemodel op te baseren. Daarom zijn een paar maanden later opnieuw vragenlijsten afgenomen, waardoor kostbare projecttijd verloren ging. Om de data uit verschillende leeromgevingen te kunnen combineren in één dashboard, ontwikkelde het project van de Universiteit van Amsterdam een learning record store. Wat zegt klikgedrag over studiesucces? Meerdere projecten onderzochten het klikgedrag van studenten in Blackboard, ervan uitgaande dat een groot aantal kliks samenhangt met een hoog niveau van leeractiviteit. Daar kan echter tegenin worden gebracht dat een groot aantal kliks ook een indicator kan zijn voor inefficiënt leergedrag. Hoewel meer theoretisch onderzoek naar de waarde van klikgedrag dus gewenst is, hebben de projecten die zich met dit onderwerp bezighielden wel degelijk iets opgeleverd. Zo blijkt uit het project van de Hanzehogeschool dat een gebrek aan klikgedrag een belangrijke en vooral ook tijdige voorspeller is van studie-uitval. Ook het project Blackboard Mining van de Universiteit Leiden laat zien dat de voetstappen van studenten in de Blackboard-database inzicht geven in studiegedrag. Bij de Universiteit Maastricht was het voorspellend vermogen van gegevens uit Blackboard op studiesucces daarentegen heel gering, vergeleken met hun e-tutorial trackdata (voor e-tutorials wordt een ander systeem gebruikt). Ook de Universiteit Utrecht concludeert dat klikgedrag weinig extra voorspellende waarde heeft als deze informatie aanvullend wordt gebruikt op wat al voor aanvang van de studie over studenten bekend is (zoals vwo-eindexamencijfers en geslacht). Ervaringen met Blackboard Voor veel instellingen bevinden de rijkste data zich in de Blackboard-database, maar het verzamelen van deze data is erg bewerkelijk. Het project van de Universiteit Utrecht liep flink vertraging op waardoor het project minder data kon analyseren dan gepland. Zo kwamen data uit Blackboard later of helemaal niet binnen doordat er rare en incomplete datasets werden gegenereerd, die bovendien zo groot waren dat server-time-outs optraden. Dataverzameling met de huidige Blackboard-tools, zoals de standaardrapportages, is zo bewerkelijk dat ze eigenlijk niet geschikt zijn voor inzet in de praktijk. Daarnaast zijn de Blackboard-tools teveel gericht op de Amerikaanse situatie; ze geven bijvoorbeeld wel informatie per cursus, maar niet over cursussen heen waardoor vergelijken lastig is. De Universiteit Leiden koos ervoor in tegenstelling tot de Universiteit Utrecht de data rechtstreeks uit de Blackboard-database te halen en daarna te bewerken zodat statistische analyses mogelijk werden. De Universiteit Maastricht concludeert dat de huidige functionaliteit van de standaardrapportages in Blackboard onwerkbaar is voor formatieve toetsing en het genereren van leerfeedback. Dat ligt niet aan de beschikbare toetsopties en rapportagemogelijkheden, maar komt doordat het niet mogelijk is snel specifieke feedback te geven (de essentie van formatieve toetsing). Een organisatorisch probleem is dat Blackboard-beheerders vooral gericht zijn op operationeel gebruik van de leeromgeving in de dagelijkse praktijk, en niet zijn ingesteld op het bewaren van voor learning analytics belangrijke historische data.

7 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling Ethische en privacy-aspecten Bij projecten op het gebied van learning analytics moeten docenten en studenten goed worden geïnformeerd over het doel van het verzamelen van gegevens via vragenlijsten of uit andere bronnen, en hoe er wordt omgegaan met hun privacy. Zij moeten weten waar ze aan meewerken als ze informatie verschaffen. Er moet ook worden nagedacht over het risico op privacyschendingen en het mogelijk misbruik van data voor institutionele doeleinden in plaats van het werkelijk verbeteren van leerresultaat. Daarnaast spelen allerlei ethische aspecten een rol. Is het bijvoorbeeld ethisch verantwoord dat bij onderwijsexperimenten de controlegroep mogelijk slechter presteert dan de experimentele groep, die te maken krijgt met allerlei interventies? En wat zijn de consequenties van het indelen van studenten in studenttypes, zoals gebeurde in het project van de Hogeschool Utrecht? Omdat studenten daar anoniem bleven (docenten kregen alleen te horen welke studenttypen er konden worden afgeleid, niet welke studenten bij welk type horen) speelde het privacyprobleem hier overigens geen rol. Nadeel van anonieme verwerking is wel, zeggen de onderzoekers, dat je de ontwikkeling van het studierendement van een individuele student niet kunt volgen door in de tijd; dat kan alleen per studenttype. Ook de Hanzehogeschool verwerkte in haar project de gegevens van klikgedrag in Blackboard anoniem. Dat heeft als bezwaar dat een studieloopbaanbegeleider deze niet kan gebruiken in een gesprek met de student (als dat al zou mogen). Mate van maturity Een aantal projecten laat zien dat learning analytics en het genereren van leerfeedback vooral zinvol is als een instelling al ervaring heeft opgedaan met online of blended onderwijs. Dat lijkt met name het geval in de exacte disciplines, waar de opbouw van de cursus sterk hiërarchisch gestructureerd is, zoals onder meer blijkt uit het project van de Universiteit Maastricht. Learning analytics versus educational data mining Het gebruik van data om interventies te plegen in het leerproces (learning analytics) is iets anders dan het analyseren van data op zoek naar betekenisvolle patronen (educational data mining). In het eerste geval moet van tevoren worden nagedacht over welke data voor interventies interessant en nodig zijn, in het tweede geval laat je je verrassen. Dat kan natuurlijk leiden tot interessante resultaten, maar de kans is groter dat er alleen maar patronen worden gevonden die al bekend waren. Zo vond het project Blackboard Mining (Universiteit Leiden) dat meer activiteit in Blackboard het studiesucces verhoogt, en dat studenten vooral aan het begin en het eind van een collegereeks actief zijn. Inbedding projectresultaten in de instelling en vervolgonderzoek De meeste projecten werden uitgevoerd in het kader van lopend onderzoek of activiteiten op het gebied van onderwijsvernieuwing. Dat is gunstig, omdat onderzoekers voor het specifieke project bij bestaande ontwikkelingen kunnen aanhaken en er minder technologische uitdagingen of andere problemen zijn bij het verzamelen van data. Bovendien is de kans dan groter dat er in de instelling wat met de resultaten gebeurt. Zo is het project van de Universiteit Maastricht ingebed in langlopend onderwijskundig vernieuwingsbeleid en -onderzoek, en komt er een vervolg op het project. De Universiteit van Amsterdam heeft plannen om het dashboard komend jaar verder in het onderwijs in te zetten en het gebruik op te schalen. De Hogeschool Utrecht wil verder met het segmentatiemodel voor het verhogen van studiesucces.

8 8 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 Commitment management Bij de Hanzehogeschool was het College van Bestuur op de hoogte van het project evenals de managementteams van de zes betrokken opleidingen. De Hogeschool Utrecht heeft bewust veel energie gestoken in het creëren van draagvlak bij directie, docenten en onderwijskundigen voor het segmentatiemodel en de implicaties en inzichten die het biedt voor onderwijsvernieuwing, managing en profilering. Daardoor is behoefte gecreëerd aan een vervolg: het doorontwikkelen van het model en het plegen en evalueren van interventies. De trainingen voor docenten op het gebied van toetsanalyse die de Hogeschool van Arnhem en Nijmegen ontwikkelde, zijn opgenomen in het professionaliseringsaanbod voor docenten van de lerarenopleiding en worden aangeboden aan docenten van vo-scholen. Raakvlakken Learning analytics heeft raakvlakken met diverse andere programma s en thema s van SURF, zoals: toetsen, denk aan het analyseren van data van toetsitems; open educational resources, zoals het analyseren van het gebruik van leerobjecten; digitale leer- en werkomgeving, bijvoorbeeld het verzamelen en analyseren van data op het gebied van online gebruikersgedrag.

9 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling AANBEVELINGEN Ondanks de korte looptijd en het geringe subsidiebedrag van deze stimuleringsregeling maken de uitgevoerde projecten duidelijk dat learning analytics in potentie een waardevol instrument is om de kwaliteit van onderwijsaanbod en begeleiding te verhogen. Op basis van de opgedane ervaringen zijn de volgende aanbevelingen opgesteld. Aanbevelingen voor de instellingen Zorg dat de datacollectie op orde is Learning analytics heeft alleen nut als de data rijk zijn en essentiële leerprocessen of uitkomsten meten. Daarom is meer onderzoek nodig naar welke data zinvol zijn. Ook moet al bij aanvang van een project bij voorkeur ten tijde van de projectaanvraag worden gekeken naar de uitvoerbaarheid van een project: zijn de data in de aanwezige databronnen daadwerkelijk geschikt voor analyse en kunnen ze tijdig beschikbaar worden gesteld. Ook privacy-issues kunnen de beschikbaarheid van data vertragen of belemmeren. Behoefte aan onderwijskundige theorie Gezien het grote aantal instellingen dat gebruik maakt van Blackboard en op de historische data zinvolle analyses hoopt uit te voeren, is onderzoek naar en onderwijskundige theorie over studiegedrag (handelingen) in elektronische leeromgevingen noodzakelijk. Wat zegt bijvoorbeeld het aantal kliks of de inlogtijd in Blackboard over studiegedrag? Is het ook mogelijk andere activiteiten die studenten uitvoeren in een elektronische leeromgeving en de tijdsduur daarvan zinvol te interpreteren? Doe meer ervaring op in de vorm van onderwijsexperimenten Learning analytics bevindt zich nog in een heel vroeg stadium van toepassingen; het is zinvol nog meer ervaring op te doen. Daarbij moet vooral worden gelet op de onderwijskundige implicaties: projecten moeten de effecten van het gebruik van learning analytics tools in de onderwijspraktijk meten. Daarbij wordt bij voorkeur een trapsgewijze aanpak gehanteerd: eerst de theoretische kwaliteit van een interventie vaststellen (is uit eerder onderzoek bekend of iets werkt en waarom); dan de levensvatbaarheid (is het mogelijk de interventie technisch te realiseren en in te passen in een onderwijsomgeving); vervolgens onderzoeken of de interventie voor docenten praktisch bruikbaar is en gewaardeerd wordt door studenten; en pas daarna aan de slag gaan met een rijpe interventie. Streef naar de ontwikkeling van generieke tools De projecten van deze stimuleringsregeling hebben een aantal tools opgeleverd, die specifiek zijn voor een bepaald vak. Die kunnen in principe wel worden hergebruikt voor hetzelfde vak bij andere universiteiten of hogescholen, maar moeilijker in andere opleidingen of andere onderwerpen binnen dezelfde instelling. Daarom is het aan te raden om projecten uit te voeren die gericht zijn op het opleveren van generiek bruikbare tools. Blackboard: sla de handen ineen Gebaseerd op deze eerste ervaringen met learning analytics op basis van Blackboard-data is meer kennis en ervaring nodig over wat er kan en zinvol is met deze data. Gezien de technische en organisatorische problemen met het extraheren en analyseren van Blackboard-data zouden de instellingen met ondersteuning van SURF de handen ineen moeten slaan om kennis en ervaring uit te wisselen en de ondervonden problemen voor te leggen aan de leverancier.

10 10 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 Aanbevelingen voor SURF Een subsidieprogramma is interessanter dan losse projecten Bij de selectie van deze projecten is ervoor gekozen projecten met min of meer hetzelfde doel (zoals het voorspellen van studiesucces) onafhankelijk van elkaar te laten uitvoeren. Daardoor konden uit de gezamenlijke resultaten leerzame conclusies worden getrokken. Een subsidieprogramma waarbinnen meerdere projecten worden uitgevoerd heeft meerwaarde ten opzichte van projecten die elk een ander thema onderzoeken. Looptijd projecten De ervaringen in deze projecten laten zien dat een jaar te kort is om de hele cyclus van learning analytics te doorlopen en het effect van interventies te beoordelen. Daarvoor is een looptijd van minimaal twee jaar nodig. Kennisverspreiding De bijeenkomsten van de projectleiders zijn hoog gewaardeerd. Maar ook buiten deze kring zou SURF de opgedane ervaringen met learning analytics moeten delen. Achtergrondinformatie SURF en learning analytics Innovatieregeling Learning Analytics 2013 SURFspace learning analytics (o.a. blogs)

11 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling OPZET VAN DE PROJECTEN Per project was een beperkt subsidiebedrag beschikbaar van maximaal De instellingen hebben minimaal 50% van het toegekende subsidiebedrag gematcht. De projecten moesten de hele cyclus van learning analytics doorlopen: 1. formuleren van een concrete vraag in relatie tot studiesucces; 2. verzamelen van data; 3. analyseren daarvan; 4. op basis van de data-analyse interventie(s) uitvoeren; 5. evalueren van het effect daarvan op studiesucces. student interventie data analyse en visualisatie Voor de geselecteerde projecten zijn drie positief gewaardeerde bijeenkomsten georganiseerd: aan het begin, halverwege en bij de afsluiting van de stimuleringsregeling. Projectleden wisselden daar onderling kennis en ervaringen uit. Omdat een aantal projecten aanliep tegen barrières bij het verkrijgen van data uit Blackboard is over dit onderwerp een aparte bijeenkomst georganiseerd.

12 12 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 DE PROJECTEN 1. Learning analytics, formatieve toetsing en leerdisposities Dit Universiteit Maastricht onderzocht de voorspelbaarheid van leerresultaten op basis van drie soorten data: performancedata afkomstig van diagnostische en formatieve toetsen uit e-tutorials wiskunde en statistiek; trackdata uit leermanagementsystemen (de e-tutorials en Blackboard); en leerdisposities (leerkenmerken) van studenten afkomstig van surveys en inschrijfsystemen. Op basis van de gegevens van 1080 studenten in een cursus inleidende wiskunde en statistiek is gekeken naar de voorspelkracht van de verschillende typen data en naar de informatierijkheid daarvan. Voorspelkracht De combinatie van instroomtoetsing, trackdata uit e-tutorials en leerdisposities biedt vrijwel dezelfde voorspelkracht van studiesucces als formatieve toetsing en heeft als groot voordeel dat deze al snel na de start van een achtweekse blokperiode beschikbaar zijn. Daardoor kunnen in een veel vroeger stadium interventies worden uitgevoerd. Formatieve toetsing is weliswaar verreweg de krachtigste voorspeller van cursusuitkomsten, maar die gegevens zijn in Maastricht pas halverwege de cursus beschikbaar. Het voorspellend vermogen van klikgegevens uit Blackboard is heel gering. Op basis van de projectuitkomsten zijn zes (wetenschappelijke) publicaties verschenen, waaronder in Computers in Human Behavior. Opmerkelijk Ik vond het opmerkelijk hoe gering de voorspelbaarheid is van onze Blackboarddata en ook hoe lastig het is die data te gebruiken. Het verzamelen van leerdispositiedata kostte veel inspanning, maar heeft als voordeel dat ze een aantrekkelijker aanknopingspunt bieden voor counseling dan trackdata uit de e-tutorials, omdat docenten of tutoren er meer gerichte feedback mee kunnen geven aan studenten. Projectleider Dirk Tempelaar Resultaten > eindrapportage > blog Learning analytics: toetsing en leerdisposities > 6 publicaties (opgenomen in de eindrapportage) 2. COACH (Constructive Overview Aggregating Comparative Hits) De Universiteit van Amsterdam ontwikkelde een dashboard voor studenten waarmee zij hun studiegedrag kunnen monitoren en zichzelf kunnen vergelijken met andere studenten. Data over het gebruik van digitaal lesmateriaal op het gebied van online toetsgestuurd wiskundeonderwijs is uit verschillende leeromgevingen automatisch en continu verzameld en geanalyseerd in een learning record store (LRS). Met het overkoepelende dashboard zijn experimenten gedaan met 600 studenten biologie en biomedische wetenschappen. Daarbij had een experimentele groep wel toegang tot het dashboard en de controlegroep niet. De studenten kregen op basis van hun leergedrag adviezen over het lesmateriaal dat andere studenten in een vergelijkbare situatie goed heeft geholpen.

13 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling Adequate spiegel Het project heeft laten zien dat het verzamelen van data uit verschillende bronnen in een LRS mogelijk is en dat het studenten een adequate spiegel aanbiedt voor het continu monitoren van het eigen leergedrag ten opzichte van dat van medestudenten. Daarbij is de positie die de student inneemt ten opzichte van medestudenten gevisualiseerd in de vorm van een barcode. Er zijn (nog) geen significante verschillen gevonden in studiesucces (tentamenresultaten) tussen de experimentele en de controlegroep. Waarschijnlijk is dit veroorzaakt doordat de toetsgestuurde cursus erg kort was (drieënhalve week). Snelle implementatie Ik ben er trots op dat we met hulp van student-assistenten binnen twee maanden het dashboard konden implementeren. De studenten waren heel bereid achtergrondinformatie over hun studiehouding te verstrekken en voorafgaand aan de cursus een diagnostische toets te maken. Van de aangeboden opt-out regeling is door niemand gebruik gemaakt. De reacties waren positief. Een van de studenten merkte bijvoorbeeld op: Ik vond de manier van toetsen en de feedback die bij de oefenvragen komt, wel erg fijn. Zo kon je snel dingen weer ophalen en het anderen makkelijker uitleggen. Projectleider André Heck Resultaten > eindrapportage > informatie over het project op kennisplatform UvA > blog Actiever studeren met COACH 3. IMAGE ME Het project IMage interpretations Assessment using logs for Evaluation in Medical Education van UMC Utrecht had als doel de interpretatievaardigheden van medische studenten op het gebied van radiologiebeelden te verbeteren met feedback gebaseerd op learning analytics. De handelingen die studenten met de muis uitvoeren komen uit de logfiles van het toetsprogramma VQuest van UMC Utrecht waarmee studenten summatieve radiologietoetsen maken. 121 studenten kregen op twee manieren feedback. Een filmpje toont hoe de student of naar keuze een expert (radioloog) de beeldinterpretatietaak heeft uitgevoerd. In een zogenaamde heatmap zijn de parameters uit de logfiles weergegeven die significant bijdragen aan de toetsscore. De visualisatietool is geëvalueerd door middel van vragenlijsten (studenten) en interviews (radiologen). Logfileanalysemodule en feedbacktools Zowel tweedejaars geneeskundestudenten als radiologen verwachten dat de behaalde scores op de toets zullen toenemen met behulp van de visualisatie. Dat geldt ook voor de motivatie van studenten in vergelijking met de traditionele manier van toetsen en feedback. Met de opgeleverde logfileanalysemodule zijn op basis van gegevens uit 2012 de drie belangrijkste parameters vastgesteld die bijdragen aan de toetsscore: tijd tot uiteindelijke diagnose, relatieve tijd op foute coupe en aantal richtingwisselingen (beeldmanipulatie). Er zijn twee feedbacktools opgeleverd. Positieve reacties Ik was blij verrast met de positieve reacties, niet alleen van de studenten en docenten maar ook van de decaan. Die geeft aan veel te zien in actieve feedback aan studenten.

14 14 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 Docenten willen de huidige, beperkte manier van feedback of een vraag goed of fout is beantwoord graag vervangen door onze visualisatietools. We gaan er zeker mee verder, en zien binnen de universiteit ook mogelijkheden in andere vakgebieden zoals bouwkunde en geologie. Projectleider Koen Vincken Resultaten > eindrapportage > blog Learning analytics & beeldinterpretatievaardigheden > wetenschappelijk artikel (in voorbereiding) 4. LADA (Learning Analytics Dashboard Applications) In dit project van de Technische Universiteit Eindhoven zijn nut en bruikbaarheid van dashboards voor studenten onderzocht. Omdat uit eerder onderzoek bleek dat traditionele leeromgevingen beperkte informatie bieden over het leerproces is gekozen voor het verzamelen van data door rapportages van studenten. Zij rapporteerden via Google Forms over hun activiteiten tijdens een groepsproject en hun emotie daarbij. Op basis daarvan is een dashboard ontwikkeld met verschillende visualisatievormen, waarmee case studies zijn uitgevoerd en geëvalueerd aan de Vrije Universiteit Brussel (40 studenten) en de Technische Universiteit Eindhoven (105 studenten). Tijdlijn Het dashboard van de eerste case bevat visualisaties van het gemiddelde emotieniveau per activiteit en de bestede hoeveelheid tijd aan activiteiten ten opzichte van het groepsgemiddelde. Deze groep studenten had voorkeur voor de tijdlijn en behoefte aan meer gedetailleerde informatie. Voor de tweede case zijn op basis van de ervaringen twee nieuwe visualisaties geïmplementeerd. Een heatmap toont elke student hoe zijn emoties evolueren tijdens diens project. Een scatterplot laat de correlatie zien tussen de tijd die een student spendeert en een specifieke emotie, als functie in de tijd. De tweede groep studenten had meer moeite de visualisaties te interpreteren en was minder overtuigd van het nut hiervan om inzicht te krijgen in het leergedrag. Ook hier lag de voorkeur bij de tijdlijn. Visualisaties interpreteren Ons eerder onderzoek laat zien dat de meeste onderzoeken op het gebied van learning analytics zich richten op ondersteuning van docenten, en minder op het nut om studenten te ondersteunen. Uit ons project blijkt dat studenten met weinig kennis over informatievisualisatie het moeilijk vinden de visualisaties correct te interpreteren. Dat vind ik verrassend: we hadden een hogere score verwacht. Ik ben er trots op dat we het dashboard konden evalueren in een authentieke setting, met een relatief groot aantal studenten. Projectleider Katrien Verbert Resultaten > eindrapportage > blog LADA: learning analytics dashboard applications > publicatie (in voorbereiding) > demoversie dashboard > screencast van het dashboard

15 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling Leren van data Het doel van dit project van de Hogeschool van Arnhem en Nijmegen was om de bekwaamheid van docenten op het gebied van learning analytics te vergroten en zo de kwaliteit van toetsing te verbeteren en de toetsbekwaamheid met name toetsanalyse te verhogen. De hogeschool wil zo een betere aansluiting bewerkstelligen van het toetsprogramma op het onderwijsprogramma. De kwaliteit van de multiple-choicetoetsen in de leerlijn Onderwijskunde is geanalyseerd met behulp van een al eerder in Excel ontwikkeld (en in het project doorontwikkeld) instrument voor toetsanalyse. Daarna zijn interventies ontwikkeld en uitgevoerd, zoals een training toetsconstructie en trainingen toetsanalyse. Meer bekwaam De docenten Onderwijskunde zijn meer tevreden en voelen zich meer bekwaam in het analyseren en interpreteren van toetsdata en het construeren van toetsitems en tentamens. Ook is de kwaliteit van de toets Onderwijskunde verbeterd, evenals de aansluiting van de toets op de inhoud van het onderwijs. Uit aanvullende vragen bij de tentamens Onderwijskunde blijkt dat de tevredenheid bij studenten over de toetsvragen Onderwijskunde is toegenomen. De ontwikkelde trainingen worden vanaf nu aangeboden aan docenten van de lerarenopleidingen en van 13 vo-scholen en het analyse-instrument wordt verder doorontwikkeld voor gebruik bij open toetsvragen. Docenten van de toekomst Ons doel was om met de inzet van learning analytics de toetsbekwaamheid van docenten te verhogen. Uit het onderzoek bleek echter dat een minimumniveau van toetsbekwaamheid, met name op het gebied van toetsanalyse, een voorwaarde is om de cyclus van learning analytics te kunnen doorlopen. Zeker voor docenten van een lerarenopleiding is het van belang dat zij zich hierin bekwamen, omdat zij lesgeven aan docenten van de toekomst, die in de praktijk moeten gaan werken met toetsresultaten om de kwaliteit van het onderwijs te verbeteren. Ik ben trots op de docenten in het onderzoeksteam vanwege hun enorme betrokkenheid. Projectleider Tamara van Schilt-Mol Resultaten > eindrapportage > blog De HAN leert van data 6. Studiesucces voorspellen met Blackboard Learn Naar aanleiding van het lage rendement in de propedeusefase is aan de Hanzehogeschool onderzocht of je op basis van geregistreerd studiegedrag al na de eerste vier weken van de opleiding kunt voorspellen welke groep studenten grote kans maakt uit te vallen in het eerste jaar van de opleiding. Gedurende een heel studiejaar zijn 1385 nieuwe eerstejaars gevolgd, afkomstig van de sectoren techniek, gezondheid en economie. Hun studiegedrag is bepaald door het aantal keren te meten dat een student klikt op een onderdeel van de course in Blackboard Learn. Na afronding van de tentamens is voor alle studenten per onderwijsperiode de balans opgemaakt. Vroege identificatie van potentiële studiestoppers Het onderzoek toont aan dat het inderdaad mogelijk is al na vier weken een groep studenten te isoleren die een groot risico loopt om uit te vallen. Van de studenten die minder dan 50% van het gemiddeld aantal klikken als studiegedrag

16 16 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 in Blackboard Learn vertoonde, viel 77% inderdaad in het eerste jaar uit. Deze vroege identificatie van potentiële studiestoppers maakt het mogelijk al in de eerste onderwijsperiode te sturen op studiegedrag, dus al voordat de eerste tentamens worden afgenomen. Er is een werkinstructie gemaakt om de gegevens uit Blackboard Learn te halen, waardoor ook andere scholen en opleidingen risicogroepen kunnen bepalen. Veel mogelijkheden voor analyse De enorme hoeveelheid data die Blackboard Learn bijhoudt, biedt veel mogelijkheden voor analyse. Het heeft me verbaasd hoe weinig mensen dat weten. Learning analytics is bijvoorbeeld heel geschikt om te analyseren of de opzet van het onderwijs aansluit bij verschillende doelgroepen en leerstijlen, of het onderwijs de onderwijsvisie van de instelling ondersteunt en om onderwijskundige veranderingen te monitoren. Projectleider Bob Schoonbeek Resultaten > eindrapportage > blog LA in Grunn voorspelt studiesucces? 7. Studiesucces voorspellen met statische en dynamische data In het project onderzocht de Universiteit Utrecht of klikgedrag in de Blackboardomgeving studiesucces kan voorspellen. Het was al bekend dat statische gegevens zoals geslacht, leeftijd en vwo-eindexamencijfers het aantal tentamens dat studenten halen verklaren. De vraag was hier of dynamische gegevens (het aantal klikken in bepaalde perioden/domeinen van Blackboard) de voorspelling van studiesucces verder verbeteren. Daartoe zijn Blackboard-gegevens van eerstejaars studenten psychologie van de studiejaren en geanalyseerd. Het was de bedoeling dat docenten op basis van de analyse van het eerste cursusjaar tijd zouden hebben de cursussen voor aanvang van het tweede studiejaar te herzien. Voorspellende waarde klikgedrag verwaarloosbaar In slechts één van de zeven onderzochte cursussen bleek dat klikgedrag een wezenlijke voorspellende waarde had: hier voorspelde het totaal aantal klikken dat de student uitvoert ongeveer 15% van de variantie van het tentamencijfer. In de andere cursussen was de voorspellende waarde verwaarloosbaar. Geavanceerdere analyses leidden niet tot grote verbetering van de resultaten. De conclusie is dat de som van alle klikken per persoon niet geschikt is voor het geven van aanwijzingen aan docenten hoe zij hun cursus kunnen verbeteren. Teleurstellend Ik vond de resultaten van ons onderzoek teleurstellend. Dat was des te meer frustrerend omdat het een heel gedoe was om de data uit Blackboard te krijgen. Dataverzameling is zo bewerkelijk dat de huidige Blackboard-tools niet geschikt zijn voor inzet in de praktijk. Als ik zoiets nog een keer zou doen, zou ik het klikgedrag niet pas na maanden of een jaar later downloaden maar meteen. Je kunt via de gebruikersinterface namelijk niet verder dan 180 dagen in het verleden kijken. Projectleider Peter van der Heijden Resultaten > eindrapportage > blog Blackboarddata toegankelijk genoeg? UU en studiesucces voorspellen

17 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling Blackboard Mining In deze technische proof of principle van de Universiteit Leiden is onderzocht hoe je uit Blackboard data over elektronisch studiegedrag succesvol kunt verzamelen en hoe je deze data kunt verwerken tot zinvolle statistische inzichten over de kenmerken van effectief studiegedrag, zoals de mate, intensiteit en aard van deelname, studietijd, duur en frequentie. Het ging om data van de vakken Vloeistofmechanica (241 studenten) en Thermodynamica (305 studenten) van de Technische Universiteit Delft. In plaats van standaardoverzichten van Blackboard te gebruiken zijn de data rechtstreeks uit de database gehaald. De analyses zijn met een van de docenten geëvalueerd. Voorspellende variabelen Er zijn scripts ontwikkeld om de ruwe data geschikt te maken voor data mining en statistische analyses. Deze extraheren zogenaamde features, die ieder een bepaald aspect van het studiegedrag beschrijven. Uit de analyses van het vak Vloeistofdynamica blijkt dat de mate van activiteit twee weken voor het tentamen de belangrijkste voorspeller is van het tentamencijfer. Bij Thermodynamica is dat het meer dan 80 keer inloggen op een specifieke contentpagina. Omdat vakken veel van elkaar verschillen, zijn de voorspellende variabelen anders. Daarom is het raadzaam voor elk vak een afzonderlijke analyse doen. De ontwikkelde scripts zijn beschikbaar voor andere instellingen die met Blackboard werken. Voetstappen van studenten in Blackboard We hebben in dit project laten zien dat het technisch mogelijk is analyses te doen op basis van de voetstappen die studenten achterlaten in Blackboard. Daaruit blijkt dat je studiesucces inderdaad kunt voorspellen. Het bleek organisatorisch lastig de data uit Blackboard te krijgen. Je moet de juiste persoon vinden die wekelijks een dump wil maken van de database, want elke week worden de historische data weggegooid. Projectleider Arno Knobbe Resultaten > eindrapportage > blog Blackboard Mining: harde cijfers over studiegedrag? 9. Learning analytics voor vraaggestuurde didactiek en begeleiding Naar aanleiding van de hoge uitval in de propedeuse van de faculteit Economie & Management is in dit project van de Hogeschool Utrecht onderzocht of het studierendement kan worden verhoogd door werkvormen, toetsing, didactiek en individuele begeleiding af te stemmen op de persoonlijke oriëntaties van studenten. Op basis van een vragenlijst met stellingen en informatie uit hun intake-assessment zijn 1200 studenten met behulp van een motivationeel segmentatiemodel ingedeeld in vier typen studenten met verschillend studiesucces. De profielen van de studenttypen maken duidelijk waar dat aan ligt en welke interventies er mogelijk zijn om hun studiesucces te verbeteren. Er zijn twee kleinschalige pilot-interventies uitgevoerd en geëvalueerd. Vier studenttypen De vier studenttypen verschillen in werkhouding en zelfstandigheid: de gedreven zelfontplooier, de plichtsgetrouwe student, de doelloze student en de calculerende student. Deze studenttypen zijn uitgewerkt en voorgelegd aan docenten. Die vinden dat de typen herkenbaar zijn en meer inzicht geven in verschillen tussen studenten. Het is aan de docent om te leren zien welk type student hij/zij voor

18 18 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling 2013 zich heeft en daarnaar in lessituaties te handelen. De (weliswaar kleine) pilot-interventies maken aannemelijk dat op deze studenttypen gerichte vormen van vraaggestuurde didactiek en begeleiding positief bijdragen aan studiesucces. Enthousiasme en draagvlak bij docenten Ondanks de drukke agenda s van de docenten was het enthousiasme en draagvlak voor dit project groot. Zij zitten echt te wachten op doorontwikkeling van het model en implementaties van werkvormen en begeleiding. Er is ook veel discussie ontstaan over ethiek, privacy en didactiek. Hoe ga je bijvoorbeeld samenwerkingsgroepen indelen: door ambitieuze studenten apart te zetten of juist te mengen met minder actieve studenten? En hoe voorkom je dat studenten worden gestigmatiseerd? Zij moeten de kans krijgen zich te ontwikkelen tot een ander studenttype. Projectleider Martin de Boer Resultaten > eindrapportage > blog Vraaggestuurde didactiek en begeleiding bij de HU Bruikbaar voor iedereen Naast de blogs en de eindrapportages van de projecten zijn de volgende resultaten beschikbaar voor gebruik door andere instellingen: Visualisatie van data in dashboards: wat werkt wel en wat werkt niet (contactgegevens projectleiders André Heck van UvA; Katrien Verbert van VUB) De ervaringen met het opzetten van een learning record store (contactgegevens projectleiders André Heck van UvA) De logfileanalysemodule en de feedbacktool bij toetssysteem VQuest (contactgegevens projectleider Koen Vincken van UMC Utrecht) Een instrument voor toetsanalyse (contactgegevens Tamara van Schilt-Mol HAN) De scripts voor de extractie van features uit de ruwe data van de Blackboard-database te komen tot aspecten van studiegedrag (contactgegevens projectleider Arno Knobbe van Universiteit Leiden) Een werkinstructie om rapporten uit Blackboard Learn op te vragen en de gegevens te interpreteren (contactgegevens projectleider Bob Schoonbeek, Hanzehogeschool Groningen) Eind 2014 verschijnt een boekje met de profielen van de studenttypen met een vertaalslag naar vraaggestuurd onderwijs (Martin de Boer, Hogeschool Utrecht).

19 Learning analytics in het hoger onderwijs Resultaten stimuleringsregeling COLOFON Auteur Daphne Riksen Ontwerp Vrije Stijl, Utrecht Datum Oktober 2014 SURF Graadt van Roggenweg 340 Postbus GG Utrecht T +31 (0) F +31 (0) info@surf.nl Beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland.