Korteweg- de Vries Instituut, Science park 904, Postbus GE Amsterdam

Transcriptie

1 COACH Gegevens penvoerder Penvoerende instelling Universiteit van Amsterdam, FNWI (Faculteit der Natuurwetenschappen, Wiskunde en Informatica) Correspondentieadres faculteit Postbus 94216, 1090 GE Amsterdam Contactpersoon secretariaat mevr. Lindy van der Vecht Telefoonnummer secretariaat Projectleider Instelling Adres Telefoonnummer Mobiel telefoonnummer Dr. André Heck UvA, FNWI Korteweg- de Vries Instituut, Science park 904, Postbus GE Amsterdam Deelnemende instellingen Partner 1 Instelling: UvA, IC (Informatiseringscentrum) Project informatie Titel Constructive Overview Aggregating Comparative Hits (COACH) Start- en einddatum 15 juni juni 2014 Totale projectkosten Gevraagde subsidie Eigen bijdrage instelling

2 Inhoudsopgave Samenvatting Doelstelling en Doelgroep Onderbouwing en beoogd resultaat Plan van aanpak Kennisopbouw en -disseminatie Planning, kosten en organisatie Planning Kostenoverzicht Organisatie Risicoanalyse en -management Bijlagen bij een projectvoorstel: Bijlage 1 Letters of intent Bijlage 2 Beschrijving tools Bijlage 3 Beschrijving dataset

3 Samenvatting Studenten krijgen bij het gebruik van learning tools steeds vaker een dashboard ter beschikking om de voortgang in die tool te monitoren. Bij het gebruik van meerdere leermiddelen uit diverse bronnen geeft dit geen goed beeld over de complete activiteit van studenten bij een studieonderdeel, door de beperkte blik van tool specifieke dashboards. Een van de resultaten van dit project is het op de student gerichte learning analytics dashboard COACH (Constructive Overview Aggregating Comparative Hits), waarop een student gedurende een cursus zijn of haar studiegedrag in diverse leeromgevingen tezamen kan monitoren en een analyse kan krijgen over het eigen gedrag ten opzichte van het gedrag van de medestudenten. Dit dashboard wordt gekoppeld aan een learning record store waarin data van het gebruik van digitaal lesmateriaal door studenten uit verschillende kanalen op het internet automatisch en continu worden verzameld. De opzet van een learning record store, gebaseerd op de open standaard Experience API, is ook een resultaat van dit project. Bovenal zal dit project kennis opleveren over het effect van het gebruik van een student dashboard op het leergedrag van studenten bij een vak en hiermee op het studiesucces bij het gevolgde vak. Het student dashboard COACH wordt aangeboden aan de eerstejaarsstudenten Biologie en Biomedische wetenschappen bij een wiskunde onderdeel in de studie. Deze groep van pakweg 300 studenten krijgen wiskunde geïntegreerd bij een discipline vak. De verschillen tussen studenten in wiskundige vooropleiding en beheersingsniveau van wiskundige kennis en vaardigheden zijn groot. Studenten uit deze heterogene groep krijgen veel online lesmateriaal om zelfstandig en flexibel te kunnen werken, uitgaande van hun eigen niveau. Uit vooronderzoek is gebleken dat menig student te laat aan het studeren begint en te weinig of niet efficiënt oefent. Het dashboard COACH zal studenten persoonlijke feedback geven over hun leergedrag en hen motiveren om het leren te activeren. Voor effectmeting wordt een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep gehanteerd. De studenten worden eerst op basis van de resultaten van een diagnostische toets in week 1 gerangschikt naar beheersingsniveau van wiskunde. Paren van studenten in rangvolgorde worden gevormd en voor elk paar wordt willekeurig de ene student in de controle groep geplaatst en de andere in de experimentele groep. Beide groepen volgen hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. De data over het gebruik van het online lesmateriaal van beide groepen wordt continu verzameld. Alleen studenten in de experimentele groep zullen de toegang hebben tot het student dashboard COACH. De data over het leergedrag van studenten met en zonder COACH worden geanalyseerd en verschillen en overeenkomsten worden in kaart gebracht. In de pre- en posttest worden studenten onder meer gevraagd om een enquête in te vullen over hun studiehouding. De concrete ervaringen van de experimentele groep die met het student dashboard COACH gewerkt hebben worden geëvalueerd. De primaire doelgroep van dit project zijn eerstejaarsstudenten in de bachelor Levenswetenschappen. De uitkomsten van dit project zullen ook voor andere doelgroepen bruikbaar zijn zoals studenten in andere cursussen of opleidingen, docenten, studieadviseurs en onderwijsmanagers. 3

4 1. Doelstelling en Doelgroep Studenten krijgen in toenemende mate te maken met dashboards waarmee ze op hun studie activiteit kunnen reflecteren. Door die functionaliteit zouden studenten beter in staat moeten zijn om hun voortgang te evalueren en indien nodig hun inzet bij te stellen. Leerervaringen zijn echter dikwijls verspreid over een landschap aan leeromgevingen en systemen. En voor veel dashboards geldt dat ze alleen activiteiten presenteren die zich afgespeeld hebben binnen een enkele leeromgeving. Daarmee geven ze niet alleen aan een student een incompleet beeld over zijn of haar voortgang, maar ook aan de docent of studieadviseur. Een extra overkoepelend dashboard dat expliciet verschillende data bronnen combineert zou een beter beeld geven van het studiegedrag en studievoortgang, en ook mogelijk een positief effect hebben op zelfstandig leergedrag van studenten en zo het studiesucces verhogen. In sommige dashboards wordt de activiteit van een student gepresenteerd in vergelijking met de activiteit van een groep studenten. Een bekend voorbeeld daarvan is Course Signals van Purdue University 1, waar het een bewezen positief effect had op studiesucces. Daarnaast kunnen op basis van de verzamelde activiteit aanbevelingen worden gededuceerd voor individuele studenten m.b.v. machine learning technieken. Bij serviceonderwijs in wiskunde is het verstandig om bij coaching rekening te houden met wiskunde angst. Studenten met wiskunde angst kunnen anders reageren op aanbevelingen dan studenten zonder deze angst. 2 Binnen een leersysteem is het mogelijk om gebruik te maken van inhoudelijke kennis over de lesmaterialen en de verbanden daartussen. Eventuele correlaties tussen activiteiten in het eigen systeem en activiteiten in andere tegelijkertijd gebruikte leeromgevingen worden daarmee echter gemist. Een overkoepelend student dashboard zou ook hier uitkomst kunnen bieden. Een relevante onderzoeksvraag is dan wel of het missen van inhoudelijke kennis over de leeractiviteiten een positief effect van het dashboard te veel belemmert. Mocht dit niet het geval zijn, dan vergroot dit de inzetbaarheid van een overkoepelend student dashboard bij verschillende cursussen en vakken. In dit project zal een overkoepelend student dashboard ontwikkeld worden dat zonder inhoudelijke kennis van het leerdomein een student tijdens een cursus kan ondersteunen in het maken van beslissingen over het verloop van het eigen leerpad en het gebruik van de leerobjecten die zich in verschillende leeromgevingen bevinden in vergelijking met de activiteit en resultaten van medestudenten. Dit dashboard heet COACH, een acroniem voor Constructive Overview Aggregating Comparative Hits De gebruikersgroep in dit project bestaat uit bachelor studenten van biologie en biomedische wetenschappen die in het eerstejaars vak Bio-organische, Biochemie en Celbiologie een wiskunde module over wiskundige modellen van groei grotendeels zonder directe docentbegeleiding doorlopen. In de plaats daarvan wordt een scala aan multimediale ICT leermiddelen aangeboden: digitale instructies en oefeningen, screencasts en pencasts voor uitleg of toelichting, uitgewerkte voorbeelden, etc. Aan de verzameling van leerobjecten binnen het LMS van het vak worden in dit project nog twee nieuwe leeromgevingen toegevoegd: de wiskundeomgevingen van SOWISO 3 en de Khan Academie 4 om de adaptiviteit van het instructiemateriaal aan het wiskundige niveau van individuele studenten te realiseren en de flexibiliteit van studenten te vergroten. In het eerdere SURF project User needs van docent en student bij de inzet van learning analytics, is geconstateerd dat studenten met een hoger instapniveau van wiskunde veelal vroeger aan het werk gaan en intensiever met het aangeboden materiaal werken dan studenten met een lager instapniveau. Door studenten het dashboard COACH aan te bieden dat het leergedrag van individuele student analyseert en hints geeft ten opzichte van het gedrag van actieve studenten in zijn of haar groep zal de student eerder met het eigen leergedrag geconfronteerd worden en suggesties krijgen, hierop beter kunnen reflecteren, en vervolgens beslissingen over zijn of haar studiegedrag kunnen maken. Het project heeft de volgende centrale onderzoeksvraag: Helpt het overkoepelend dashboard COACH de student een meer actieve studiehouding te ontwikkelen en leidt het gebruik tot een groter studiesucces? De meer specifieke vragen die in dit project worden behandeld zijn: Wat is de meerwaarde van een overkoepelend dashboard boven de toolgerichte dashboards? 1 Course Signals, Purdue University, (laatst bezocht ) 2 Ashcraft, M. H., & Moore, A. M. (2009). Mathematics anxiety and the affective drop in performance. Journal of Psychoeducational Assessment, 27(3), SOWISO, (laatst bezocht ) 4 Khan Academie, (laatst bezocht ) 4

5 Verandert de intensiteit van het gebruik van digitaal lesmateriaal tijdens de cursus door het ter beschikking stellen van COACH? Passen de studenten die COACH ter beschikking hebben hun studiegedrag aan en zo ja hoe? Helpt het student dashboard risico-studenten om zelf hun studiegedrag positief te veranderen en zo hun studiesucces te verbeteren? Een pilot wordt uitgevoerd onder alle pakweg 300 eerstejaarsstudenten Biologie en Bio-medische wetenschappen aan de UvA, die wiskunde geïntegreerd bij het vak Bio-organische chemie, biochemie en celbiologie leren. In deze pilot worden effectmetingen gedaan waarbij een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep gehanteerd wordt. De deelnemers van het vak worden eerst op basis van de resultaten van een diagnostische toets in week 1 gerangschikt naar beheersingsniveau van wiskunde. Paren van studenten in rangvolgorde worden gevormd en voor elk paar wordt random de ene student in de controle groep geplaatst en de andere in de experimentele groep. Beide groepen volgen hetzelfde vak bij dezelfde docent met hetzelfde lesmateriaal. Studenten uit de experimentele groep hebben gedurende de cursus het student dashboard COACH tot hun beschikking; studenten uit de controle groep niet. De werkhypothese is dat als een gemiddeld goede student ziet dat studenten die op hem lijken al actief aan het werk zijn gegaan hij of zij vroeger en actiever aan het werk zal gaan volgens het principe van goed voorbeeld doet goed volgen. In de pilot wordt een volledige learning analytics cyclus doorlopen (figuur 1) Figuur 1: learning analytics cyclus Het gebruik van (adaptieve) digitale leermiddelen door studenten (figuur 1) wordt continu geregistreerd en de data hierover worden continu gepushed naar een learning record store. De data in de learning record store worden voortdurend geanalyseerd en gevisualiseerd op het student dashboard COACH door de dataset te ondervragen over de acties van een student ten opzichte van een groep studenten die dezelfde cursus volgen. De feedback van het COACH dashboard en zijn automatische alerts kan gezien worden als een interventie op studentniveau gericht op studiegedrag. In ons geval gaat het om een continu proces en worden zo de learning analytics cycli continu herhaald. De doelgroep van dit project is de groep van eerstejaarsstudenten die deelnemen aan het vak Bioorganische chemie, biochemie en celbiologie. De resultaten van dit project zijn interessant voor zowel studenten in andere cursussen of opleidingen, docenten, studieadviseurs en onderwijsmanagers. Learning analytics is een van de kernthema s die bij de FNWI van de UvA deel uitmaken van een meerjarenplan over ICT en onderwijsinnovatie. Learning analytics is ook een van de speerpunten van de UvA. Het is bekend dat UvA plannen heeft om learning analytics te stimuleren. Het opzetten van de learning record store en het ontwikkelen van het student dashboard COACH wordt gedaan in samenwerking met het IC (Informatiseringscentrum) van de UvA, met de bedoeling om de disseminatie te versterken en een opschaling naar andere faculteiten makkelijker te maken. De kennis die in deze pilot wordt verkregen en de ontwikkelingen die worden gedaan zullen een belangrijke bijdrage leveren om learning analytics in het vervolg efficiënt voort te zetten. 2. Onderbouwing en beoogd resultaat Waarom wordt het project uitgevoerd? Bij wiskunde is het heel belangrijk dat instructiemateriaal zo goed mogelijk aansluit bij het bestaande beheersingsniveau van wiskunde van individuele studenten en dat met de lesstof voldoende wordt 5

6 geoefend door cursisten. Verder is het in het algemeen noodzakelijk voor studiesucces dat de student zelf de verantwoordelijkheid voor het leren op zich neemt. Enkele innovatieprojecten waarbij medewerkers van dit project betrokken waren hebben aangetoond hoe het oefenmateriaal bij wiskunde ingezet kan worden om kennishiaten efficiënt weg te werken (Webspijkeren, NKBW, ONBETWIST). Als de student de specifieke kennis die nodig is voor een oefening in een korte kennisclip of pencasts op het moment dat deze nodig is kan raadplegen, kan de student efficiënter zelfstandig leren. Als een student een opdracht niet begrijpt of niet correct uit kan voeren is hij of zij digitaal geholpen met hints, een uitgewerkt voorbeeld of het aanbod van de opdracht in kleinere stappen. Het maken van de juiste keuze is belangrijk voor verdere oefening want hierdoor leert de student zelf hoe op een willekeurig moment kennis op te frissen of bij te spijkeren. Hierbij moet student gewend zijn om diverse leeromgevingen te kunnen gebruiken en deze met elkaar te combineren. Adaptiviteit in het aangeboden instructiemateriaal is nodig om het zogenaamde expertise reversal effect te adresseren. In dit project wordt het volgende gerealiseerd (figuur 2): Beschikbaarstelling van een learning record store voor de data (figuur 2, LRS) Ontwikkeling van COACH, een overkoepelend student dashboard voor een cursus, dat gekoppeld is aan de learning record store, en de individuele student een terugkoppeling geeft op het studiegedrag ten opzichte van de groep studenten die dezelfde cursus volgen. Het beproeven van het student dashboard COACH in een regulier vak i.c. het wiskunde gedeelte van de cursus Bio-organische chemie, biochemie en celbiologie. Koppeling van de SOWISO en Khan Academie leeromgevingen met de bestaande wiskundemodule De data over het gebruik van het online lesmateriaal (kennisclips, pencasts, interactieve wiskunde opdrachten en digitale toetsen) komen uit verschillende leeromgevingen: a) Learning management system van het vak (LMS): informatie, opdrachten en een lijst leerobjecten (bijvoorbeeld pencasts en screencasts, webpagina s met uitleg en uitgewerkte voorbeelden) b) Khan Academie site: bestaande kennisclips en (test)opgaven over wiskundige onderwerpen die relevant zijn voor de opdrachten die studenten maken in de cursus c) SOWISO site: adaptief digitaal wiskunde oefenmateriaal relevant voor de opdrachten in de cursus. De data worden continu geleverd (gepushed) aan de learning record store (LRS, figuur 2) en continu geanalyseerd en gevisualiseerd op het student dashboard COACH en zo individueel teruggekoppeld aan individuele student. Het gebruik van het student dashboard door studenten wordt continu geregistreerd. De data worden na afloop van de cursus uit de learning record store geëxporteerd en geanalyseerd om te bepalen of het dashboard COACH op verschillende categorieën studenten een verschillend effect heeft. Effectmeting volgens een onderzoeksontwerp met een pretest-posttest -experimentele en controle groep in combinatie met de data analyse. Paren van studenten in rangvolgorde van de wiskunde diagnostische toets worden gevormd en voor elk paar wordt random de ene student in de experimentele groep geplaatst en de andere in de controle groep die wel respectievelijk geen toegang hebben tot het dashboard COACH. 6 Figuur 2: Data flow tijdens de pilot De data waar het COACH dashboard op gebaseerd is komt uit drie bronnen (figuur 2): een cursus website, het SOWISO systeem en het Khan Academie systeem. De cursus website is in eigen beheer bij de UvA en bevat een tracking mechaniek om relevante interactie op te slaan. Een beknopte

7 beschrijving van de dataset die in dit project wordt gebruikt en een beknopte beschrijving van de tools zijn te vinden in de bijlage van het projectvoorstel. De data die studenten genereren door het gebruik van online leerobjecten worden verzameld in de learning record store. Het geheel wordt ingezet tijdens een regulier vak in het eerste jaar van de opleiding Biologie en opleiding Biomedische wetenschappen. Het dashboard is als het ware een extra voorziening voor studenten bij het wiskunde onderdeel van het verplichte vak Bio-organische chemie, biochemie en celbiologie. Het is een persoonlijke coach ter ondersteuning en sturing van het leerproces. De student krijgt informatie op het student dashboard COACH over zijn/haar gedrag ten opzichte van het gedrag van medestudenten en kan op basis hiervan zijn/haar leergedrag verbeteren door bijvoorbeeld vroeger in de cursus aan het leren te beginnen of een andere leerobject nog te bekijken, bijvoorbeeld een leerobject die nodige voorkennis opfrist. De data worden automatisch gegenereerd telkens wanneer een student met een leerobject interacteert in een van de drie hierboven genoemde leeromgevingen. Het verzamelen van de data over het raadplegen van de leerobjecten door beide groepen studenten, de experimentele én de controle groep, vindt op de achtergrond plaats. De studenten van de experimentele groep zullen via het dashboard hun gebruik van leermiddelen kunnen monitoren en deze vergelijken met hun studiegenoten. Ze zullen daarnaast suggesties krijgen over welk lesmateriaal ze verder nog kunnen gebruiken, waardoor hun studiesucces zou kunnen verbeteren. Deze suggesties zijn dan op basis van wat andere studenten in een vergelijkbare situatie deden. Er wordt een diagnostische instaptoets in wiskunde gedaan door alle studenten die het vak Bioorganische chemie, biochemie en celbiologie volgen (ca. 300 studenten). Met een gestandaardiseerde vragenlijst over wiskunde angst en studiehouding wordt gekeken of het monitoren van eigen studiegedrag ten opzichte van de groep een effect heeft op studiegedrag en of er een correlatie is tussen het gebruik van het student dashboard en het studiesucces van de student. 5 De experimentele groep zal bij een posttest nog een lijst evaluatievragen krijgen over hun ervaringen met het gebruik van het student dashboard COACH. Op het dashboard zelf zullen de studenten tijdens de cursus een respons kunnen geven over hun tevredenheid over specifieke suggesties van het dashboard. De intensiteit van het gebruik van het dashboard wordt continu gemeten. Het is uitdrukkelijk de bedoeling om de inzet van learning analytics op basis van de resultaten van dit project bij de FNWI op te schalen zodat de COACH bij meer vakken wordt ingezet. De learning record store van de UvA wordt naar verwachting opgeschaald en UvA-breed beschikbaar gesteld. Op basis van de ervaringen van dit project zullen diverse dashboards ontwikkeld kunnen worden voor andere doelgroepen, zoals docenten, studieadviseurs en onderwijsmanagement die ook gebruik zullen maken van dezelfde learning record store voor hun specifieke doeleinden. Deze activiteiten worden bij de faculteit FNWI gecoördineerd volgens de afspraken gemaakt in het meerjarenplan ICT en onderwijsinnovatie waarin learning analytics als een van de kernthema s opgenomen is. De teamleden van dit project bezitten alle nodige expertise en ervaring, zowel op vakdidactisch, onderwijskundig als op technisch gebied. Zij beschikken over kennis en ervaring die nodig zijn voor software ontwikkeling op het gebied van learning analytics en visualisatie technieken. Verschillende teamleden hebben veel kennis over didactiek en over ICT&Onderwijs. De teamleden zijn ook breder actief op het gebied van ICT in het onderwijs en van learning analytics. Dit versterkt de kans van slagen van dit project zeer. Door de samenwerking met het Informatiseringscentrum (IC) van de UvA bij dit project komen resultaten van dit project via het IC direct beschikbaar voor andere faculteiten binnen de UvA. Het project zal zich richten op het ontwikkelen en gebruik van het student dashboard COACH, een persoonlijke coach dat overkoepelend fungeert boven andere dashboards die bij een specifieke leeromgeving thuishoren. COACH zal in dit project een integraal onderdeel zijn van een cursus uit het programma met veel studenten. In dit project wordt één pilot in het kader van een reguliere lopende cursus uitgevoerd. De keuze is gemaakt voor de wiskundemodule in het vak Bio-organische chemie, biochemie en celbiologie omdat hierbij in het kader van het SURF project ONBETWIST al veel ervaring is opgedaan met digitaal instructiemateriaal over wiskundige modellen van groei en op basis hiervan concrete plannen bestaan ter verbetering van de instructie, gebruikmakend en uitgaand van bestaande lesbronnen (uit de bestaande cursus en de ONBETWIST itembank). Op basis van de resultaten van deze pilot zal het vervolgens mogelijk zijn om het gebruik van de learning record store, van het student dashboard, en van de leeromgevingen van SOWISO en de Khan Academie op verschillende manieren op te schalen. De learning record store is gebouwd volgens een open standaard. In de toekomst is het belangrijk om één (soort) opslagplaats te gebruiken voor alle data die inzicht geven in de leerprocessen. Deze data zouden door diverse belangstellende partijen (studenten, docenten, studieadviseurs, onderwijsmanagement) via diverse specifieke dashboards geanalyseerd kunnen worden. Elke van deze doelgroepen zal via een dashboard specifiek relevante informatie over de onderwijsprocessen 5 Nederlandstalige versies van AMAS en MAS vragenlijsten zijn in de afgelopen twee studiejaren al afgenomen 7

8 kunnen volgen. Het onderwijsproces zal in een samenwerking van deze groepen sneller en efficiënter verbeterd kunnen worden. 3. Plan van aanpak Dit project wordt onderverdeeld in 4 werkpakketen: WP1: Techniek en datakoppeling WP2: Pilot in het onderwijs WP3: Evaluatie en effectenonderzoek WP4: Disseminatie en projectmanagement WP1: Techniek en datakoppeling Doel: Opzetten van een learning record store (LRS) en student dashboard (COACH) als proof of concept op basis van reeds bestaande methoden en open stadaarden. Aanpak en activiteiten Juni 2013: operationeel maken van de LRS (server) Juni-augustus 2013: ontwikkeling van het student dashboard COACH (website met functionaliteiten) Juli-augustus 2013: koppeling van de databronnen (LMS, SOWISO en Khan Academie) met LRS zodat de data uit de databronnen continu gepushed kunnen worden naar de LRS. Augustus 2013: opnemen van student dashboard COACH in de digitale leeromgeving van de cursus waar de pilot wordt uitgevoerd. Milestones M1: learning record store (LRS) M2: Student dashboard COACH Coördinatie WP1: Sander Latour (FNWI) Medewerkers: Sander Latour, André Heck (FNWI), Alan Berg (IC), twee studentassistenten software ontwikkelaars en samenwerking met SOWISO en Khan Academie (Perceptum) WP2: Pilot in het onderwijs Doel: Koppeling van SOWISO en Khan Academie leeromgevingen in een bestaand onderdeel van een vak, afstemming van de visualisatie op het student dashboard met de activiteit van studenten vanuit het perspectief van de cursus en data-verzameling tijdens de cursus. Aanpak en activiteiten Juni 2013: Expliciteren van de vraag van het student dashboard aan de learning record store vanuit het perspectief van student in afstemming met het onderwijsontwerp van de cursus Juni-augustus 2013: aanpassen van het cursusmateriaal aan de nieuwe, meer adaptieve opzet door koppeling van de SOWISO en Khan Academie leeromgevingen September-december 2013: Op de hoogte stellen van studenten over de pilot voor de start, tijdens de cursus en ook resultaten terugkoppelen na de pilot. Milestones M3: Functionele specificatie van het student dashboard COACH dat is afgestemd op het onderwijsontwerp. M4: Vernieuwd adaptief digitaal cursusmateriaal (koppeling SOWISO en Khan Academie leeromgevingen) Coördinatie WP2: André Heck (FNWI) Medewerkers: André Heck en een studentassistent voor ondersteuning in de realisatie van het vernieuwde instructiemateriaal (hulp bij controleren van correctheid van feedback en beschikbaar stellen van leerobjecten) en voor het monitoren van de goede gang van zaken tijdens de digitale cursus en de dataverzameling tijdens de cursus (samenwerking en ondersteuning vanuit SOWISO en Khan Academie). WP3: Evaluatie en effectenonderzoek Doel: Data analyse tijdens en na afloop van de cursus, het evalueren van het effect van het gebruik van het student dashboard COACH en evaluatie van de tevredenheid van studenten. Aanpak en activiteiten Augustus 2013: Samenstellen pre- en posttest en evaluatie enquête (het afnemen van de tests en evaluatie wordt geïntegreerd opgenomen in de cursus WP2 pilot) 8

9 September-december 2013: monitoren van de data tijdens de cursus December 2013 april 2014: Data-analyse en analyse van de effecten op basis van correlaties van de data in de learning record store met de eigenschappen van studenten en hun studiesucces. Analyse van het gebruik van het dashboard en vergelijking experimentele met de controle groep. April-mei 2014: evaluatierapport tevredenheid student MIlestones M5: Overzicht van het gebruik van het student dashboard tijdens de pilot M6: Data-analyse en correlaties t.a.v. onderzoeksvragen van dit project (zie Doelstelling) M7: Uitwerking van de pre- en posttest en evaluatie enquête Deze documenten worden opgenomen in de publicatie en/of project eindrapportage. Coördinatie WP3: Nataša Brouwer (FNWI) Medewerkers: Nataša Brouwer, André Heck, Sander Latour (FNWI) en nog een studentassistent voor de data-analyse en verwerking van de pre- en posttest en de evaluatie. WP4: Disseminatie en projectmanagement Doel: Coördinatie van het projectteam en werkpakketen, disseminatie van de resultaten, rapportages en contact met SURF Aanpak en activiteiten Opstart (afspraken en samenwerking tussen de werkpakketen) Periodieke teambijeenkomsten om de werkzaamheden te stroomlijnen Dissemineren van de resultaten bij diverse onderwijsbijeenkomsten (presentaties, blogs en nieuwsbrief berichten) Voortgangsrapportage en eindrapportage Publicatie Milestones M8: voortgangsrapportage M9: publicatie over de resultaten van de effectmeting van COACH M10: eindrapportage met adviezen en aanbevelingen voor gebruik van een overkoepelend student dashboard in hoger onderwijs en learning record store Coördinatie WP4: André Heck (FNWI) Medewerkers: André Heck, Sander Latour, Nataša Brouwer (FNWI), Alan Berg (IC), betrokken studentassistenten en contactpersonen van SOWISO en Khan Academie (Perceptum). 4. Kennisopbouw en -disseminatie De disseminatie activiteiten zijn aangezien de doelgroep van de volgende aard: 1. Disseminatieactiviteiten op de instelling (faculteit FNWI en UvA breed) 2. Disseminatie - uitwisseling met andere projecten in deze tender 3. Disseminatie naar buiten Dit betreft: Presentaties om de resultaten van het project bekend te maken bij de instelling voor de kennisuitwisseling en om de opschaling naar andere vakken en andere faculteiten te versterken; Presentatie tijdens bijeenkomsten van de SIG Learning Analytics en andere bijeenkomsten van SURF, bijvoorbeeld De Onderwijsdagen. Nieuwsberichten op de (blog)omgeving van de instelling: ICTO-FNWI blog 6, FNWI nieuwsbrief, UvA ICTO nieuwsbrief 7 Kennisuitwisseling met andere projecten in deze tender - publicaties in community van SURF, SURFspace/learning analytics 8 Publicatie in een vaktijdschrift om de resultaten breder te delen 6 ICTO-FNWI: (laatst bezocht ) 7 UvA ICTO nieuwsbrief: (laatst bezocht ) 8 SURFspace learning analytics: (laatst bezocht ) 9

10 5. Planning, kosten en organisatie 5.1 Planning jun- 13 jul-13 aug-13 sep-13 okt-13 nov-13 dec-13 jan-14 feb-14 mrt-14 apr-14 mei-14 jun-14 WP1 M1,2 WP2 M3 M4 WP3 M5 M6 M7 WP4 M8 M9 M10 M= milestone M1: learning record store LRS M2: Student dashboard (SD) COACH M3: Functionele specificatie van het student dashboard COACH dat is afgestemd op het onderwijsontwerp M4: Vernieuwd adaptief digitaal cursusmateriaal (koppeling SOWISO en Khan Academie leeromgevingen) M5: Overzicht van het gebruik van het student dashboard tijdens de pilot M6: Data-analyse en correlaties t.a.v. onderzoeksvragen van dit project (zie Doelstelling) M7: Uitwerking van de pre- en posttest en evaluatie enquête M8: voortgangrapportage M9: Publicatie over de resultaten van de effectmeting van COACH M10: Eindrapportage met adviezen en aanbevelingen voor gebruik van een overkoepelend student dashboard in hoger onderwijs en learning record store. 5.2 Kostenoverzicht Projectbegroting Stimuleringsregeling Learning Analytics COACH Instelling UvA FNWI Instelling UvA, IC totaal totaal subsidie matching totaal subsidie matching totaal subsidie matching Materiele kosten wp wp wp wp Totaal materiele kosten Personele kosten wp ,1 wp wp wp Totaal personele kosten Overige kosten Totaal overige kosten Totaal projectkosten Matching = 50% van de subsidie Dus bij 10k subsidie, 5k matching vereist vanuit de instelling 5.3 Organisatie Het project is georganiseerd in vier werkpakketen. Elk werkpakket heeft een coördinator, die een van de teamleden is. Het projectteam komt regelmatig bij elkaar (in persoon of via videoconferencing) om de werkzaamheden en de voortgang te bespreken. 10

11 Het projectteam is samengesteld van 3 medewerkers van de UvA: 1 medewerker van het Informatiseringcentrum van de UvA en 2 stafleden van de FNWI aan de UvA en enkele studentassistenten, in principe master studenten met veel kennis op het gebied van programmeren en data analyse. André Heck, de projectleider van dit project, is ook de coördinator van WP2 Pilot in het onderwijs en WP4 Disseminatie en projectmanagement. Hij is als docent werkzaam bij het Kortweg-de Vries Instituut voor Wiskunde. Hij is gepromoveerd op het gebruik van ICT in onderwijs van wiskunde en natuurwetenschappen. Als wiskundedocent ontwikkelt en verzorgt hij sinds 2010 ICT-ondersteund wiskundeonderwijs in de bachelor opleidingen bij Levenswetenschappen; in het bijzonder valt de wiskundemodule in het gekozen vak voor de pilot onder zijn verantwoordelijkheid. Hij was de afgelopen tien jaar betrokken bij vele SURF projecten over ICT in het onderwijs. Hij is teamlid van de SURF Special Interest Group Digitaal Toetsen. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Sander Latour is de coördinator van WP1 Techniek en datakoppeling. Hij is masterstudent Artifical Intelligence bij de FNWI en werkt nu aan zijn master thesis. Hij heeft al veel ervaring en expertise in software ontwikkeling opgebouwd, met name in de web development. Hij was als studentassistent betrokken bij het SURF project User needs van docent en student bij de inzet van learning analytics. Hij heeft veel kennis op het gebied van learning analytics en is hierdoor de voorzitter van de SURF Special Interest Group Learning Analytics geworden. Hij is lid van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Hij is betrokken bij diverse ICTO projecten bij de FNWI en is lid van de Task force Learning analytics in oprichting bij de UvA. Nataša Brouwer is de coördinator van WP3 Evaluatie en effectenonderzoek. Zij werkt bij het Educational Service Center van de FNWI. Ze is gepromoveerd in scheikunde en heeft zich daarna verdiept in didactiek in natuurwetenschappen en ICT in het onderwijs. Ze is betroken bij de docentprofessionalisering (BKO). Ze is de coördinator van de ICTO-FNWI Programmaraad en van het managementteam van deze raad. Ze coördineert de ICTO projecten die bij de FNWI lopen. Ze is lid van de Task force Learning analytics in oprichting van de UvA. Ze heeft landelijke SURF projecten en SURF Special Interest Group SIGMA geleid en diverse facultaire projecten over ICT in het onderwijs en in de docentprofessionalisering. Alan Berg is betrokken bij WP1 Techniek en datakoppeling, met name bij het opzetten van de learning record store en de koppeling met het student dashboard. Hij werkt als lid van de ODG groep (Onderwijs en onderzoeksdienst groep) van het IC van de UvA. Hij is de hoofdontwikkelaar van de centrale computer services van de UvA en leidt onder andere de ontwikkelingen in de ELO Sakai. Hij heeft twee masters gedaan en heeft de onderwijskwalificatie. Hij publiceert op het gebied van ICT in het bijzonder de ontwikkelingen in Sakai. Hij is lid van het kern team van de SURF Special Interest Group Learning Analytics en lid van de Task force Learning analytics in oprichting bij de UvA. Twee studentassistenten worden later aan het team toegevoegd. 9 9 Een studentassistent kan bij meerdere werkpakketen ingezet worden. Dit verklaart waarom in principe twee studentassistenten aangezocht worden voor dit project en niet drie of vier. 11

12 6. Risicoanalyse en -management Risico learning record store heeft te weinig ruimte doordat studenten te veel data produceren Kans (1-5) Impact (1-5) Beheersmaatregel Risico eigenaar 3 5 De ruimte op de server wordt vergroot. WP1 Hiervoor wordt tijdelijk ruimte ingehuurd bij de UvA Een van de externe partners die data leveren kunnen geen 1 2 De kans is klein omdat dit jonge bedrijven zijn die met veel enthousiasme functioneren. Met data meer leveren door interne problemen. SOWISO is in een eerder project al succesvol samengewerkt. Om de commitment te sluiten worden letters van intent met de externe partners die data zullen leveren (SOWISO en Khan Academie) ondertekend. Andere kanalen zouden het leveren van data kunnen overnemen. Aanpassing van lesmateriaal door koppeling van SOWISO en Khan Academie leeromgevingen is niet op tijd klaar of leidt tot performance problemen Een te grote meerderheid van studenten wil geen data afstaan Studenten gebruiken het student dashboard niet Te weinig studenten vullen de pre- en posttest in De projectmedewerkers vallen uit WP1, WP2 1 5 De kans is klein omdat bestaand instructiemateriaal uitgangspunt is en koppeling van SOWISO omgeving al eerder zonder buitensporige inspanning succesvol gerealiseerd is. Bovendien kan geput worden uit veel oefenmateriaal uit de ONBETWIST itembank. Mochten performance problemen de kop opsteken wordt er voor gezorgd dat er terug gevallen kan worden op de huidige omgeving WP2 1 5 Uit een eerder door teamleden WP2 uitgevoerd SURF project over learning analyticss bij bio-medische studenten blijkt dat de kans hiervoor klein is. Studenten hadden geen moeite met het afstaan van de data als het over onderzoek ging en hun privacy niet wordt geschonden. Aan de studenten wordt duidelijke uitleg gegeven. De data van studenten die zullen weigeren hun data af te staan zullen niet worden gebruikt. 2 4 Aan studenten wordt duidelijk uitgelegd WP2, WP3 hoe en waar ze het dashboard kunnen raadplegen. Studenten krijgen automatische alerts uit het dashboard om deze te bezoeken, als ze een tijd afwezig zijn geweest. En het dashboard zal zichtbaar deel uit maken van de leeromgeving van wiskunde gedeelte bij het vak. 1 4 De tests worden afgenomen integraal WP2, WP3 met andere tests die studenten maken en vormen onderdeel van de wiskundemodule. Ervaring uit het ONBETWIST project leert dat 90 % van alle studenten dit ook zonder morren doet aan het begin van het vak. 1 3 De medewerkers kunnen het werk van WP4 elkaar tijdelijk overnemen totdat een vervanging wordt gevonden. Dat geldt ook voor de studentassistenten. 12

13 Bijlagen bij een projectvoorstel: Letter of intent Faculteit FNWI Letters of intent SOWISO en Khan Academie Beschrijving te gebruiken tools (zie: Beschrijving te gebruiken dataset (zie: 13

14 Bijlage 1 Letters of intent 14

15

16 16

17

18 18

19

20 20