1. Gegevens van de aanvrager Naam aanvrager(s): Dr. Danny Scholten (Docent) Dr. Maikel Wijtmans (Universitair Docent) Erik Boon (Consultant AVC) Prof. Dr. Martine J. Smit (Hoogleraar) Faculteit: Faculteit der Exacte Wetenschappen (FEW) E-mailadres: dj.scholten@vu.nl Functie: Docent (DS, hoofdaanvrager) Telefoon: 020 59 83918 2. Titel en korte beschrijving van het projectvoorstel Titel: Het gebruik van Clipquest als learning analytics tool voor blended learning Projectbeschrijving: (maximaal 200 woorden) Wat houdt uw project globaal in? Hoe gaat u het project opzetten en uitvoeren (aanpak)? Welk probleem wordt opgelost? Hoe past het project in de onderwijsvisie? Binnen de opleiding Farmaceutische wetenschappen zijn wij enige tijd geleden begonnen met het opnemen van colleges tot Mediasite slidecasts (DS, EB, MW, MS). Dit collegejaar hebben we in periode 1 een begin gemaakt met een blended learning aanpak (DS, MW) waarbij we in slidecasts van een aantal hoorcolleges van een 1 e -jaarsvak vorig jaar beschikbaar hebben gesteld als zelfstudie en in de plaats van deze hoorcolleges extra werkcolleges hebben geïntroduceerd. Hierdoor worden studenten meer geactiveerd om met de stof bezig te zijn. Echter, de theoretische achtergrond wordt nog steeds gegeven via een slidecast waarbij de student een uur of langer passief informatie tot zich neemt. Door de slidecast op gezette tijden te onderbreken met
multiple choice vragen over de stof, wordt direct het begrip getoetst, de student een spiegel voor gehouden en tevens de spanningsboog ververst. Dit sluit aan bij de onderwijsvisie van de VU, waarin het volgende wordt gesteld: actieve participatie door studenten in onderwijsactiviteiten van uiteenlopende aard komt de kennisoverdracht en de verwerking ervan ten goede Deze activerende werkvorm is mogelijk met de eerder ontwikkelde Clipquest tool (Grassroots 2014-2015, EB & Rechtenfaculteit). Tot op heden is het echter voor de docent alleen mogelijk om te zien hoe de studenten de slidecasts bekijken, maar niet of en hoe de verschillende vragen worden beantwoord. Deze informatie (zgn. learning analytics ) is zeer nuttig voor het evalueren van het type gebruikte vragen, maar ook voor het identificeren van moeilijke onderwerpen waar meer aandacht aan besteed moet worden tijdens het vak. Binnen dit project beogen wij de ontwikkeling van een functionaliteit waarmee het mogelijk wordt deze waardevolle learning analytics te verzamelen. 3. Inzet in Onderwijs Hoe wordt [het project] ingezet in het onderwijs? (maximaal 200 woorden) Beschrijf hier wat uw project innovatief maakt (binnen uw vak, de opleiding, binnen de VU). De nog te ontwikkelen learning analytics functionaliteit is een vitale uitbreiding op de bestaande Clipquest tool, welke zelf redelijk nieuw is en nog niet veel wordt toegepast (m.u.v. jurisprudentie clips in de rechten faculteit (Grassroots 2014-2015). Het strategisch hergebruik van slidecasts als online colleges/kennisclips wordt binnen de faculteit FEW en, naar ons weten ook binnen de VU, uiterst beperkt ingezet. Dit jaar is onze opleiding actief begonnen met hergebruik van vorig jaar opgenomen slidecasts en de unieke tool die we voorstellen in dit Grassroots voorstel vormt een complementaire component van die aanpak. We willen de learning analytics tool gaan inzetten in een cursus Molecular Pharmacology voor Amsterdam University College (AUC) studenten. Deze zal plaatsvinden in mei/juni 2016. Het gaat om een groep van ±20 studenten. Vorig jaar hebben we al een aantal hoorcolleges van dit vak opgenomen als Mediasite slidecasts (DS, MS) middels een protocol dat gebruikmaakt van een smartphone en Presentain software (Grassroots 2014-2015, MW, EB, DS; Wijtmans et al., submitted). Deze willen we dit collegejaar gaan hergebruiken als verrijkte slidecasts ter vervanging van de live hoorcolleges. De vrijgekomen tijd zal worden ingevuld door werkcolleges/opdrachten en het bespreken van wetenschappelijke artikelen waarbij er actiever maar ook dieper op de stof ingegaan wordt (blended learning, input MW/DS).
Omdat het aantal studenten bij deze cursus enigszins beperkt is en omdat de vereiste slidecasts voor dit vak reeds voorhanden zijn, is deze uitstekend geschikt voor een proof of concept aanpak voor het verwerken van alle data en bijbehorende statistiek. 4. Concrete opbrengsten Welke concrete opbrengsten/resultaten verwacht u van het project? (maximaal 200 woorden) Beschrijf puntsgewijs de verwachte/beoogde opbrengsten/resultaten. De technische inbedding van de statistieken van de multiple choice vragen in Clipquest wordt mogelijk gemaakt (EB). De slidecasts zullen worden verrijkt met vragen m.b.v. Clipquest (DS, MS). Door tevens het antwoordgedrag van studenten te kunnen bekijken en te koppelen aan het kijkgedrag (via de statistiekoptie van Mediasite) beogen we de volgende opbrengsten: - Inzicht verkrijgen in hoeverre studenten de vragen daadwerkelijk maken (gekoppeld aan VU-net-id), maar ook of ze deze goed of fout beantwoorden en hoeveel pogingen zij doen voordat ze tot het goede antwoord komen - Inzicht verkrijgen welke verbanden er zijn tussen het kijkgedrag (Mediasite statistieken) en antwoordgedrag (Clipquest statistieken) - Problemen met bepaalde onderwerpen binnen de slidecasts inventariseren, en deze informatie gebruiken om meer aandacht tijdens contacturen te besteden aan onderwerpen waar slecht op wordt gescoord - Evalueren of de gebruikte (type) vragen binnen de slidecasts van een juist niveau zijn en of deze op het juiste moment worden gesteld - Mogelijkheid onderzoeken of studenten op basis van lage score doorverwezen kunnen worden naar extra oefenmateriaal Deze nieuwe aanpak stelt ons dus niet alleen in staat om studenten te activeren, maar ook om op een meer kwantitatieve manier te kijken naar het gebruik en leereffect van de slidecasts (meer overzicht) en geeft de mogelijkheid om actief het onderwijs bij te sturen (meer grip). 5. Overdraagbaarheid Hoe kunnen andere vakken en opleidingen met de resultaten van dit project hun voordeel doen? (maximaal 200 woorden) Beschrijf hier welke resultaten overdraagbaar zijn en hoe andere opleidingen ze kunnen implementeren in hun organisatie. Zoals gezegd willen we Molecular Pharmacology voor AUC studenten gebruiken als casus. Een andere docent van dit vak (Prof. Dr. Rob Leurs) zal zijn colleges binnen dit vak ook opnemen zodat we deze volgend collegejaar tevens kunnen gaan gebruiken en wederom met deze tool
kunnen omzetten naar activerende werkvormen. Al naar gelang de resultaten willen wij de ontwikkelde tool gaan inzetten voor de vakken Moleculaire Principes (1 e jaar, MW) en Moleculaire Farmacologie (2 e jaar, MS) binnen de bacheloropleiding Farmaceutische wetenschappen en Signal Transduction in Health & Disease (MS) binnen de masteropleiding Drug Discovery & Safety (FEW). De tool zal ontwikkeld worden binnen het bestaande Clipquest platform binnen de VU en wordt incl. korte handleiding beschikbaar gesteld aan alle VU docenten, zodat zij hiervan gebruik kunnen maken binnen hun eigen onderwijs. Zij kunnen hun eigen weblectures/slidecasts (onafhankelijk van hoe die opgenomen zijn: VU recorders, smartphone of door het AVC) zelf verrijken met vragen en learning analytics verzamelen via Clipquest. 6. Globale planning Hoe ziet globaal de planning eruit? (maximaal 200 woorden) Beschrijf de verschillende fases van het projectvoorstel en de globale planning van de verschillende onderdelen. November-januari Mogelijk maken dat via Clipquest op Mediasite wordt ingelogd om zodoende statistieken te kunnen verzamelen Eerste ruwe versie opleveren van tool om statistieken te koppelen aan VU-net-id van de gebruiker en functionaliteit ontwikkelen om deze vervolgens op een robuuste en volledige manier te exporteren/downloaden Eerste pilot met importeren van de data in Excel, deze op verschillende manieren te sorteren en statistiek op toe te passen Optimaliseren van de workflow Februari-april Bewerken van de opgenomen slidecasts via MyMediasite en relevante vragen selecteren en toevoegen aan de slidecasts via Clipquest Testen van de slidecasts met vragen en de bijbehorende learning analytics (door een aantal student-testers) en deze combineren met kijkgedrag middels Mediasite viewing statistics Mei-Juni De verrijkte slidecasts worden actief gebruikt in het AUC vak 'Molecular Pharmacology' in een blended learning omgeving Learning analytics data wordt verzameld, geanalyseerd (statistiek) en gecorreleerd aan de Mediasite viewing statistics (bijv. aantal foute vragen correleren aan kijkgedrag)
Data wordt gebruikt om terugkoppeling te geven tijdens contacturen, om extra aandacht te geven aan struikelblokken in de stof Bepalen of er onderdelen van de contacturen moeten worden herzien voor volgend jaar op basis van de verkregen data Evaluatie met studenten en docenten 7. Haalbaarheid en risico s Hoe haalbaar is het project? Geef de haalbaarheid aan van het project en de risico s die u ziet. Een risico is dat we onvoorziene technische restricties tegenkomen in het begin van het project. Echter, Erik Boon (AVC) is de ontwikkelaar van Clipquest en is mede-aanvrager van dit project. Hij heeft geprobeerd de technische haalbaarheid van dit project (ontwikkeling van het bijhouden van statistieken en het exporteren daarvan) in te schatten. Op basis van zijn positieve oordeel hebben wij besloten deze aanvraag te doen en hebben vertrouwen in een goede afloop. Omdat het verwerken van de question statistics en het koppelen aan de Mediasite viewing statistics relatief veel tijd zal kosten (ondanks de relatief kleine studentpopulatie) willen wij graag een student-assistent aanstellen die zich hiermee bezig zal houden. Hierdoor geloven wij dat de tijdsbesteding voor de docenten binnen het Grassroots project redelijk kan blijven. 8. Begroting Hoe gaat u het toegekende bedrag besteden? Benoem zowel de uitgaven voor mensen en middelen. U kunt maximaal 1.000 euro aanvragen. Zoals genoemd onder 7, willen wij graag een studentassistent aanstellen voor het testen van de tool, het helpen invoeren van de vragen en het helpen met verwerken van de statistieken. Begroting: 100 uur * ± 10,- per uur = 1000,- Daarnaast zouden wij, indien mogelijk, graag eens overleggen binnen het Grassroots project met iemand die ruime ervaring heeft met Learning analytics om feedback te krijgen op onze methodiek en deze op detailniveau bij te stellen waar nodig. Aanvraagprocedure en sluitingsdata Om in aanmerking te komen voor een bijdrage stuurt u het aanvraagformulier volledig ingevuld uiterlijk 1 oktober 2015 naar N.R.Bos@vu.nl onder vermelding van Grassroots 2015-2016. De uitslag wordt uiterlijk 15 oktober 2015 bekend gemaakt.
Gedurende de uitvoering van het project dient u tweemaal een blogpost te schrijven waarin u verslag doet van de voortgang van het project. Er vinden gedurende de uitvoering van het project 3 bijeenkomsten plaats: een startbijeenkomst (1 november 2015), een tussentijdse bijeenkomst (29 februari 2016) en een slotbijeenkomst 28 juni (ovb). De vergoeding wordt na afloop van het project uitbetaald als u aan de verplichtingen heeft voldaan. Op 30 mei 2016 start een nieuwe aanvraagronde voor Grassroots. Deze is specifiek gericht op vakken in het eerste semester. De huidige ronde is gericht op vakken in het tweede semester.