Projectvoorstel Digitaal toetsen voor Onderwijs op maat

Transcriptie

1 Projectvoorstel Digitaal toetsen voor Onderwijs op maat NAW-gegevens van de aanvragende organisatie Naam instelling: Projectaanvragers: adres projectleider: Functie projectleider: Afdeling aanvragers: Universiteit van Amsterdam, Faculteit der Natuurwetenschappen, Wiskunde en Informatica Natasa Brouwer en Guusje Smit (beoogd projectleider) Opleidingscoördinator Education Service Center Bezoekadres: Science Park 904 Postcode: Plaats: 1098 XH Amsterdam Postadres: Postbus Postcode: 1090 GH Amsterdam Telefoon projectleider: Mobiel: Titel en korte beschrijving van het projectvoorstel Titel: Surveillance op afstand Projectbeschrijving: (maximaal 300 woorden) Wat houdt uw project globaal in? Hoe gaat u het experiment opzetten en uitvoeren (aanpak)? Welk probleem wordt opgelost? Hoe past het project in de visie van uw instelling op onderwijs op maat? Met online onderwijs / blended learning is flexibiliseren en personaliseren van onderwijs in grote groepen mogelijk geworden. Het digitale toetsen is een vanzelfsprekend component in het digitaliseren van het onderwijs. Digitale tentamens in grote groepen worden nu afgenomen in zalen die hiervoor speciaal zijn ingericht. Dit is logistiek gezien vrij duur en complex. Bovendien brengt digitaal tentamineren in deze zalen beperkingen met zich mee voor de steeds flexibeler student. Dit project probeert voor dit vraagstuk oplossingen te bieden. Door bijvoorbeeld online op afstand te tentamineren kan het tijdstip van toetsafname flexibeler worden. Bij de Universiteit van Amsterdam, FNWI worden zo in de Premaster Information Studies (volledig online programma van vijf cursussen) de tentamens ook online én op afstand afgenomen (Brouwer en Haven, 2015) 1. Hiervoor heeft de UvA samengewerkt met het Nederlands bedrijf ProctorExam 2. De ervaringen met de ProctorExam applicaties in dit Pre-master programma zijn heel positief. Ook in het regulier onderwijs zijn diverse situaties te bedenken waarin online tentamens met proctoring voor studenten en voor de opleiding een grote meerwaarde zouden kunnen hebben. 1 Brouwer, N., Haven, D. (2015) Grenzeloos flexibiliseren van toetsen door online proctoring. Ervaringen met ProctorExam bij de Universiteit van Amsterdam, in Thema-uitgave open en online onderwijs: Toetsen in open en online onderwijs, SURF pp , (laatst bezocht 3 juni 2015) 2 ProctorExam: (laatst bezocht 3 juni 2015) Template Projectvoorstel Digitaal toetsen voor Onderwijs op maat SURF 1

2 Echter, een belangrijke en vaak gestelde vraag in deze context is hoe veilig, betrouwbaar en valide dergelijk online examineren met proctoring is. Kan proctoring ook in het regulier onderwijs ingezet worden? Wat betekent dit voor de student en zijn/haar privacy? Wat levert dit op voor de organisatie? Om deze vragen te kunnen beantwoorden worden tien verschillende experimenten met proctoring in het onderwijs uitgevoerd met aan ene kant individuele studenten en aan de andere kant groepen studenten. Alle experimenten hebben het doel om er uit te zoeken of digitale toetsing met proctoring geflexibiliseerd kan worden, hoe veilig deze toetsen op afstand zijn, hoe zit het met de privacy van student en met de juridische zaken bij het regulier onderwijs. 3. Criterium A Hoe innovatief is het voorstel (max. 30 punten) Hoe wordt digitale (voortgangs)toetsing, beoordeling en feedback ingezet voor flexibel en gepersonaliseerd onderwijs? (maximaal 200 woorden) Beschrijf hier wat uw experiment innovatief maakt (binnen de opleiding, binnen uw instelling of voor het Nederlands hoger onderwijs). In het regulier onderwijs zijn tentamens niet flexibel. Uit veiligheidsreden zijn de drempels om op afstand en/of op eigen computer een toets af te nemen extreem hoog. Er is desondanks veel behoefte aan flexibilisering van summatieve toetsing. Proctoring zou hier een oplossing kunnen bieden, aangezien dit in diverse probleemsituaties van individuele studenten of groepen studenten bij een specifieke cursus toegepast zou kunnen worden. Dit project bouwt voort op de ervaringen uit een lopende samenwerking UvA - ProctorExam bij het online programma Pre-master Information Studies. In dit project worden experimenten met proctoring gedaan in het regulier blended onderwijs in diverse situaties: 1. Individueel probleem: a. ziekte, revalidatie, functiebeperking (o.a. dyslexie) b. student gaat naar buitenland (vak of stage) c. buitenlandse student (vak of stage) 2. Toetsen bij een blended learning cursus a. open boek toets waar internetbronnen gebruikt mogen worden. b. toetsen met BYOD (op eigen laptop) als een aanvulling/vervanging voor het gebruik van digitale toetszalen (flexibiliseren van het toetsen vanuit de perspectief van de organisatie) Per situatie worden de privacy en juridische zaken uitgezocht en zullen aanbevelingen worden gedaan voor instellingsbeleid. In de samenwerking met ProctorExam worden drie applicaties gebruikt: - ProctorExam Pro - ProctorExam Classic - ProctorExam Light 4. Criterium B Bijdrage aan onderwijs op maat (max. 30 punten) Welke bijdrage levert het experiment aan het invullen van onderwijs op maat? (maximaal 200 woorden) Beschrijf hier wat er verandert aan het onderwijs- en leerproces zodat het meer flexibel en gepersonaliseerd is. Het onderwijsproces kan door het gebruik van ICT tools steeds meer op maat van de student ingericht worden en wordt steeds flexibeller wat betreft locatie en tijd van leren. Aan de andere kant kent de summatieve toetsing op universiteit vrijwel geen flexibiliteit. Dit project beoogt nieuwe kennis en ervaring te vergaren en over te dragen over het flexibiliseren van summatieve toetsing in blended learning Template Projectvoorstel Digitaal toetsen voor Onderwijs op maat SURF 2

3 5. Criterium C Concrete opbrengsten/resultaten (max. 20 punten) settings. Hierdoor is het mogelijk om assessments beter op maat van studenten aan te bieden. De toetsing hoeft niet gebonden te zijn aan één moment en één locatie. Dat kan er niet alleen voor zorgen dat de negatieve kanten van een toetssituatie verminderd worden (bijvoorbeeld stress) maar kan ook het toetsen mogelijk maken in situaties waarin het anders onmogelijk zou zijn geweest. Proctoring maakt het tevens mogelijk om toetsen bij de realiteit van een vakgebied en de onderwijsmethode van de cursus beter te kunnen aansluiten. Dat geldt vooral voor de vragen op hogere cognitieve niveaus, waar een toetsopdracht wordt gemaakt met gebruik van diverse applicaties en bij het raadplegen van kennisbronnen ( open boek ) door studenten. Het meten van kennis en vaardigheden van studenten kan zo een betrouwbaarder beeld van de kennis van een student geven. Welke concrete opbrengsten/resultaten verwacht u van het experiment? (maximaal 200 woorden) Beschrijf puntsgewijs de verwachte/beoogde opbrengsten/resultaten. Het flexibiliseren van summatieve toetsing m.b.v. proctoring bij enkele opleidingen (met name biomedische en informatiewetenschappen) in het regulier onderwijs bij de instelling. Beschrijving van de gebruikte scenario s met bijbehorende workflows. Aanbevelingen en tips voor het implementeren van summatieve toetsing met proctoring wat betreft instellingsbeleid, privacy statements en juridische zaken. Rapport over het evaluatief onderzoek en kosten-baten analyse bij het gebruik van proctoring in verschillende scenario s en de vergelijking met klassiekere methodes bekend bij digitale toetsing. Informatie-uitwisseling tussen en voor docenten en opleidingen bij de instelling die proctoring willen inzetten in hun onderwijs of proctoring al gebruiken met een opbouw van een community van gebruikers en een online ruimte hiervoor. FNWI heeft hiervoor al een digitaal platform, Starfish, dat nu al gebruikt wordt voor dergelijke doeleinden. Beschrijving van drie best practices ((a) individuele studenten, (b) groepen in een computerzaal en (c) groepen met BYOD) met het doel docenten en opleidingsdirecteuren te inspireren om summatieve toetsing te flexibiliseren met behulp van proctoring. Hiervoor wordt tevens de bovengenoemde informatie-uitwisseling voorziening gebruikt. Een publicatie in een onderwijs-praktijkgericht tijdschrift over de flexibilisering van summatieve toetsing in blended learning met proctoring. Slotbijeenkomst waar de ervaringen van dit project worden breed gedeeld en besproken. 6. Criterium D Overdraagbaarheid (max. 20 punten) Hoe kunnen andere instellingen met de resultaten van dit experiment hun voordeel doen? (maximaal 200 woorden) Beschrijf hier welke resultaten overdraagbaar zijn en hoe andere hogeronderwijsinstellingen ze kunnen implementeren in hun organisatie. De beschrijvingen, rapporten en aanbevelingen (o.a. m.b.t. de privacy en juridische zaken) worden ter beschikking gesteld aan andere instellingen. De kennis en ervaring wordt gedeeld via verschillende kanalen. Een online ruimte voor kennisdeling van de community van ProctorExam gebruikers wordt opgezet in Starfish (open online kennisnetwerk van de UvA/FNWI). De use cases worden verspreid ook via ProctorExam. Om de opgedane kennis actief te verspreiden onder de docenten/opleidingen die met ProctorExam willen werken wordt een landelijke bijeenkomst met discussie over flexibilisering van summatieve toetsing in het HO georganiseerd. Tijdens Template Projectvoorstel Digitaal toetsen voor Onderwijs op maat SURF 3

4 deze bijeenkomst zullen de ervaringen met de diverse scenario s in dit project worden gepresenteerd. Er zullen ook gasten uitgenodigd die veel kennis en ervaring op het gebied van digitaal toetsen hebben. 7. Globale planning Hoe ziet de planning eruit? (maximaal 300 woorden) Beschrijf de verschillende fases van het projectvoorstel en de globale planning van de verschillende onderdelen. Tijdsplanning: Juli-september: o informatiemateriaal voor docenten en opleidingen maken/verspreiden o toepassingsscenario s voor het toetsen met proctoring op basis van uitgesproken wensen van opleidingen en docenten. o fraude-test ivm veiligheid van de ProctorExam applicaties met een groep informatica studenten die het systeem proberen te kraken. De studenten worden speciaal voor deze test ingehuurd. Augustus-september o In kaart brengen van de privacy en juridische zaken over proctoring in het regulier onderwijs (gebaseerd op het aanvullend onderzoek op het werk al gedaan voor het inzet van proctoring bij pre-master programma s). o planning van de experimenten in het onderwijs: in principe 10 experimenten. Voor elk scenario twee experimenten met daartussen een optimalisatieslag en ontwerpen van de workflows voor implementatie o evaluatieprotocol voor het meten van tevredenheid van studenten en docenten, effecten op onderwijs flexibiliteit en kosten-baten analyse. September-mei o voorbereiden/plannen van experimenten in het onderwijs gedurende het academische jaar, o informatiemateriaal en handleidingen voor studenten, o.a. over privacy, per scenario en per experiment o evaluatieonderzoek/enquêtes/interviews/kosten-baten analyse per experiment Oktober-mei o uitvoeren van 10 experimenten met proctoring in het onderwijs o evaluatie en onderzoek naar effecten voor de studenten en organisatie Mei-juni o optimaliseren van workflows voor implementatie van toetsen met proctoring voor verschillende didactische scenario s met gebruik van verschillende ProctorExam applicaties (definitieve versies) o finaliseren van beschrijvingen van de resultaten van de experimenten, best practices en tips o documentatie over privacy en juridische zaken en aanbevelingen over privacy beleid inzake proctoring. o schrijven van de projectrapportage o schrijven van een paper over flexibiliseren van toetsen met proctoring Juni o slotbijeenkomst (samenwerking met SURFacademy gewenst) Juli - juni (de hele projecttijd) o Verspreiding van kennis en informatie voor de docenten en opleidingen en activiteiten voor het opbouwen van een community of practice (nieuwsbrieven, blogs, bijeenkomsten, kennisdeling door docenten) met een community ruimte in Starfish. Template Projectvoorstel Digitaal toetsen voor Onderwijs op maat SURF 4

5 8. Haalbaarheid en risico s Hoe haalbaar is het project? Geef de haalbaarheid aan van het project en de risico s die u ziet. De haalbaarheid van het project wordt bevorderd door - de kennis en ervaring van de partners opgedaan in eerdere samenwerkingen - de goede verstandhouding en samenwerking tussen partners, momenteel en in het verleden - de uitgesproken interesse en beschikbaarheid van cursussen en student gevallen aan de UvA waarvoor de experimenten wenselijk zijn om te zien of proctoring een oplossing voor is. Risico s zijn - dat docenten/opleidingen die al interesse hebben getoond voor dit project zich terugtrekken. Dit risico wordt naar verwacht ondervangen door de/het brede inventarisatie/prioriteitsonderzoek aan het begin van het project en kennis overdracht tijdens het project. - dat studenten om privacy redenen niet mee willen werken aan de experimenten (de studenten zullen vrij kunnen kiezen om aan een experiment mee te doen of niet). Dit risico wordt naar verwacht ondervangen door de goede informatie over het privacy beleid van proctoring in het kader van het project en over de projectdoelen. Tevens zullen studenten worden betrokken bij het meedenken over aanbevelingen over het beleid rond het surveilleren van toetsen op afstand. Het projectteam houdt regelmatig overleg met een frequentie een keer per maand. Aan het begin wordt er een kick off georganiseerd. De slotbijeenkomst heeft een brede karakter. Een klankbordgroep wordt ingericht bij de start van het project, samengesteld van twee opleidingsdirecteuren (een op bachelor en een op master niveau) waarvan een directeur al met proctoring heeft gewerkt en twee studenten die proctoring al eerder mee hebben gemaakt. 9. Begroting Welk bedrag vraagt u aan en waaraan gaat u het toegekende bedrag besteden? Benoem per onderdeel de daaraan gekoppelde uitgaven (mensen en middelen). U kunt maximaal euro aanvragen. Totale begroting: Gevraagde subsidie: Matching UvA: ProctorExam (inclusief BTW) D. Haven en ProctorExam team. Samenwerking bij het voorbereiden van experimenten. Het uitvoeren van de proctoring in 10 experimenten volgens verschillende scenario s. Samenwerking aan het ontwikkelen van de workflows en optimalisatie-flexibilisering van het ProctorExam systeem met als voorbeeld scenario s op maat van de FNWI. Bijdrage aan de kennis overdracht en het maken van materiaal dat beschikbaar wordt gesteld voor andere instellingen. UvA-FNWI subsidie en daarnaast eigen matching: G. Smit (projectleider), experimenten en evaluatieonderzoek, projectmanagement, 3.000, matching studentassistenten, ondersteuning uitvoeren inventarisatie/evaluatie onderzoek, ondersteuning bij disseminatieactiviteiten, Groep van 5 studenten voor het testen van veiligheid (kraken-test) Template Projectvoorstel Digitaal toetsen voor Onderwijs op maat SURF 5

6