Projecten Educatieve Middelen Pool Aanvraagformulier ondersteuning Onderwijscentrum VU

Transcriptie

1 Projecten Educatieve Middelen Pool Aanvraagformulier ondersteuning Onderwijscentrum VU Het inzetten van Blackboard en QMP voor afname van digitale tentamens binnen FALW Karin van der Wilt Faculteit der Aard- en Levenswetenschappen ICT& Onderwijs DR. K.S. Kits Onderwijscentrum VU De Boelelaan HV Amsterdam Contactpersonen: Procedure en overige vragen: mevr. C.M.J. Peters (E: T: ) ICT&Onderwijs: dhr. drs. G.J. Los (E: T: ) Digitaal Portfolio: mw. drs J. Poortinga (E: T: ) Kwaliteitszorg: dhr. dr. W. van Os (E: T: ) Onderwijsvisie: dhr. drs. G.J. Los (E: T: )

2 1. Projectbeschrijving 1.1 Samenvatting Tentamens afnemen en vooral nakijken legt steeds meer beslag op de tijd van de docent door toenemende studentaantallen. Met het toetsprogramma Question Mark Perception(QMP) is het sinds kort mogelijk een 'beveiligd' digitaal tentamen af te nemen. De faculteit ALW werkt al geruime tijd met dit toetsprogramma. Tot nu toe is het programma ingezet voor het maken van zelfstudietoetsen, instaptoetsen en adaptieve toetsen. Bij de faculteit ACTA is QMP vorig studiejaar, middels een ICTO-project, gebruikt voor het opzetten van een grote vragenbank en voor digitaal tentamineren binnen het onderwijs van de afdeling mondziekten en kaakchirurgie. Met de expertise die is opgebouwd bij ACTA en de ondersteuning van het Onderwijscentrum VU wil ook FALW het digitaal tentamineren op een hoger niveau gaan brengen en een aanvraag indienen voor een gelijkwaardig project. Tijdens de cursus Genetica is twee jaar geleden al een eerste aanzet gegeven om met Blackboard een tentamen af te nemen. De Blackboard toetsmodule bleek in de toenmalige versie geavanceerd genoeg en voldoende beveiligd. De nieuwe versie van Blackboard geeft de mogelijkheid om m.b.v. een 'secure' browser een betrouwbare toetsafname te waarborgen. De belangstelling van docenten voor een betrouwbare digitale afname is nog steeds aanwezig Bij de cursussen Statistiek en Data-analyse, Celbiologie en Mens en Evolutie willen we onderzoeken welk programma het meest geschikt is om complexe en minder complexe digitale tentamenvarianten te ontwikkelen. 1.2 Doelstellingen Het doel van het project is 1. Het opzetten van een grote vragenbank voor twee á drie cursussen 2. Het uitvoeren van digitale tentamens 3. Het opzetten van een toetsprotocol voor afname van digitale toetsing en tentaminering dat kan worden ingezet in de hele faculteit. 4. Ervaring opdoen met de organisatie van een tentamen voor een grote groep studenten. Hoe regel je de logistiek met de beschikbare PC- en zaalcapaciteit. 1.3 Afbakening en 1.4 resultaten Dit project sluit zich aan bij de standaard werkprocessen die de VU voor het gebruik van de QMP-omgeving vastgelegd heeft. Deze werkprocessen bepalen voor een groot gedeelte de activiteiten die in dit project uitgevoerd zullen worden. In onderstaande tabel is te zien welke processen achtereenvolgens uitgevoerd worden en wie in welk proces een rol speelt.

3 Student Docent Facult. QMP beheerder 1. Auteursproces 1.1. Construeren items 1.2. Samenstellen toets 1.3. Printen toets 1.4. Overzetten toets naar acceptatieomgeving 1.5. Uittesten toets op acceptatieomgeving Centrale QMP beheerder 1.6. Beheren items en toetsen 2. Afnameproces 2.1. Overzetten toets naar afnameomgeving 2.2. Aanmaken gebruikers en groepen 2.3. Schedulen toets 2.4. Afnemen toets 2.5. Verwerken en analyseren resultaten 2.6. Beheren gebruikers, groepen, schema s en resultaten (overgenomen uit: Werkprocessen t.b.v. VUmc ) In het auteursproces worden de items geconstrueerd waaruit vervolgens de toets wordt samengesteld. Dit onderdeel van het project zal voor een belangrijk deel uitgevoerd worden door de inhoudsdeskundigen van de cursussen die hieraan gaat meewerken. Voor de onderwijskundige ondersteuning van het project is de bijdrage van Drs. Liesbeth van de Grint in het project opgenomen. In het afnameproces worden de volgende afnamen gepland per cursus: 1. afname 1 proeftentamen: 2. afname tentamen Naast de uitwerking van de toets voor de cursus (sen) zal een toetsprotocol ontwikkeld worden waarin vastgelegd wordt op welke wijze het summatief en formatief toetsen binnen FALW vormgegeven wordt. In dit toetsprotocol worden de werkprocessen en regels rond toetsen met QMP en Blackboard vastgelegd. Dat document is van nut voor de gehele faculteit omdat hiermee het digitaal toetsen voor alle afdelingen binnen FALW op een hoger niveau gebracht wordt. Het project wordt afgesloten met een evaluatie waarin de studenten en betrokken docenten gevraagd wordt de toetsen te evalueren.

4 1.5 Facultair commitment Het project is ontstaan uit een geconstateerde behoefte bij docenten aan een betrouwbare toetsomgeving. Binnen de faculteit wordt op dit moment zowel de toetsomgeving van Blackboard gebruikt als van QMP voor zowel formatief als summatief toetsen. Met de nieuwe versies van QMP en Blackboard is het opzetten van een beveiligde en geavanceerdere toetsomgeving mogelijk voor tentamineren. De implementatie van het projectresultaat in het onderwijs is daardoor gegarandeerd. 1.6 Onderwijskundig kader Toetsing via de computer levert een flink aantal voordelen op, waarbij onderscheid moet worden gemaakt tussen formatieve toetsing, summatieve toetsing, diagnostische toetsing en bijspijker (practice-and-drill) toepassingen: Het aanbieden van nieuwe vraagvormen en het verwerken van beeldmateriaal van een hoogwaardige kwaliteit Het plaats- en tijdonafhankelijk aanbieden van met name formatieve toetsen Het geven van onmiddellijke feedback (bij formatieve toetsen) of een totaalscore (bij summatieve toetsen) Gemakkelijke opslag van toetsvraaggegevens Het adaptief toetsen: het aanbieden van vragen passend bij het niveau van de student Statistische tentamenanalyse Dit project sluit aan bij de notitie 'Toetsen en beoordelen Faculteit der Aard- en Levenswetenschappen ' 1.7 Kwaliteit en Disseminatie Het project wordt afgesloten met een gebruikersevaluatie. Deze evaluatie maakt deel uit van de eindrapportage. Daarnaast levert het project waardevolle informatie voor de faculteit op, om een bredere implementatie van digitaal tentamineren vorm te geven. De ervaring met noodzakelijke procedures en werkwijzen en het verkennen van nieuwe mogelijkheden die digitaal tentamineren bieden kunnen goed worden onderzocht. Deze kennis zal binnen FALW ook ingezet worden voor docentprofessionalisering, bijvoorbeeld in een workshop digitaal toetsen De kennis die in het project wordt opgedaan wordt beschikbaar gesteld aan anderen binnen de VU en binnen de faculteit. Andersom maakt FALW nu gebruik van de expertise die is opgedaan in het project van ACTA. Het Onderwijscentrum krijgt de beschikking over de projectresultaten, om deze bij andere projecten opnieuw in te zetten. FALW blijft eigenaar van de projectresultaten.

5 De projectgroep zal de resultaten regelmatig publiceren op de facultaire website, het Faculteitsnieuws, dat twee wekelijks verschijnt en het Blackboard en ICT&O nieuws dat 4x per jaar verschijnt. 2. Gewenste ondersteuning Onderwijscentrum VU Een QMP-specialist van het Onderwijscentrum zal gedurende het hele project een begeleidende en adviserende rol spelen. Hij zal in het auteursproces met name advies geven bij het opstellen van de categorieën voor de items en het samenstellen van een toets. Als QMP-deskundige zal hij de facultaire QMP-beheerder ondersteunen bij de handelingen in QMP. Ook de voorbereiding, afname en verwerking van de toets zal hij begeleiden Logistiek Bij het afnemen van een digitaal tentamen voor grote cohorten studenten loopt de faculteit aan tegen de (beperkte) capaciteit van de facultaire computerzalen. In het W&N gebouw kun je evt. 6 computerzalen tegelijk reserveren. Samen kunnen zij 210 studenten huisvesten. Dit wordt echter een complexe operatie. Met hulp van het onderwijscentrum VU is het mogelijk bij het VUmc een grote zaal met 120 computers en een tegenoverliggende zaal met 30 computers te reserveren. Voorlopig lijkt dit een goed alternatief. Het Onderwijscentrum VU heeft expertise opgebouwd met het werken met grote groepen studenten. Het is van belang voor de faculteit om ervaring op te doen met de gehele organisatie rondom het opzetten van een tentamen voor grote groepen studenten. Waarbij het wenselijk is dat er over 1 à 2 jaar geschikte accommodatie op de campus gerealiseerd wordt. 3. Projectstructuur Officiële opdrachtgever van het project: Dr. K.S. Kits, Onderwijsdirecteur. 3.1 Projectleider en medewerkers Naam Functie Afdeling Karin van der Wilt Applicatieondersteuner ICT&O / OB Drs. Liesbeth van de Grint ICT&O - Projectrol Uren p/w Telefoon Projectleider & Facultaire QMPbeheerder Onderwijs kundig expertise karin.van.der.wil t@falw.vu.nl liesbeth.van.de. grint@falw.vu.nl

6 coördinator OB Prof. dr. N.M. van Straalen Dierecologie Dr. N. Harms Moleculaire Microbiologie Studentassiste nt(en) Inhoudsdeskun digen (docenten) Invoeren vragen in QMP, testen toets 3,5 1, nico.van.straale lw.vu.nl 3. 2 Begeleidingscommissie Dr. K.S. Kits, Onderwijsdirecteur FALW DRS. Liesbeth van de Grint, ICT-coördinator FALW, docent Biologie, Onderwijsbureau Dr S.J.P. Bohncke, docent en studieadviseur, Quaternary Geology and Geomorphology, lid van de examencommissie Aard-en Levenswetenschappen. Martijn van Marle, student FALW. 4. Planning 4.1 Projectplanning Beoogde startdatum project: 1 juni 2007 Beoogde einddatum project: 1 april 2008 Graag wil de faculteit afwijken van de vastgestelde looptijd en specifieke startdatum van 1 september Gebleken is dat er docenten zijn die interesse hebben voor het afnemen van een digitaal tentamen, maar al in september 2007 een cursus geven voor een grote groep eerstejaars studenten. De cursus Mens en Evolutie start in de eerste week van september met ongeveer 250 studenten. De docent heeft ervaring met het maken van toetsen en beschikt al over een redelijk grote vragenbank. Het realiseren van een tentamen voor deze cursus binnen een redelijk korte termijn moet dan ook mogelijk zijn. De ervaring en kennis die we opdoen bij het ontwikkelen en organiseren van dit tentamen, kunnen we gebruiken voor de cursus Celbiologie die gepland is in december Activiteitenplanning Facultaire medewerkers & medewerker Onderwijscentrum VU Maand Hoofdactiviteit Medewerker(s) Uren/week Juni (2007) Werkplan opstellen Format voor vragen Projectleider/ QMP-beheerder 8

7 Juli augustus Advisering en evt. QMP-expert (OND) 8 Workshop vragenvarianten Nieuwe vragen maken Docent 3,5 Bestaande vragen Projectleider/QMPbeheerder 8 invoeren QMP SA Ondersteuning QMP-expert (OND 8 samenstellen vragen Nieuwe vragen maken Docent 3,5 Eerste bijeenkomst begeleidingscommissie Vragen invoeren Projectleidr/Beheerder 8 Toets samenstellen QMP - SA 4 Toets samenstellen QMP-expert (OND) 8 Nieuwe vragen maken Docent 3,5 en Toets samenstellen Projectleider/QMP 8 beheerder - SA 4 September Proeftentamen + tentamen Mens en Evolutie Proeftentamen + tentamen Proeftentamen + tentamen Oktober November QMP-expert (OND) 8 Docent 2 Tussenrapportage Projectleider/QMPbeheerder 8 Opstellen toetsmatrix Ondersteuning QMP-expert (OND 8 Nieuwe vragen maken Docent 1,5 Vragen invoeren Projectleider/QMPbeheerder 8 Samenstellen tentamen - SA Samenstellen tentamen QMP-expert (OND) 8 Samenstellen tentamen Docent 1,5 December Proeftentamen + Projectleider/QMP 8 Tentamen Celbiologie beheerder / SA Proeftentamen + QMP-expert 8 Tentamen Proeftentamen + Docent 2 Tentamen Januari Evaluatie Projectleider/QMPbeheerder 4 (2008) Februari Verslag Projectleider/QMPbeheerder 4

8 Maart Opstellen toetsprotocol Projectleider/QMPbeheerder 4 Zie ook: 1.3. Tabel werkprocessen QMP-omgeving

9 5. Begroting PERSONEEL Projectleiding / QMPbeheerder Onderwijskundige expertise Technische expertise QMP deskundige Fac. in fte # mnd 0,2 10 0,05 10 Fac. in K OND in fte # mnd 0,2 7 0,2 7 Vakinhoudelijke expertise 0,075 7 n.v.t. n.v.t. Studentassistent(en) 0,1 4 Secretariële ondersteuning MATERIEEL n.v.t. n.v.t. n.v.t. Hardware/ infrastructuur n.v.t. n.v.t. QuestionMark Perception n.v.t. n.v.t. TOTAAL 0, , Ondertekening en datum Amsterdam, Opdrachtgever FALW Onderwijscentrum VU