Implementatieplan Detailplanning. Implementatieproject digitale toetsing RUG. Uitvoerder: Educational Support and Innovation. i.s.m.

Transcriptie

1 Implementatieproject digitale toetsing RUG Implementatieplan Detailplanning Uitvoerder: Educational Support and Innovation i.s.m. Faculteiten 25 januari 2013

2 Versiebeheer Datum Titel en documentnaam Status Opmerkingen Implementatieplan (bestand: Implementatieplan goedgekeurd ICT-Cie.docx) Goedgekeurd door ICT Cie en CvB Inclusief begroting op hoofdlijnen, taken nog niet toegewezen aan teams, detailplanning ontbreekt Implementatieplan 2.0 Concept Plan van aanpak verder uitgewerkt, taaktoedeling uitgewerkt binnen randvoorwaarden toegewezen aanvraag. Voorgelegd voor advies aan projectteam Implementatieplan 2.0 (bestand Implementatieplan 2.0.docx) Definitief Aanpassingen doorgevoerd in plan van aanpak; overige hoofdstukken herzien.

3 Inhoud: Table of Contents 1 Samenvatting Algemene informatie Projectopdracht Stuurgroep Projectteam en deelprojectteams Projectadministratie Website en overige informatiekanalen Plan van aanpak Werkpakket 1: Planning en uitvoering tentamens Uitgangssituatie Deelpakketten Resultaten Uitvoering in uren, kosten en periode Werkpakket 2: Toetsontwikkeling Nestor Uitgangssituatie: Deelpakketten Resultaten Uitvoering in uren, kosten en periode Werkpakket 3: Toetsontwikkeling QMP Uitgangssituatie: Deelpakketten Resultaten Uitvoering in uren, kosten en periode Werkpakket 4: Toetsinfrastructuur Uitgangssituatie: Deelpakketten Resultaten... 16

4 3.4.4 Uitvoering in uren, kosten en periode Werkpakket 5: Management en communicatie Uitgangssituatie Deelpakketten Resultaten Uitvoering in uren, kosten en periode Risicoanalyse Begroting Totaal in uren, kosten en periode Kostenverdeling (conform eerdere versie projectplan) Standlijnenoverzicht... 24

5 1 Samenvatting Digitaal toetsen wordt sinds september 2012 aangeboden als een standaardvoorziening binnen de RUG. Er kan worden getoetst in zaal 3 van de Aletta Jacobshal (AJH) op basis van Nestor. Daarnaast zijn voorbereidingen getroffen om, conform het advies van de projectgroep Idem Dito, Questionmark Perception (QMP) als standaardvoorziening aan te bieden. Tenslotte is er een inventarisatie gestart van specifieke wensen en overige vormen van toetsing die momenteel nog niet kunnen worden ondersteund. Hiervoor moeten aanpassingen aan de computerinfrastructuur binnen de Aletta Jacobshal en op andere lokaties binnen de RUG worden doorgevoerd. Voor de overwegingen die hebben geleid tot de keuzes voor implementatie wordt verwezen naar het Eindadvies Idem Dito ( Het voorliggende plan betreft de nadere uitwerking van de hoofdlijnen van het implementatietraject, zoals beschreven in dat advies (pp ). De vraag naar digitale toetsing is substantieel. Voor het studiejaar waren in september digitale tentamens ingeroosterd in de AJH. Van 1 oktober 2012 tot 1 januari 2013 zijn 15 digitale toetsen afgenomen. Dit aantal ligt lager dan gepland, maar het toetsproces is goed verlopen. Voor de tentamenperiode vanaf januari 2013 zijn weer meer tentamens ingeroosterd en afgenomen. Bovendien zijn er tussentijdse aanvragen binnengekomen voor nieuwe tentamens. De verwachting is dat het aantal afnames over ongeveer op het begrote aantal zal uitkomen. Voor het studiejaar wordt rekening gehouden met een minimale afname van 200 toetsen. Inmiddels zijn ook verschillende facultaire innovatieplannen door het CvB gehonoreerd. Digitale toetsing speelt een rol in verschillende hiervan. Dit zal leiden tot een verdere toename in de komende jaren. De dienstverlening digitale toetsing is ondergebracht bij de afdeling ESI van het CIT. Het functioneel beheer is belegd bij de medewerkers toetsondersteuning, het technisch beheer bij de medewerkers onderwijsapplicaties. Om tegemoet te komen aan de vraag naar digitale toetsing vanuit de universiteit is uitbreiding van het functioneel beheer noodzakelijk, verder zijn aanpassingen aan Nestor nodig en moet de toetsinfrastructuur worden verbeterd en uitgebreid. Hiervoor is de formatie voor technisch beheer uitgebreid. Ook zijn middelen vrijgemaakt voor coördinatie en communicatie. Het betreft tijdelijke uitbreidingen van de formatie van ESI gedurende de projectperiode. Na afloop zal de dienstverlening, zoals ook nu gebruikelijk is voor de ondersteuning van papieren tentamens, voor een belangrijk deel aan de faculteiten kunnen worden doorberekend. Daarnaast is de financiering geregeld voor exploitatie en de aanschaf van Questionmark Perception. Ook hiervoor zal na afloop van het project een definitief kostenmodel moeten worden opgesteld. In oktober 2012 heeft het CvB ingestemd met de eerste versie van het projectplan. Het Managementberaad is in november 2012 akkoord gegaan met de voorstellen t.a.v. matching. De financiering van het project is hiermee gedekt. In het voorliggende plan is het implementatietraject afgestemd op de actuele situatie en verder uitgewerkt in een gedetailleerd plan van aanpak, met bijbehorende uren- en kostenoverzichten. 1

6 Voor de implementatie van digitale toetsing is door het CvB subsidie verleend. De faculteiten en CIT (inclusief ESI) dragen samen bij. ESI maakt ca. 1 fte per jaar vrij uit de formatie ten behoeve van de ondersteuning, en zet de aanvullende middelen in voor functionele en technische ondersteuning. CIT bekostigt een deel van de personele ondersteuning uit het lopende UWP 2.0 project. De faculteiten dragen bij aan de technische assistentie tijdens de toetsafnames en de licentiekosten voor het gebruik van QMP (voorzover ze hier gebruik van maken). De kosten voor digitale toetstrainingen en toetsverwerking (toets- en itemanalyse) zullen op de gebruikelijke wijze worden verrekend met de faculteiten en blijven buiten beschouwing in dit plan. De grootste investering die faculteiten zullen moeten doen om digitale toetsing mogelijk te maken betreft de kosten voor docentprofessionalisering, coördinatie en ondersteuning, en de ontwikkeling van toetsen en itembanken. Hiervoor hebben verschillende faculteiten aanvullende financiering verworven. Deze kosten blijven in dit implementatieplan eveneens buiten beschouwing. 2

7 2 Algemene informatie 2.1 Projectopdracht De implementatie wordt uitgevoerd in opdracht van prof. dr. C.G.M. Sterks, directeur CIT. De projectopdracht kan als volgt worden samengevat: Het project dient ervoor te zorgen dat: digitale toetsing op korte termijn breed wordt ingevoerd binnen de RUG (zaal 3 van de AJH moet optimaal worden benut); een concreet aanbod aan toetsmogelijkheden wordt gecreëerd waarmee wordt ingespeeld op de vraag vanuit de faculteiten en waarmee nieuwe vraag wordt gegenereerd; de toetsing voldoet aan eisen van kwaliteit (inhoudelijk), betrouwbaarheid (bedrijfszekerheid) en veiligheid (fraudebestendigheid). 2.2 Stuurgroep De voorlopige samenstelling van de Stuurgroep is: Prof. Dr. Nico Bos, Geneeskunde Drs. Rob Wagenaar, Letteren Drs. Rob van Ouwerkerk, GMW Drs. Louwarnoud van der Duim, ESI Dr. Sake Jager, projectleider Voor de andere faculteiten, waar de invoering van digitale toetsing kleinschaliger is of nog op gang moet komen, wordt een gedeelde vertegenwoordiging in de Stuurgroep nagestreefd. Voorgesteld is om één vertegenwoordiger aan te wijzen namens Rechten, Godgeleerdheid en Godsdienstwetenschappen en Wijsbegeerte en één namens Economie en Bedrijfskunde, Ruimtelijke Wetenschappen en Wis- en Natuurkunde. 2.3 Projectteam en deelprojectteams Het projectteam is samengesteld uit de teamleiders van de verschillende deelprojecten: Planning en beheer: Drs. Rolf Klein Hegeman Toetsen met Nestor: Dr. Lisette Bakalis Toetsen met QMP: Ir. André Rosendaal Toetsinfrastructuur: UWP 2.0 medewerker CIT Management en communicatie: Dr. Sake Jager In verband met advisering en terugkoppeling ten aanzien van toetstraining, -analyse en evaluatie neemt Dr. Yta Beetsma eveneens deel aan de bijeenkomsten van het projectteam. 3

8 De deelprojectteams hebben een wisselende samenstelling. Namens ESI zijn onderstaande medewerkers reeds betrokken bij de uitvoering van verschillende projecttaken: Drs. Engelien de Jong, functioneel beheer toetsen Drs. Dineke van Es, functioneel beheer toetsen Carlien Vermue, Msc, evaluatie toetsen Dhr. Peter Fokkinga, applicatieontwikkeling Dhr. Robert de Haan, communicatie Mevr. Lisa Loeve, communicatie Nestorsupport (verschillende student-assistenten) De teamleiders bepalen de invulling van de overige functies (Nestor-ontwikkeling/-ondersteuning, QMPontwikkeling/-ondersteuning, etc.). Aan de uitvoering van werkzaamheden wordt ook deelgenomen door medewerkers van andere afdelingen van het CIT (werkplek- en middleware services, applicatiebeheer) en door medewerkers van de faculteiten. De namen van de betrokken medewerkers zijn nog niet allemaal bekend. 2.4 Projectadministratie Voor de leden van de stuurgroep, teamleden en uitvoerders binnen de faculteiten is een teamsite (Edugroep) ingericht: met toegang op basis van de gebruikersnaam en het wachtwoord aan de RUG. Alle projectdocumenten worden via deze site ontsloten voor leden van de Stuurgroep, projectteam en deelprojectteams, en eventuele andere gebruikers / toezichthouders binnen de RUG. Iedere twee maanden worden uren- en kostenoverzichten opgesteld over de voorliggende periode. ESI medewerkers administreren de uren in Korade (m.u.v. Nestorsupporters); de overige projectmedewerkers houden de uren bij in een Excelformulier dat iedere twee maanden door de projectleiding wordt opgevraagd. 2.5 Website en overige informatiekanalen Informatie over het project wordt vanuit het volgende adres ontsloten: Nieuws en informatie zal via MyUniversity en de RUG website onder de aandacht van specifieke doelgroepen worden gebracht. Ook zullen nieuwsbrieven worden verspreid en de sociale media LinkedIn, SURFSpace en Yammer zullen worden ingezet om het project onder de aandacht van specifieke groepen te brengen. 4

9 3 Plan van aanpak Het PvA beslaat de periode vanaf september 2012 tot september Aan het eind van deze periode moet een adequaat aanbod aan toetsmogelijkheden zijn gerealiseerd, betrouwbare toetsing binnen de AJH en op specifiek aangewezen lokaties daarbuiten zijn geïmplementeerd, en een dienst voor digitale toetsing zijn ingericht. De werkzaamheden zijn verdeeld over vier werkpakketten, ingedeeld naar de voornaamste gebieden waarop acties worden ondernomen. Ten opzichte van het eerder ingediende (en goedgekeurde) projectplan is één wijziging doorgevoerd. Werkpakket 1 Planning en uitvoering tentamens is toegevoegd om duidelijker onderscheid te maken tussen het proces van digitale toetsing (dienst in opbouw) en de ontwikkelwerkzaamheden die nodig zijn om nieuwe functionaliteit te realiseren. De beoogde resultaten zijn zo concreet mogelijk gespecificeerd op basis van de nu bekende informatie. De binnen de werkpakketten opgenomen uren- en kostenoverzichten zijn gebaseerd op een globale inschatting van uren per medewerker per taak. De teamleider bepaalt in overleg met de projectleider hoe de beschikbare middelen per werkpakket worden ingezet. In de periode sinds september 2012 zijn de werkzaamheden in hoofdlijnen volgens de hier gespecificeerde planning opgestart. 3.1 Werkpakket 1: Planning en uitvoering tentamens Verantwoordelijke teamleider: Rolf Klein Hegeman Uitgangssituatie: De planning, ondersteuning en afname van de toetsen wordt via een vaste procedure geregeld. De procedure zal in de loop van het project verder worden geoptimaliseerd. De huidige tijdsinvestering in de ondersteuning van toetsen is relatief hoog (ca. 8 uur per toets), onder andere omdat extra personeel wordt ingezet tijdens toetsafnames en omdat extra controles en aanpassingen nodig zijn van toetsen die door docenten binnen de UWP zijn ontwikkeld (ondermeer vanwege de afwijkende configuratie in de AJH). De bedoeling is dat het aantal uren aan het eind van het implementatietraject zal zijn teruggelopen tot ca. 2 a 3 uur per toets. Uiteraard neemt de tijd voor assistentie (aanwezigheid) door toetsassistenten tijdens de afnames niet af, maar in overleg met faculteiten kunnen de taken worden uitgebreid met reguliere surveillancetaken Deelpakketten Toetsondersteuning De ondersteuning wordt door ESI uitgevoerd volgens een vastgestelde procedure, waarin o.a. de volgende zaken zijn geregeld: 5

10 Er worden intakegesprekken gevoerd met docenten en facultaire coördinatoren; de intakegegevens worden op een standaardformulier vastgelegd. Op basis van de intakes wordt de definitieve planning en taakverdeling voor de toetsondersteuners vastgelegd. Tijdens de voorbereiding wordt begeleiding geboden bij de ontwikkeling van de toets door de docent(en), docenten krijgen inhoudelijke adviezen ten aanzien van kwaliteits- en uitvoeringsaspecten van de toets, de toetsomgeving in Nestor wordt ingesteld, er wordt een functionele en technische check uitgevoerd na aanlevering van de toets, de instellingen van de toets worden afgestemd met de technisch beheerders, en de docenten krijgen een proefversie van de toets ter controle aangeboden. Op het moment van afname wordt de toets opengezet voor studenten, tijdens de afname zijn naast de docent, één of twee (bij meer dan 100 studenten) Nestorsupporters aanwezig voor het oplossen van technische problemen; in de beginfase is ook een medewerker toetsondersteuning aanwezig bij het tentamen. Van het toetsverloop wordt door de student-assistent(en) standaard proces verbaal opgemaakt. Na afloop worden de antwoorden van studenten eenvoudig toegankelijk gemaakt voor docenten. Bij open vragen gaan de docenten aan de slag met correctie van de antwoorden. Op verzoek wordt een analyse van de toetsresultaten uitgevoerd (nog niet beschikbaar voor alle vraagtypen). De docent krijgt assistentie bij het bepalen van de eindscore. De toets wordt gearchiveerd. Van alle toetsafnames wordt een formatieve evaluatie uitgevoerd aan de hand van online enquêtes voor studenten en docenten, eventueel gevolgd door vervolggesprekken Verbetering procedures, protocollen en gebruikersdocumentatie Het verbeteren van het toetsproces en de documentatie ervan is een doorlopende activiteit, waarvoor structureel tijd is gereserveerd. De huidige toetsprocedure werkt in de praktijk redelijk goed en heeft ertoe bijgedragen dat grote problemen tijdens de toetsafnames beperkt zijn gebleven. Maar de procedure vergt relatief veel tijd. Ook de tooling kan verder worden verbeterd. Daarnaast zullen o.a. uit de evaluaties onder studenten en docenten (3.1.2) verbeterpunten in het toetsproces naar voren komen die vragen om bijstelling van procedures, protocollen en gebruikersdocumentatie. Ook uitbreiding van digitale toetsing met nieuwe functionaliteit of nieuwe software maakt geregelde bijstelling noodzakelijk Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de detailplanningen, procedures, gebruikersdocumentatie en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt Resultaten 1 Uitvoering van ca. 120 toetsen in jaar 1 en ca. 200 toetsen in jaar 2 2 Adviezen aan docenten t.a.v. ontwerp en resultaten toets 3 Technische ondersteuning bij iedere toets 6

11 4 Evaluaties onder studenten en docenten na iedere toets 5 Verbeterde procedures en protocollen voor digitale toetsing 6 Adequate administratieve afhandeling van digitale toetsen 7 Gebruikershandleidingen en overig instructiemateriaal 8 Ontwerpen, rapporten en verslagen Uitvoering in uren, kosten en periode Planning en uitvoering tentamens 5.374h ,00 Mon Fri Coördinatie 164h 8.200,00 Mon Fri Toetsondersteuning 4.690h ,00 Mon Fri Intakes 144h 7.200,00 Mon Fri Voorbereiding 1.600h ,00 Mon Fri Afnames 1.986h ,00 Mon Fri Nazorg 232h ,00 Mon Fri Evaluaties 728h ,00 Mon Fri Verbetering procedures, protocollen en gebruikersdocumentatie 216h ,00 Sun Fri Teamoverleg en rapportages 304h ,00 Mon Thu Werkpakket 2: Toetsontwikkeling Nestor Verantwoordelijk teamleider: Lisette Bakalis Uitgangssituatie: Met ingang van september 2012 worden digitale tentamens afgenomen in de AJH op basis van Nestor. Voor het toetsen in Nestor wordt gebruik gemaakt van de standaard Blackboard toetsmogelijkheden aangevuld met een maatwerk buildingblock Essayvragen. Studenten komen na inloggen direct terecht in de voor hen bestemde digitale toets binnen een van internet afgesloten omgeving. Aanvullende UWP/SWP software (zoals Word, Excel, SPSS, etc) is nog niet beschikbaar. De toetspagina toont een foto van de ingelogde student en zijn of haar gegevens. Er zijn nog enkele issues met het gebruik van deze persoonlijke pagina in combinatie met het essay-building block. Item- en toetsanalyse kan op verzoek door ESI worden verzorgd voor multiple choice items, matching met partiële puntentoekenning en open 7

12 vragen, op de manier die ook voor papieren toetsen gebruikelijk is. Voor de overige vraagtypen kan nog geen standaardanalyse worden geboden. De verdere ontwikkeling en verbetering van Blackboard als toetssysteem voor de RUG wordt langs vier hoofdlijnen (deelpakketten) uitgevoerd. Teamoverleg en rapportages worden benoemd als afzonderlijk deelpakket. De teamsamenstelling varieert naar gelang het onderdeel dat wordt ontwikkeld of verbeterd. De realisatie wordt uitgevoerd volgens een cyclisch implementatieproces. Een functioneel ontwerp op basis van eisen en wensen door gebruikersgroepen maakt standaard deel uit van het ontwikkeltraject. Nieuwe functionaliteit wordt uitvoerig getest alvorens in productie te worden genomen. Functionele wijzigingen in de productieomgeving kunnen ongeveer vier keer per jaar worden doorgevoerd tijdens tentamenvrije periodes Deelpakketten Verbetering toegang studenten, afscherming en differentiatie Doel van deze activiteit is om de toegang van studenten tot de toets in Nestor te verbeteren, afscherming van of juist toegang tot bepaalde bronnen te kunnen regelen en toetsen met verschillende instellingen en toegangsrestricties door en naast elkaar te kunnen aanbieden. De ontwikkeling van de bedoelde functionaliteit wordt verricht in nauw overleg met de uitvoerders van WP4. Wijze van toegang en de instellingen van restricties gelden bij voorkeur ook voor programma s die vanuit Nestor worden opgestart, waaronder QMP Implementatie score-, cijferbepaling en cijferadministratie Doel van deze activiteit is om de koppeling van het toetsanalysesysteem Ttlyse met Nestor te verbeteren, en de doorgifte van cijfers naar Progress te automatiseren. De toetsanalyse kan nu alleen worden toegepast bij MC, matchingvragen en essayvragen, en het gebruik in combinatie met itempools is lastig. Cijfers kunnen nu alleen na export naar Excel, op papier of via de mail, worden doorgegeven aan de facultaire onderwijsbureaus voor verdere verwerking Verbetering en aanpassing vraagtypen Doel van deze activiteit is om de bestaande vraagtypen te verbeteren en desgewenst nieuwe vraagtypen te realiseren. Het eerder ontwikkelde building block voor essayvragen zal worden verbeterd. O.a. zijn verbeteringen gewenst m.b.t. on-screen horizontaal en verticaal nakijken van essays, feedback geven op gemaakt werk, al dan niet tonen van studentgegevens en vastlegging en optelling van deelresultaten in het grade center. Bij eventuele aanpassing of uitbreiding van vraagtypen zal een nauwkeurige afweging worden gemaakt in hoeverre de wijzigingen wenselijk zijn met het oog op de reeds beschikbare functionaliteit van de 17 bestaande vraagtypen. 8

13 Realisatie beheeromgeving toetscursussen Digitale toetsen worden standaard afgenomen via een hiertoe ingerichte toetscursus in Nestor. Dit geldt zowel voor toetsen op basis van de toetsfunctie in Nestor als voor toetsen die worden afgenomen via externe toetsprogramma s. Ten behoeve van planning, overzicht en rapportages is het wenselijk om alle toetsen via een specifieke portal (of beheeromgeving) in Nestor te ontsluiten voor toetsondersteuners, docenten, coördinatoren, studenten en eventuele andere belanghebbenden. Rubricering van toetsen (indeling naar faculteit en opleiding) en archivering worden via deze portal gefaciliteerd. Ook eventuele import- en conversiemogelijkheden van verschillende bronbestanden kunnen via de portal worden geregeld. De portal biedt verder toegang tot alle relevante informatie m.b.t. digitale toetsing voor docenten en toetsondersteuners binnen de RUG (overzicht geplande toetsen, gebruikersdocumentatie, etc.). Voor studenten wordt o.a. gedacht aan overzichten van, en indien gewenst door de opleidingen, toegang tot eerder gemaakte toetsen. Het conceptueel en functioneel ontwerp en de realisatie van de portal worden door deze projectactiviteit uitgevoerd Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de functionele ontwerpen, detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt Resultaten 1 Gepersonaliseerde, afgeschermde toegang voor studenten 2 Uitgebreide en verbeterde koppeling met Ttlyse 3 Koppeling / workflow cijferadministratie in Progress 4 Verbeterde/uitgebreide functionaliteit voor essayvragen, evt. realisatie aanvullende vraagsoorten 5 Beheeromgeving/portal in Nestor 6 Ontwerpen, rapporten en verslagen 9

14 3.2.4 Uitvoering in uren, kosten en periode Toetsontwikkeling Nestor 2.364h ,00 Mon Fri Coördinatie 200h ,00 Mon Fri Toegang studenten, afscherming en differentiatie 164h 8.200,00 Mon Fri Score-, cijferbepaling en administratie 576h ,00 Mon Thu Verbetering en aanpassing vraagtypen 536h ,00 Wed Fri Beheer toetscursussen 608h ,00 Fri Thu Teamoverleg en rapportages 280h ,00 Mon Fri Werkpakket 3: Toetsontwikkeling QMP Verantwoordelijk teamleider: André Rosendaal Uitgangssituatie Vanuit Idem Dito is geadviseerd om Questionmark Perception (QMP) aan te schaffen en binnen de RUG te implementeren als tweede pakket voor digitale toetsing. Belangrijke gebruikers van het pakket zijn FMW en Letteren. FMW zal vrijwel uitsluitend gebruikmaken van QMP, terwijl Letteren het pakket naast Nestor zal gebruiken. Bij GMW zal het gebruik worden ontwikkeld door het pakket in te zetten voor het opbouwen van toetsdatabanken (Innovatieplan) en als repository voor vragen voor de afname van papieren toetsen. Het gebruik bij de andere faculteiten moet nog op gang komen. Volgens plan wordt QMP gekoppeld aan de hierboven genoemde Nestoromgeving (toegang en autorisatie, terugkoppeling resultaten). Voor de betreffende faculteiten moet het gehele digitalisatietraject (aanleveren van vragen door docenten, onderbrenging in database, aanbrengen topicstructuur/metadata, instellen toetsmatrijs, uitlevering aan studenten op PC of papier) in samenwerking met toetsexperts van ESI worden geïmplementeerd Deelpakketten Voorbereiding Deze activiteit is erop gericht om de benodigde software (QMP en benodigde componenten) aan te schaffen en te implementeren voor gebruik. QMP 5.4 wordt aangeschaft. De hosting en technische installatie van QMP wordt verzorgd door de leverancier. Aanvullende componenten (Blackboard 10

15 Building Block, Print-en-Scan module, Authoring Module) worden lokaal geïnstalleerd. Uitgangspunt voor het contract is een licentie voor 5000 gebruikers over twee jaar. Er wordt gekozen voor een On Premise contract (eigen licentie, hosting in een datacenter in Nederland), waarbij initieel wordt uitgegaan van een piekbelasting voor maximaal 150 simultane logins. Bij toetsen met een groter aantal studenten wordt het inlogmoment verdeeld over twee groepen. In het contract wordt een voorbehoud gemaakt ten aanzien van het goed doorstaan van een stresstest. Het Blackboard Building Block is bedoeld voor integratie met Nestor (authenticatie en koppeling van resultaten aan grade center) en wordt door Nestorsupport geïnstalleerd. De Print-en-Scan module moet worden aangesloten op de Teleform scanner en software. De authoring module wordt geïnstalleerd op de lokale PC s van de toetsmedewerkers met de rol van toetsexpert (beheerders van de topic tree in QMP). De installatie van deze modules wordt verzorgd in overleg met de afdeling applicatiebeheer van CIT. In afwachting van definitieve ondertekening van het contract, richt de leverancier tijdelijk een testserver in waarop de modules kunnen worden getest Inrichting functionele ondersteuning Deze activiteit is bedoeld om de functionele ondersteuning van QMP op te zetten. Het gaat hierbij om de functionele inrichting van het toetspakket, het vaststellen en inrichten van het ondersteuningsproces en het opzetten en toerusten van de ondersteuningsorganisatie. Bij de implementatie wordt nauw samengewerkt met de leverancier. Ook wordt informatie ingewonnen bij zusterinstellingen die ervaring hebben met het inrichten van het QMP-systeem en de bijbehorende ondersteuning. In het contract met de leverancier is ondersteuning bij de volgende onderdelen van het implementatieproces opgenomen: Kick off met stakeholders Training auteurs Inzet technische implementatie Ondersteuning functioneel beheerders Ondersteuning inrichting item-bank (topicstructuur) Ontwikkeling en beschrijving klant specifieke procedures Ontwikkeling templates Stresstesten Projectleiding & nazorg Bij de implementatie van QMP in de organisatie wordt ervan uitgegaan dat naast ESI alle faculteiten die gebruik willen maken van QMP een passende functionele organisatie inrichten. Dit betreft in ieder geval de faculteiten FMW, Letteren en waarschijnlijk ook GMW. De inrichting van het functioneel beheer wordt door ESI en de toetsexperts van de faculteiten samen verzorgd. ESI draagt zorg voor het centraal beheer, de onderlinge afstemming en de overdracht van kennis en uitbreiding van het gebruik van QMP naar de andere faculteiten. Aan de trainingen in het eerste jaar wordt deelgenomen door de 11

16 toetsondersteuners van ESI en de betreffende faculteiten. ESI ontwikkelt ook zelf trainingen en gebruikersdocumentatie. In het eerste jaar werken uitsluitend FMW, Letteren, en GMW met QMP. In het tweede jaar worden ook de andere faculteiten betrokken bij het gebruik Ondersteuning bij invoer en afname toetsen Binnen het implementatieproces neemt de wijze van aanlevering van nieuw toetsmateriaal door docenten en verwerking hiervan in de centrale database door de toetsexperts een belangrijke plaats in. Bij het invoeren van toetsvragen in de itembanken wordt onderscheid gemaakt tussen de rechtstreekse invoer door toetsexperts en assistenten en de indirecte invoer door docent-ontwikkelaars. In de eerste fase worden bestaande vragensets ingevoerd door specifiek hiertoe opgeleide functionarissen (zie boven) binnen de hiervoor opgezette topicstructuur. Kort daarna zal worden begonnen met het inrichten van het proces voor aanleveren van nieuwe vragen door docenten. De docenten zullen hiervoor o.a. een kort instructieprogramma volgen. De opbouw van itembanken begint bij FMW met het Ma-onderwijs (M1 blokken bewegen, heelkunde, geneeskunde, levenscyclus) waarbinnen de eerste pilot zal worden uitgevoerd en het Ba-onderwijs (IBMG, en BA1, BA2, Ba3) waarvan alle herkansingen in juli 2013 via QMP zullen worden afgenomen. Bij invoer van vragen bij Letteren wordt prioriteit gegeven aan het inrichten van ca. 30 toetsenbanken bij de 5 grote propedeuseopleidingen (Notitie Prestatieafspraken/ Innovatiegelden Faculteit der Letteren) en het verder ontwikkelen van bestaande itembanken (opleiding KCM). Bij GMW worden itembanken opgebouwd in het kader van het door het CvB gehonoreerde onderwijsinnovatieproject. Dit betreft het opzetten van toetsenbanken voor ca. 35 vakken in het 1 e en 2 e jaar van het Ba-programma Psychologie en Pedagogische Wetenschappen. GMW overweegt ook het gebruik van QMP voor formatieve toetsing. Bij Letteren en GMW is formatie begroot voor het opzetten van de databanken (resp. 2,5 fte en 1,75 fte). Bij FMW moet formatie worden vrijgemaakt voor het invoeren van de toetsen en de coördinatie. Deze formatie maakt geen onderdeel uit van het X@m! project. Het invoeren van toetsvragen bij de overige faculteiten is afhankelijk van de vraag en begint niet eerder dan september De afname van toetsen in QMP wordt stapsgewijs ingevoerd. De eerste pilot wordt uitgevoerd bij een van de toetsen die iedere 6 weken binnen van het Masterprogramma FMW worden afgenomen. Deze pilot en eventuele volgende toetsen binnen dit programma worden afgenomen in een computerzaal bij UMCG. Als dit goed verloopt worden alle herkansingen van het Ba-programma in juli in de AJH afgenomen. De eerste afnames bij Letteren en GMW volgen na de eerste pilot bij FMW. Deze vinden eveneens plaats in de AJH. Het is (o.a. i.v.m. roostering) niet te verwachten dat alle te ontwikkelen toetsen (zie 3.3.3) bij deze faculteiten vóór september 2013 zullen worden afgenomen. Bij de afnames zal minimaal één papieren afname via print-en-scan module (3.3.1 hierboven) worden uitgevoerd. Doel hiervan is om te onderzoeken of dit een optie is voor grote aantallen studenten en MC 12

17 tentamens (mogelijke voordelen: één vragendatabase en resultaten geconsolideerd in één systeem, ongeacht de wijze van afname) Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de procedurevoorstellen, detailplanningen en rapportages besproken en vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt Resultaten 1 Invoering QMP 2 Inrichting ontwikkel- en afnameomgeving QMP 3 Procedures voor aanleveren nieuw toetsmateriaal 4 Methoden voor metadatering en trekking toetsitems uit de database 5 Training en instructie toetsexperts en docenten in gebruik 6 Kennisontwikkeling en functionele ondersteuning QMP 7 Afnames van toetsen in QMP 8 Afnames van papieren toetsen vanuit de QMP databank 9 Rapporten en verslagen Uitvoering in uren, kosten en periode Toetsontwikkeling QMP 2.376h ,00 Thu Fri Coördinatie 164h 8.200,00 Thu Thu Voorbereiding 104h ,00 Thu Fri Aanschaf QMP 16h ,00 Thu Tue Inrichting SAAS-server 16h 800,00 Tue Fri Installatie en test windows-based authoring tool 12h 600,00 Wed Sat Installatie en test building block Blackboard 24h 1.200,00 Wed Fri Installatie en test print en scan connector 36h 1.800,00 Wed Fri Inrichten functionele ondersteuning 976h ,00 Wed Fri

18 Training toetsteam 168h 7.440,00 Wed Fri Opzetten mappen en rechtenstructuur RUG 88h 4.400,00 Sun Fri Metadatering en selecties 480h ,00 Sun Fri Training en begeleiding toetsondersteuners faculteiten 240h ,00 Mon Fri Ondersteuning bij invoer en afname toetsen 916h ,00 Mon Fri Toetsing FMW, LET, GMW 436h ,00 Mon Fri Toetsing alle faculteiten 480h ,00 Mon Fri Teamoverleg en rapportages 216h ,00 Mon Thu Werkpakket 4: Toetsinfrastructuur Verantwoordelijk teamleider: CIT-medewerker UWP Uitgangssituatie De AJH is ingericht met 288 op maat gemaakte toetstafels met toetspc s voorzien van een specifieke, beveiligde Windows image en policies (op basis van Windows 7). Deze opzet maakt het mogelijk om digitale toetsen af te nemen vanaf deze toets pc s waarbij de student na inloggen in de beveiligde toetsomgeving van Nestor terechtkomt. De toets pc s met beveiligde omgeving worden op dit moment alleen in de AJH ingezet en ondersteund. Het afnemen van toetsen met verschillende instellingen binnen de AJ hal op hetzelfde moment, of een toets met dezelfde instellingen binnen de AJH en daarbuiten, is met de huidige configuratie niet mogelijk. En de toegang tot, of het uitsluiten van, specifieke websites kan niet eenvoudig worden geregeld. De image is niet ingericht op basis van UWP of SWP. Plug-ins voor het lezen van PDF- of Word-bestanden en het afspelen van audio en video zijn nog niet beschikbaar. Gebruik van standaard UWP/SWP applicaties is niet mogelijk. Ook is het niet mogelijk om onder Linux te toetsen. De werkzaamheden worden langs 4 hoofdlijnen uitgevoerd. Nauwe afstemming met de implementatie van UWP 2.0 is hierbij vereist. In verband hiermee worden de werkzaamheden uitgevoerd onder eindverantwoordelijkheid van een teamleider verbonden aan het UWP 2.0 project. 14

19 3.4.2 Deelpakketten Generieke instellingen Deze activiteit is bedoeld om ervoor te zorgen dat: toetsen binnen een afgeschermde omgeving kunnen worden afgenomen, desgewenst met toegang tot per toets instelbare secundaire bronnen; standaardapplicaties kunnen worden aangeboden als onderdeel van het toetsproces; audio- en video vanaf het RUG videoplatform binnen de toetsomgeving worden geïntegreerd. Het inrichten van een proxyserver in combinatie met het instellen van de gebruiker- en machinepolicies dient als basis voor de afscherming. Ten behoeve van het functioneel beheer (door ESI) zal een beheermodule worden ontwikkeld, waarmee de instellingen kunnen worden bepaald en gewijzigd. De ontwikkeling van deze module zal in nauwe afstemming plaatsvinden met de ontwikkeling van de toegang voor studenten binnen Nestor (3.3.1) omdat Nestor dient als main point of entry voor alle toetsen binnen de AJH. Applicaties, browser plug-ins, etc. zullen uitsluitend worden aangeboden op basis van UWP 2.0 technieken. Dit betekent dat applicaties gevirtualiseerd zullen worden aangeboden en via RES (Dynamic Desktop Studio) i.c.m. Citrix en AD zullen worden aangeboden. De beschikbaarheid van applicaties volgt de binnen het UWP 2.0 project overeengekomen planning en tijdpad. De functionele instellingen van de applicaties en de wijze van integratie met de toetsapplicaties worden door de functioneel toetsbeheerders in overleg met eindgebruikers en CIT MWS vastgesteld. Audio- en videointegratie wordt ontwikkeld i.s.m. medewerkers betrokken bij de implementatie van de videodiensten van de RUG. Een evaluatie van elders ontwikkelde systemen / methodieken voor functioneel beheer vormt een onderdeel van de projectactiviteiten. Dit betreft o.a. WUR: Secure Test Environment (toetsbeheer, inclusief applicatietoetsen op basis van policies en AD) en TUD: applicatiemanagement (op basis van RES en Citrix) Specifieke toetsen Deze activiteit is bedoeld om toetsen, anders dan toetsen in Nestor en QMP, af te kunnen nemen binnen de beveiligde omgeving. Dit betreft o.a. toetsen onder Linux en elders ontwikkelde toetsen met specifieke inhoud (taaltoetsen, etc.). Het betreft dus toetsen met een duidelijk andere opzet, functionaliteit en/of inhoud dan de standaardtoetsen in Nestor en QMP. Uitgangspunt is dat het gaat om web-gebaseerde toetsen die via een URL kunnen worden aangeroepen. De toetsen onder Linux betreffen o.a. toetsen Imperatief Programmeren binnen een speciaal hiervoor ontwikkeld toetssysteem bij de Faculteit Wis- en Natuurwetenschappen. Afgesproken is dat hiervoor door FWN een virtuele server zal worden opgezet die vanuit de AJH zal worden ontsloten. 15

20 Andere toetsen zijn nog niet expliciet genoemd, maar gedacht wordt aan toetsen behorend bij bepaalde onderwijsmethoden, (verplichte) reken en taaltoetsen (lerarenopleidingen) en andere commercieel of vrij verkrijgbare toetsen Toetsen buiten AJH Doel van deze activiteit is om toetsafnames mogelijk te maken: op andere lokaties binnen de RUG; met specifieke instellingen voor functiebeperkte studenten; op eigen devices van de studenten (voor een beperkt repertoire toetsen, met aangepast afschermingsniveau). Door te toetsen op andere lokaties binnen de RUG kan op termijn alle beschikbare computercapaciteit optimaal worden benut. Uitgangspunt voor deze opschaling is dat alle PC s moeten zijn voorzien van UWP 2.0. Voorwaarde is dat ook op andere lokaties een adequaat afschermingsniveau kan worden gegarandeerd. Aanpassingen voor functiebeperkte studenten worden ontwikkeld in nauw overleg met de Faculteit Rechten die momenteel een pilotproject aan het voorbereiden is op een decentrale lokatie (Turftorenstraat 2), voorzien van PC s die identiek zijn aan de in de AJH gebruikte machines. Ook worden afdelingen met een specifieke taakstelling op dit gebied betrokken, zoals het Studenten Service Centrum. De betreffende configuraties moeten decentraal kunnen worden aangeboden, maar eveneens binnen de AJH indien de aard van de beperking (of de computerconfiguratie) dit toelaat. Tenslotte zullen, in eerste instantie via een pilotproject, de mogelijkheden worden verkend om de toetsomgeving aan te bieden op eigen devices van de studenten. Uitgangspunt hierbij zal zijn gebruik van de niet-beheerde versie van de UWP 2.0 op door de studenten zelf meegebrachte laptops of tablets, met toetsen die zich hiertoe lenen (open boek tentamens, bepaalde soorten essayopdrachten). Een minimaal vereist afschermingsniveau zal hierbij worden gedefinieerd Teamoverleg en rapportages Het projectteam komt minimaal eenmaal per maand bijeen om de voortgang van de werkzaamheden te bespreken. Tijdens het teamoverleg worden de programmma s van eisen, systeemontwerpen, detailplanningen en rapportages vastgesteld. De data voor de overleggen worden vooraf vastgelegd en van ieder overleg wordt een verslag gemaakt Resultaten 1 Afgeschermde toetsomgeving met toegang tot specifieke resources 2 Gebruik standaardapplicaties voor toetsing 3 Geïntegreerde audio en video 4 Toetsen binnen Linuxomgeving 16