Keuzeadvies voor een nieuwe toetsapplicatie

Transcriptie

1 Keuzeadvies voor een nieuwe toetsapplicatie Adviesrapport ICTO project Grootschalig digitaal toetsen. 1

2 Documenthistorie Datum Versie Omschrijving Auteur 29 november Initiële versie Leen van Kaam 30 november Inclusief scenario s en wijzigingen genoemd in bijeenkomst van 29 november 2012 Leen van Kaam 13 december Advies zoals goedgekeurd door SIG Digitaal Toetsen Leen van Kaam, Alwin Wullink Wijzigingen t.o.v. vorige versie zijn geel gemarkeerd. 2

3 Inhoudsopgave Inleiding... 4 Advies... 5 Showstoppers bij alle wensen en eisen met stoplichtrapportage... 5 Discriminerende wensen en eisen naar prioriteit geordend... 6 Conclusie... 7 De testscenario s... 8 Scenario 1: Kostenanalyse, uitwerking... 8 Scenario 2: Technische infrastructuur uitwerking Scenario 3: Continuiteit Uitwerking Scenario 4: Ondersteuning en helpfunctie Uitwerking Scenario 5: Inrichten van domeinen binnen de applicatie Scenario 6: Rollen per academie en workflow Scenario 7: Beveiliging Scenario 8: Gebruikerbeheer Uitwerking Scenario 9: Converteren van toetsvragen Scenario 10: Nieuwe toetsvragen ontwikkelen Scenario 11: Toetsmatrijs Scenario 12: Toetsafname klaarzetten Scenario 13: Grootschalige toetsafname Scenario 14: Toetsafname begeleiden Scenario 15: Toetsvoorzieningen Scenario 16: Meertaligheid Uitwerking Scenario 17: Toetsinzage Scenario 18: Rapportage op toetsvragen, toetsen en toetsafnames Uitwerking Scenario 19: Analyse Scenario 20: Cesuur, scoren en resultaten bepalen Scenario 21: Archivering Scenario 22: Mogelijkheid tot beveiligde vaardigheidstoetsen Bijlage 1: Betrokkenen bij dit keuzeadvies

4 Inleiding Dit is een adviesrapport in het kader van het project digitale toetsomgeving Saxion. In dit project moet uit een shortlist van 3 toetsapplicaties, te weten MapleTA, Question Mark Perception en Surpass, een keuze voor Saxion worden gemaakt. In het adviesrapport Advies_Testscenario_05_ staat beschreven op welke manier, met welke betrokkenen en op welke inhoudelijke gronden die keuze wordt gemaakt. Dit is het adviesrapport, dat op basis van de hier beschreven manier rapporteert over de uitvoering van het beschreven keuzeproces en een uiteindelijke advieskeuze met onderbouwing aan de ProgrammaRegieGroep doet. Bij het adviesrapport waren deelnemers van de academies betrokken, die zich nu bezig houden met digitaal toetsen of dat in de nabije toekomst gaan doen. Deze deelnemers vertegenwoordigen een groot aantal verschillende rollen in het toetsproces, te weten de rollen docent, onderwijskundige, toetsdesk van de academie, centraal toetsbureau, functioneel beheerder digitaal toetsen, technisch beheerder digitaal toetsen, ICT&O contactpersoon van de academie, en vertengenwoordiger SIG digitaal toetsen van de academie. Het advies bevat een uitwerking van 22 scenario s. Deze uitwerking is een verslag van wat (meestal) in een tweetal bijeenkomsten met eerder genoemde betrokkenen is besproken. Het advies en de stoplichtrapportage is nadrukkelijk geen algemene beoordeling van de toetsapplicaties van de shortlist. Het gaat om een beoordeling of en in hoeverre de toetsapplicaties van de shortlist passen bij de werkwijze op gebied van digitaal toetsen binnen Saxion. 4

5 Advies Showstoppers bij alle wensen en eisen met stoplichtrapportage In de test scenario s zijn een aantal showstoppers opgenomen. Een showstopper is gedefinieerd als een scenario dat zo n hoge prioriteit voor Saxion heeft, dat het testen van andere scenario s voor die applicatie gestopt kan worden, als aan dit scenario niet voldaan wordt (en het scenario met de showstopper dus een rood stoplicht krijgt). De beoordeling van alle showstoppereisen uit de testscenario s komt uit op het volgende overzicht: Hiermee wordt duidelijk dat MapleTA als toetsapplicatie voor summatieve digitale toetsing niet past bij wat voor Saxion van belang is. Voor Question Mark Perception zien we 1 showstopper, namelijk dat de toetsmatrijs op dit moment niet in de applicatie mogelijk is. Deze showstopper is van wezenlijk belang omdat de werkwijze van Saxion bij het digitaal toetsen in TestVision volledig geënt is op het werken vanuit een toetsmatrijs. Daarnaast zien we dat toetsafnames voor Question Mark Perception risicovol (geel) is. Als we nader hierop inzoomen moeten we constateren dat met QMP gelijktijdige inlogs haalbaar is, mits de inlog van de deelnemers gespreid wordt over 5 minuten, en op voorwaarde dat er een behoorlijke infrastructuur aanwezig is. Onderstaande afbeelding schetst de benodigde infrastructuur om 800 gelijktijdige toetsafnames in QMP te realiseren en 6000 (Silver installatie) of (Golden installatie) gelijktijdige toetsafnames in Surpass. Uit de afbeelding wordt duidelijk, dat de infrastructuur nodig voor de benodigde performance van QMP binnen Saxion behoorlijk zwaar is. Daar hangt dan vermoedelijk een evenredig kostenplaatje aan. 5

6 Uit de showstoppers komt Surpass als keuze. Discriminerende wensen en eisen naar prioriteit geordend Wanneer we Maple TA uit het overzicht weghalen, vervolgens alle wensen en eisen ordenen op prioriteit en die wensen en eisen, waarop QMP en Surpass hetzelfde scoren, verwijderen, krijgen we een beeld hoe beide applicaties passen bij de werkwijze van Saxion op gebied van digitaal toetsen. Het beeld, dat Surpass het beste past bij de werkwijze van Saxion wordt dan bevestigd. Als je de discriminerende wensen en eisen op prioriteit ordent, dan valt op, dat ook vanuit dit perspectief Surpass het beste past bij de werkwijze van Saxion. Surpass scoort het meeste groen en scoort pas bij functionaliteit met een lagere prioriteit wat minder. Er blijven een aantal punten waarop Surpass dan geel of rood scoort: Gebruik van rekenkundige elementen/formules: In de roadmap voor de nieuwe interface van Surpass is ook een tool voor betere verwerking van rekenkundige elementen en formules opgenomen. We zullen bij BTL onder de aandacht brengen, dat deze functionaliteit voor Saxion een hoge prioriteit heeft. Nederlandstalige/Duitstalige versie: In de roadmap voor de nieuwe interface van Surpass is opgenomen, dat deze ook Nederlandstalig ter beschikking komt in de zomer De Duitstalige versie staat iets later in de roadmap gepland. Mobile app beschikbaar: In de roadmap voor de nieuwe interface van Surpass staat ook een mobile app opgenomen. 6

7 PC afhankelijk toetsen: Dit is niet instelbaar in de applicatie, maar indien gewenst- te regelen vanuit de technische infrastructuur. Adaptief toetsen: Saxion zal aan de leverancier nadrukkelijk aangeven, op welk moment er vanuit Saxion behoefte is aan deze functionaliteit. Scoren op competenties is eigenlijk geen toetsapplicatiefunctionaliteit. Binnen Saxion is hiervoor de tool Scorion van Parantion in gebruik. Conclusie Als uitkomst van het keuzeproces wordt unaniem Surpass als nieuwe toetsapplicatie voor Saxion geadviseerd ter vervanging van TestVision. 7

8 De testscenario s Scenario 1: Kostenanalyse, uitwerking Werkwijze De behoefte van Saxion op gebied van digitaal toetsen wordt beschreven aan de hand van 3 pijlers 1. Licentie; 2. Infrastructuur en technisch beheer en technisch applicatiebeheer; 3. Eenmalige implementatiekosten. Op elk van deze pijlers bevat de beschrijving een baseline. Deze baseline bevat wat Saxion minimaal nodig heeft, wil de toetsapplicatie een passende oplossing bieden. Daarbovenop zijn er per pijler een aantal meerwaarden gedefinieerd. Binnen deze meerwaarde kan een leverancier zich profileren. De leverancier geeft aan of een dergelijke meerwaarde beschikbaar is bij de desbetreffende toetsapplicatie en tegen welke meerkosten. Aan de baseline per pijler en de meerwaarde worden punten toegekend, die de weging hiervan duidelijk maken. Pijler 1: Licentie In de baseline bij pijler 1 vragen we afzonderlijk de licentiekosten in kaart te brengen van 2 verschillende situaties: Situatie 1: Lange termijn situatie Uitgangspunt is een campuslicentie voor de toetsapplicatie van minimaal 3 jaar en met een verlengoptie van nog eens 3 jaar. Saxion heeft ongeveer studenten en 1700 docenten. Er zijn ws. maximaal zeer gespecialiseerde toetsontwikkelaars binnen Saxion (12 academies met elk 5 specialisten of toetsdeskers), die toegang moeten hebben tot specialistische ontwikkeling van toetsvragen. In de licentie moet opgenomen zijn, dat toetsen in een beveiligde omgeving plaatsvindt. Saxion gaat ervan uit, dat in de licentie is opgenomen, dat er naast een productieserver ook een acceptatie- en ontwikkelserver beschikbaar komen. Op lange termijn kan er zowel summatief als formatief worden getoetst met de toetsapplicatie. We gaan ervan uit, dat de licentiekosten worden aangegeven voor de omgeving die de leverancier als optimale toetsomgeving adviseert. (zie hiervoor ook pijler 2) Situatie 2: Korte termijn situatie Het eerste jaar tijdens de implementatie maar ook nog 1 of 2 jaar daarna zullen nog niet alle academies en dus alle studenten gebruik maken van digitaal toetsen. Uitgangspunt is de huidige capaciteit van digitaal toetsen voor Saxion. Dat is ongeveer maximaal de helft van de studenten maakt gebruik van de huidige toetsapplicatie. Dat betekent, dat we prijsopgave vragen van een licentie voor studenten, 800 docenten en 25 zeer gespecialiseerde toetsontwikkelaars. Naar verwachting worden er op korte termijn maximaal toetsafnames (d.w.z. 1 toets afgenomen bij 1 student) per jaar afgenomen met de toetsapplicatie. In de licentie moet opgenomen zijn, dat toetsen in een beveiligde omgeving plaatsvindt. Saxion gaat ervan uit, dat in de licentie is opgenomen, dat er naast 8

9 een productieserver ook een acceptatie- en ontwikkelserver beschikbaar komen. De toetsapplicatie wordt vooral summatief gebruikt. We gaan ervan uit, dat de licentiekosten worden aangegeven voor de omgeving die de leverancier als optimale toetsomgeving adviseert. Wat betreft de meerwaarde bij pijler 1 vragen we de kosten in kaart te brengen van het volgende. Bij de toetsapplicatie kunnen extra modules aangeboden moeten worden om een van de scenario s uit bijgevoegde bijlage te realiseren. Hierbij kan men denken aan: Kosten van een extra licentie om te kunnen beschikken over een flexibele rapportagetool, waarin Saxion zelf rapportages kan definieren; Kosten van een extra licentie om te kunnen beschikken over de mogelijkheid om toetsvragen na analyse van de toetsresultaten uit de score te kunnen verwijderen, of anders te kunnen scoren dan aanvankelijk de opzet was; Kosten van een extra licentie om te kunnen beschikken over mogelijkheden om van mobile devices in combinatie met de toetsapplicatie gebruik te kunnen maken. Saxion maakt gebruikt van een print & scan oplossing om tekorten aan capaciteit voor digitaal toetsen op te vangen. Kosten van een extra licentie om indien aanwezig - te kunnen beschikken over de print & scan functionaliteit bij de applicatie. Pijler 2 Infrastructuur De infrastructuur moet geschikt zijn om zonder performanceproblemen met behoorlijke omvang (bv toetsen) van gearchiveerde toets- en resultatendata in de database (maximum 1000) gelijktijdige toetsafnames af te handelen. We verwachten van de leverancier een advies over de optimale infrastructuur gegeven de schaalbaarheid, maar ook gegeven beveiligingseisen (zie scenario 7) en ervaringen bij andere klanten. In het SLA wordt beheer aangeboden tijdens de toetsweken in een venster van 7.00 tot uur op reguliere werkdagen met minimaal een uptime garantie van 99,5% uptime gegeven over deze uren. Buiten toetsweken is het venster voor de SLA van 9.00 tot uur. Een studiejaar kent 15 toetsweken. In de baseline bij pijler 2 vragen we afzonderlijk de licentiekosten in kaart te brengen van 2 verschillende situaties: SAAS oplossing: Technisch beheer en technisch applicatiebeheer worden extern geregeld. Alle technisch beheer van de applicatie ligt bij de leverancier. Gedeeltelijk eigen beheer: Servers staan fysiek bij Saxion. Serverbeheer (en OS beheer) ligt bij Saxion, maar technisch applicatiebeheer wordt uitgevoerd door de leverancier. Wat betreft de meerwaarde bij pijler 2 vragen we de kosten in kaart te brengen van eventueel door de leverancier aangeboden opties bij de SAAS oplossing. Denk bv. aan een bronzen, zilveren en gouden 9

10 SLA. Vooral infrastructurele oplossingen die in het kader van beveiliging extra kansen bieden, worden op prijs gesteld. Pijler 3: Eenmalige implementatiekosten In de baseline bij pijler 3. We zouden graag het gebruikersbeheer automatisch willen inregelen. Dat gebruikersbeheer bevat automatisch (minimaal dagelijks) aanmaken van alle studenten en docenten in de toetsapplicatie op grond van gegevens uit LDAP/Active Directory. Daarnaast zouden we willen authenticeren aan LDAP/Active Directory. Ook hiervan moeten voor de baseline de kosten in kaart gebracht worden. Wat betreft de meerwaarde bij pijler 3: We vragen elke leverancier de kosten in kaart te brengen van extra specialistische scholing voor specialistisch toetsontwikkelaars. D.w.z. de kosten van 4 trainingen specialistische scholing van 1 dag voor 10 auteurs. Elke leverancier heeft een pakketje gekregen met daarin 3 toetsen in verschillende formaten zoals die kunnen worden geëxporteerd uit TestVision. We willen van de leveranciers weten: o Welk % van de toetsvragen kan automatisch worden geconverteerd? o De kosten van het converteren van dit pakketje met 3 soorten toetsvragen? o Kan er dan worden afgeweken van de mappenstructuur waarin de toetsen zijn opgeslagen in TestVision? o Is het mogelijk waardes voor bv een p-waarde of een ritwaarde mee te nemen? Zo ja hoe dan? o Hoe worden afbeeldingen of andere multimedia meegenomen? o Bij voorkeur wordt een methodiek opgeleverd die bij Saxion zelf uitgevoerd kan worden. Saxion gebruikt een bestaande print & scan oplossing van Teleform om tekorten aan capaciteit voor digitaal toetsen op te vangen. Vaak is een deel van de toets digitaal uitgevoerd en een deel wordt afgehandeld via scanbare formulieren. De gescande resultaten zouden we willen kunnen inlezen in de database, zodat deze in een analyse kunnen worden betrokken samen met resultaten van dat deel van de toets dat wel digitaal is afgenomen. Om scanformulieren klaar te maken voor afname met behulp van print & scan worden inloggegevens en naam van de toetsdeelnemers en de toetsnaam gemerged met de formulieren, zodat studenten voorbedrukte formulieren krijgen. We zouden de kosten willen kennen indien mogelijk- van de beide opties om resultaten van scannen terug te lezen naar de database en om gebruikergegevens te mergen. Indien maar een van beide opties mogelijk is, dan verzoeken we die in kaart te brengen. 10

11 Saxion verwacht een gespecificeerde offerte. Ec hter om eenvoudige vergelijking van de offertes mogelijk te maken, vragen we de kosten ook samen te vatten in onderstaande tabel: Pijler Kostenpost Samengevatte kosten 1. Licenties Licentie Lange termijn oplossing (campuslicentie) Licentie Korte termijn oplossing (halve campus maakt gebruik) Licentie flexibele rapportagetool Licentie voor herscoringstool Licentie mobile Licentie print&scan 2. Infrastructuur en Technisch beheer SAAS oplossing Gedeeltelijk Beheer bij Saxion Extra Profilering voor Eenmalige implementatiekosten Automatisch inregelen gebruikersbeheer en authenticatie aan LDAP/Active Directory Specialistische scholing Conversie Inregelen Print&Scan Vragen * Kostenanalyse Uitwerking Het bureau inkoop heeft 3 offertes ontvangen. We kunnen hier nu niet de volledige offertes openbaar maken. Deze zijn nog onderhevig aan onderhandeling door inkoop, zodra de keuze binnen Saxion gemaakt is. Daarom zullen we globaal een aantal kenmerkende verschillen tussen de offertes noemen, waardoor in elk geval de pointe helder wordt. Maple TA: De licentie valt in een volledig andere prijsklasse als QMP en Surpass. De kosten van pijler 1 en 2 tesamen zijn voor Maple TA ongeveer 1/6 van de kosten van QMP en Surpass. Er is geen specifieke mobile app inbegrepen (je kunt wel Maple TA vanuit de browser op mobile devices openen), evenmin een aparte rapportagetool of herscoringstool. De leverancier offreert alleen de baseline bij pijler 1 en 2. Eenmalige kosten zijn de helft van die van Surpass en ongeveer 1/3 van die van QMP. Question Mark Perception en Surpass zitten voor pijler 1 en 2 in dezelfde prijsklasse. Opvallend is het verschil in prijsmodel. Efinity geeft voor Surpass één transparant prijsmodel gebaseerd op een prijs per 11

12 gebruiker per jaar. Stoas levert voor QMP vier verschillende prijsmodellen, waarin de opbouw door allerlei verschillende licentievarianten niet volstrekt transparant overkomt. Voor pijler 3 zien we dat QMP ongeveer 30% duurder is dan Surpass. Een belangrijk verschil is het gegeven dat Efinity voor een conversietool van TestVision naar Surpass geen kosten rekent, waar Stoas dat voor QMP wel doet. Zowel voor Surpass als voor QMP worden voor alle pijlers alle gevraagde meerwaardepunten ingevuld. De offerte voor QMP was zeer volledig, inclusief een voorbeeld SLA en voorbeeld DAP. Bij Surpass ontbreekt een versie van het SLA. Scenario 2: Technische infrastructuur uitwerking Werkwijze Op grond van documentatie van de leverancier en een teleconferentie wordt de beoordeling gemaakt of de applicatie past binnen de technische infrastructuur van Saxion. Vragen 1, Past de serverinstallatie binnen de technische infrastructuur van Saxion showstopper 1, Past de benodigde inrichting van een SaxOs werkstation binnen de technische showstopper infrastructuur van Saxion 2 Afname van toetsen via MacOS 2 Ontwikkelen van toetsen en rapportages via MacOS 2 Ontwikkeling in de nabije toekomst naar gebruik m.b.v. Mobile devices Uitwerking Maple TA: De serverinstallatie werkt op Windows 2008 of een Red Hat Linux installatie. Dit past in de Saxion infrastructuur. Maple TA werkt met de database Progress. Deze wordt binnen Saxion niet ondersteund. Daarmee is installatie bij Saxion niet wenselijk en is een SAAS-oplossing (hosted omgeving) de enig denkbare oplossing. De leverancier moet nog aangeven of Site to Site VPN ondersteund wordt. Dit is nodig indien gebruikers automatisch worden aangeleverd aan de applicatie. Een site-to-site VPN zal ook gebruikt worden voor het LDAP verkeer. Hierdoor wordt de verbinding extra secure. De toetsomgeving werkt op WindowsOS, Linux en MacOS. De browsers Firefox en Internet Explorer worden ondersteund, Google Chrome is nog niet getest. De (open) afnameomgeving werkt ook met Safari. De beheeromgeving niet. De secure browser is ontwikkeld door de TU Delft. Deze wordt ondersteund door TU Delft, niet door de leverancier. Dat is een risico voor Saxion, omdat Saxion de tool met name voor beveiligde summatieve toetsing wil gebruiken. De secure browser is geïnstalleerd binnen de Saxion infrastructuur en is getest. Hij werkt in de infrastructuur. Maple TA werkt als standaardapplicatie ws. wel op Mobile devices met Android besturingssystemen. Dit is niet uitgebreid getest. Echter het werkt niet op een ipad of iphone aangezien Maple TA veel gebruik maakt van JAVA. Er wordt geen Mobile App ontwikkeld. Question Mark Perception : De serverinstallatie werkt uitgaande van Windows 2008 IIS 7.5. De database server is een MsSQL 2008 SP2. QMP wordt ook op Oracle uitgeleverd. Dit wordt niet 12

13 aangeraden door Stoas, omdat dit een secundaire uitlevering is. Upgrades voor Oracle komen meestal veel later als die voor Windows. QMP is een.net applicatie met een PHP frontend. Stoas ondersteunt een Site to site VPN (welke is nog niet duidelijk) om het mogelijk te maken dat er beveiligd automatisch gebruikersgegevens in de toetsomgeving kunnen worden aangemaakt en de authenticatie aan de LDAP beveiligd plaatsvindt. De serverinstallatie past daarmee binnen de Saxion infrastructuur. De auteurssoftware werkt alleen onder Windows, zowel op Internet Explorer (6, 7, 8, en 9) als FireFox (3, 4, 5, 6, 7, 8, 9, 10, 11) en Safari 4. QMP werkt niet op Google Chrome. Dit past in de Saxion infrastructuur. De secure browser QM Secure werkt nog niet op het MacOS. Daarvoor is men bezig met Beta-testen. Aangezien alle summatieve toetsen met de secure browser worden afgenomen, werkt dit nog niet op MacOS. Er bestaat een QMP Mobile app voor Android en iphone/ipad bedoeld voor toetsafname. De secure browser is geïnstalleerd in de Saxion infrastuctuur en heeft al gefunctioneerd bij een toets van APO met 60 studenten. Surpass: De serverinstallatie werkt uitgaande van Windows 2008 IIS 7,5 en MS SQL 2005 of Surpass is een.net applicatie. Site to Site VPN is niet nodig, omdat gebruikergegevens vanuit een secure connection bij Saxion opgehaald kunnen worden en dus niet bij Surpass op de toetsomgeving geplaatst hoeven te worden. De serverinstallatie past daarmee binnen de Saxion infrastructuur. De authoring client werkt op een Windows7 installatie, evenals de secure browserclientapplicatie. De beheeromgeving werkt met Windos Internet Explorer 7, 8 en 9, Firefox 3, 4, en 6 en Google Chrome. Dit past binnen de Saxion infrastructuur. Afname van summatieve toetsen op een MacOS is nog niet mogelijk, evenmin als het ontwikkelen van toetsvragen. De nieuwe interface voor Surpass wordt echter nadrukkelijk ook voor MacOS ontwikkeld. De roadmap geeft voor deze nieuwe interface als deadline zomer (zie ook ). De secure browserclient is geïnstalleerd binnen de Saxion infrastructuur en is getest. Hij werkt. De secure browser is niet alleen maar een browser. Het gaat om een client applicatie, waarin gegevens tijdelijk encrypted bewaard worden in een lokale database. De applicatie heeft nog geen Mobile app. Er wordt voor Surpass ook met het oog hierop een nieuwe interface ontwikkeld. Mobile interface voor de beheersoftware wordt dus volgende zomer verwacht. Resultaten: (1) Serverinstallatie (showstopper) binnen Saxion (1) Serverinstallatie SAAS (1) Werkstation installatie (Showstopper) Maple TA QMP Surpass 13

14 (2) Afname MAC (2) Beheer MAC (2) Mobile Maple TA QMP Surpass Scenario 3: Continuiteit Uitwerking Werkwijze: Overleg met de leverancier, opvragen van jaarverslag van de leverancier. Opvragen van referenties bij de leverancier. Voor proven technology wordt in beeld gebracht, wie welke toetsapplicatie gebruikt. Voor deze showstopper wordt gevraagd naar de mening van één of enkele referentie klanten van elke toetsapplicatie. Overleg met de leverancier, opvragen van jaarverslag van het bedrijf van de leverancier. Opvragen van referenties bij de leverancier. Voor proven technology wordt in beeld gebracht, welke onderwijsinstellingen de toetsapplicatie gebruiken. Er is een vragenlijst gemaakt met ongeveer 10 vragen. Deze 10 vragen worden per applicatie gesteld aan 3 personen. QMP: Er worden referenten gezocht bij Hanzehogeschool, Windesheim en VU Maple TA: Er worden referenten gezocht bij TU Delft, HAN, NHL. Surpass: leveren referenten aan uit een onderwijssituatie in Engeland die het dichtst ligt bij Saxion. De vragenlijst zoals opgestuurd naar de verschillende referenten, is te vinden in Blackboard onder community Saxion ICTO> SIG Toetsing > Keuzetraject toetsapplicatie > Scenario 3 Continuiteit. De antwoorden op de vragenlijst zijn daar ook te vinden. Vragen * Beschrijving van de historie van het bedrijf * Omvang van de afdeling die zorg draagt voor ontwikkeling en beheer 1 Proven technology Showstopper Maple TA: Maplesoft is een bedrijf, dat met name gericht is op het ontwikkelen van software voor wiskundige toepassingen. Maplesoft bestaat al 25 jaar en was tot voor kort een privaat bedrijf. Het is sinds enkele jaren onderdeel van grotere Japanse distributeur Cybernet Systems Co. Ltd. Zie ook In het jaarverslag van dit Japanse bedrijf valt de beschrijving van Maplesoft weg. Bovendien ontwikkelt Maplesoft op de eerste plaats het wiskundige programma Maple. Maple TA is een relatief klein bijproduct, dat ook voor een aantal functies leunt op Maple. Van de ongeveer 70 mensen in dienst van Maple Soft werken er 5 aan ontwikkelaars/beheerders fulltime aan Maple TA. Soms worden er 5 freelance extra mensen ingehuurd voor de ontwikkeling van het pakket. MapleTA wordt op een aantal instellingen voor Hoger Onderwijs gebruikt: Technische Universiteit Delft Hogeschool Arnhem Nijmegen * Noordelijke Hogeschool Leeuwarden Hogeschool Utrecht 14

15 Hogeschool Rotterdam * Saxion Hogeschool Universiteit van Amsterdam * Van Hall Larenstein Hogeschool van Amsterdam * Hogeschool Inholland * Hanzehogeschool * Fontys Hogeschool* Opvallend is, dat een groot deel van de instellingen hier genoemd, ook gebruik maakt van QMP. Ook is opvallend dat Saxion genoemd wordt. Binnen Saxion wordt binnen de academie LED beperkt gebruik gemaakt van Maple TA. Daarnaast doen docenten Engelse talen vanuit MIM een pilot met Maple TA. Het lijkt erop, dat binnen meerdere HO-instellingen Maple TA in beperkte mate voor met name wiskundige toetsvragen wordt gebruikt. Kortom Maple TA is proven technology, omdat het wordt gebruikt. De opmerkingen van de referenten geeft aan of gebruikers tevreden zijn over de applicatie binnen de kaders waarin zij gebruik maken van de applicatie. Candiensten is de Nederlandse leverancier van Maple TA. Het is een klein bedrijf, dat wiskundige, analytische en statische software verkoopt. Een van de producten is Maple TA. Zie ook Samenvatting van de opmerkingen van de referenten over Maple TA: Alleen bij de TUDelft wordt MapleTA instellingsbreed gebruikt. Bij de NHL wordt MapleTA bij één faculteit gebruikt. Bij de HAN gebruikt men instellingsbreed Question Mark Perception. Gebruik van MapleTA is volgens de centrale dienst een initiatief van enkele docenten binnen een opleiding en wordt door ICT&O niet ondersteund. Daarmee is de situatie binnen de HAN vergelijkbaar met het gebruik van MapleTA binnen Saxion. Question Mark Perception: Questionmark (QM) is opgericht in 1988 en acteerde de eerste jaren als pionier op het gebied van digitale assessments. Op basis van deze ervaringen en klantreacties is in 1995 het eerste mondiale digitale toetssysteem op de markt gekomen, met als resultaat de lancering van de eerste web based versie, Questionmark Perception ( ) in Wereldwijd hebben meer dan organisaties gekozen voor QMP als strategisch management systeem voor digitale toetsing, de klanten bestaan uit zowel onderwijsorganisaties, profit en nonprofitorganisaties alsmede overheidsorganen. In Nederland wordt QMP bij vele Hogescholen en Universiteiten gebruikt, een overzicht van bestaande onderwijsinstellingen Academisch Medisch Centrum Amsterdam (AMC) Huisartsenopleiding Nederland Christelijke Hogeschool Ede Marnix Academie Christelijke Hogeschool Windesheim Open Universiteit Fontys Hogeschool * Stenden Hogeschool Haagse Hogeschool Universiteit van Amsterdam * Hanzehogeschool * Universiteit Maastricht HBO-raad Universiteit Twente Hogeschool Arnhem Nijmegen * Vrije Universiteit Hogeschool InHolland * Wageningen Universiteit Hogeschool Rotterdam * Diverse ROC s (15) Hogeschool van Amsterdam * Diverse Kennis- en Branche organisaties 15

16 Hogeschool Zuyd (onderwijs-gerelateerd) Opvallend is dat een aantal instellingen hier genoemd ook gebruik maken van Maple TA. Deze zijn met * gemarkeerd. De productontwikkeling (en doorontwikkeling) is feitelijk gebaseerd op twee pijlers. Enerzijds wordt sterk geluisterd naar klantvragen/gebruikersgroepen die rechtstreeks of via het distributiekanaal van QM binnen komen. Anderzijds heeft QM een management team dat internationaal haar sporen heeft verdiend op het gebied van visionaire ICT- en onderwijs ontwikkelingen. Deze twee invalshoeken zorgen voor een continue doorontwikkeling van QMP. In totaal zijn er ruwweg 100 medewerkers actief betrokken bij de productontwikkeling van QM. Een deel ervan (25) zijn direct betrokken bij de strategische en tactische ontwikkelingen (visie, technisch beheer, ondersteuning), de overige medewerkers zijn op het operationele vlak actief (softwareontwikkeling & programmeren). In sommige landen verzorgt QM de distributie rechtstreeks, in Nederland is Stoas Learning reeds meer dan 20 jaar de distributeur/partner van QMP. Met een jaaromzet van zo n 10 miljoen euro (boekjaar 2010) noemt Stoas Questionmark een gezond bedrijf. Zowel functionele als technische kennis van QMP is bij Stoas Learning in ruime mate aanwezig. Bij Stoas werken ongeveer 7 mensen technisch en functioneel dagelijks met QMP. Saxion werkt samen met Stoas, sinds 2009, omdat Stoas het technisch applicatiebeheer op Blackboard voor Saxion uitvoert. Zie ook Question Mark is een privaat georganiseerd bedrijf en heeft geen jaarverslag. Samenvatting van de opmerkingen van de referenten over QMP: QMP wordt instellingsbreed binnen de referentiegroep gebruikt bij de HAN, hogeschool Windesheim, Hanzehogeschool en Vrije Universiteit. Vanuit de VU juicht men het nadrukkelijk toe, wanneer er een concurrent voor Question Mark op de Nederlandse markt zou komen. Surpass: Efinity is sinds de herfst van 2011 de Nederlandse vertegenwoordiger van Surpass. Efinity heeft nauwe banden met andere hogescholen en universiteiten, is lid van bijvoorbeeld de NVE (Nederlandse Vereniging voor Examens) en zoekt samenwerking binnen SURF. BTL is het moederbedrijf dat Surpass levert. BTL bestaat sinds Oorspronkelijk was het bedrijf gericht op e-learning diensten. Hoewel Surpass al sinds 1985 met toetsing bezig was, bestaat het Surpass platform bestaat sinds BTL is een privaat bedrijf met ongeveer 70 medewerkers. Het bedrijf is van oudsher gericht op een partnerrelatie met alleen erg grote bedrijven, de zogenaamde awarding companies. Een erg grote klant is bv. de Schotse overheid, die alle examens laat afnemen met behulp van Surpass. In Engeland gebruikt een aantal zeer grote exameninstituten Surpass. 16

17 Zie voor meer informatie: Zie ook: Tot eind 2011 beperkte BTL zich alleen tot de Engelse markt. BTL is een financieel gezond bedrijf. Informatie over het bedrijf is te vinden in Blackboard onder community Saxion ICTO> SIG Toetsing > Keuzetraject toetsapplicatie > Scenario 3 Continuiteit. Resultaat 1 Showstopper Proven technology Maple TA QMP Surpass Scenario 4: Ondersteuning en helpfunctie Uitwerking Werkwijze Functioneel beheer ICT&O is in staat om tijdens de scenariotesten een goed beeld te krijgen van de ondersteuning van de leverancier, omdat zij om alle testen te kunnen uitvoeren met de academies, hun weg moeten kunnen vinden in de applicatie en over verscheidene onderwerpen met de leverancier moeten kunnen overleggen. Daarnaast wordt er aan een aantal referentieklanten per applicatie gevraagd hoe de ondersteuning is. Vragen 2 Is er een goede helpfunctie in de applicatie? 2 Is ondersteuning tijd- en plaatsonafhankelijk mogelijk voor FB ICTO en toetsdesken? 1 Ondersteuning van de leverancier 17

18 Uitwerking Maple TA: CAN diensten ondersteunt in Nederland. Zij maken voor functionele ondersteuning gebruik van de freelance diensten van Metha Kamminga, ex docente van de Noordelijke Hogeschool Leeuwarden, wiskundige en langdurig gebruiker van Maple TA. Zie Metha is als docente inmiddels met de VUT. Zij is de enige persoon, die functionele ondersteuning biedt bij Maple TA. Vanaf ongeveer eind april tot oktober is zij veelvuldig in het buitenland. Dat de functionele ondersteuning afhankelijk is van één persoon die al met de VUT is, achten wij een risico voor Saxion. CANdiensten levert vooral technische ondersteuning. Daarnaast schakelt CANdiensten voor technische problemen door naar de supportdesk van Maplesoft. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. De helpfunctie is niet contextgebonden. Men kan de userguide van de applicatie downloaden.daarin kun je zoeken, je kunt via de inhoudsopgave het onderdeel waar uitleg bij nodig is opzoeken. En er is een index op de helpfunctie. Er is ook een korte webbased administrator-, instructor-, proctor- en studenthelp. Samenvatting van de opmerkingen van de referenten over Maple TA: TUDelft over de support: We hebben geen SLA met de leverancier, maar op supportvragen wordt goed ingespeeld. Supportvragen liggen soms op het gebied van technisch beheer maar veel regelmatiger op het gebied van functionaliteit (of tips/tricks mbt tot toetsvragen. Ook bij de NHL is er geen helpdeskrelatie met de leverancier. Question Mark Perception: Stoas doet de 2 e lijns ondersteuning in Nederland en schakelt soms door naar de supportdesk van Question Mark. Stoas heeft zowel consultants voor functionele ondersteuning, als voor technische ondersteuning in dienst. Er werken bij Stoas ongeveer 7 mensen dagelijks met Question Mark Perception. Stoas is bij de ondersteuning van goede intentie. Toch bleek dat de getrapte structuur Stoas 2 e lijn QM 3 e lijn betekent, dat de ondersteuning niet altijd direct een oplossing biedt. We constateren, dat er tijdens de scenariotesten een aantal problemen waren, die vooral op het moment dat Stoas het probleem niet kon oplossen (bv. toegang tot QM Live, downloaden secure browser, toegang tot communities, informatie op communities website niet up to date) toch relatief lange oplostijd kostten. Bovendien bleek de QMP- infrastructuur relatief lastig in die zin, dat er soms onduidelijke foutmeldingen verschenen bij relatief simpele functionaliteit, waarvoor een oplossing helemaal niet direct voorhanden is (foutmelding secure browser, trage respons beheeromgeving, performancetesten). Dit ervaren wij als een risico. De helpfunctie is niet contextgebonden. Met de helpfunctie wordt een userguide geopend bij het onderdeel waarin men werkt (bv. authoring, of planning van toetsen of...). De userguide is Engels. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. In de vorm van de Question Mark Communities wordt ook een ruimte geboden waar men inhoudelijk informatie over toetsen en praktijkvoorbeelden kan vinden. Dat kan ook didactische ondersteuning zijn. Zie Samenvatting van de opmerkingen van de referenten over QMP: 18

19 Windesheim over de ondersteuning van QMP: Eerste afhandeling gebeurt door Stoas. Erg afhankelijk van wie de call krijgt toebedeeld. Daarnaast moeten calls worden ingeschoten via clientele (elektronisch systeem voor klachtafhandelingen). Vaak hebben wij zelf al alle opties en wegen verkend voordat we een melding inschieten. Vervolgens begint Stoas weer bij nul hetzelfde probleem te ontrafelen en krijg je dus een herhaling van zetten. Kost erg veel tijd, energie en ook frustratie. Voor sommige echt technische issues is het vaak handiger om een technisch consultant in onze omgeving te laten meekijken. Voordat je zover bent is er al heel wat water door de Rijn. Als Stoas er niet uit komt maken zij een melding bij Questionmark en krijg je hetzelfde proces nog een keer. Questionmark reageert niet snel op (moeilijke) vragen. Alles bij elkaar kan het soms weken tot maanden duren voordat je een oplossing hebt voor je probleem. Sommige problemen worden ook weggeschoven onder het mom van staat (of komt) op de roadmap. In dat geval kan het een jaar of langer duren voordat een knelpunt is aangepakt. Voorbeeld: de roep om een rapport waarmee score-cijfer berekening kan worden gemaakt. Zit er nog steeds niet in en is volgens mij al 10 jaar geleden om gevraagd. VU: Applicatie kent veel bugs en nifty probleempjes. Die zijn niet altijd oplosbaar. Alles gaat via een call-systeem en dat is niet prettig. Surpass: Ook hier is een getrapte ondersteuning. Efinity doet de 2 e lijns ondersteuning en schakelt soms door naar de 3 e lijns ondersteuning van BTL. BTL geeft op de website aan zich eerder een partner te voelen van de instellingen die Surpass gebruiken, dan een leverancier. Die sfeer ademt de ondersteuning. FB ICTO heeft veel meer contact gehad met consultants bij BTL, dan met die van Question Mark of Maplesoft. Dat was niet omdat er meer problemen waren met Surpass, maar omdat BTL Saxion al direct inschakelt als een partner bij het ontwikkelen van de nieuwe interface voor de programmatuur. BTL is ook op eigen initiatief naar Saxion gekomen, om mensen te bevragen over de nieuwe interface. Zij waren toen ook bereid op korte termijn een presentatie te geven. Daarnaast heeft BTL niet alleen maar onderzocht of een conversie van vragen uit TestVision mogelijk was, maar hebben ze een tool gebouwd, die in een Skype sessie gedemonstreerd en de tool voor testen ter beschikking gesteld. Ook zijn ze gelijk gestart met het bouwen van een oplossing voor secure vaardigheidstoetsen met MS Office. De helpfunctie is niet contextgebonden. Met de helpfunctie wordt een userguide geopend van het onderdeel waarin men werkt (bv. authoring, of planning van toetsen of...). De userguide is Engels. FB ICTO en toetsdesken kunnen tijd- en plaats onafhankelijk elk onderdeel van de applicatie bereiken omdat het om een webapplicatie gaat. In een community kan men ook inhoudelijke informatie over toetsen en didactische ondersteuning vinden bij Surpass. Zie Resultaat 2 helpfunctie 2 tijd- en plaatsonafhankelijke ondersteuning 1 Ondersteuning leverancier Maple TA QMP Surpass 19

20 Scenario 5: Inrichten van domeinen binnen de applicatie Werkwijze Dit scenario hangt nauw samen met scenario 6 omtrent rollen per academie en workflow. Beide scenario s samen geeft een goed beeld van de mogelijkheden voor het werken met de applicatie. We ontwikkelen niet een heel voorbeeld domein, maar onderzoeken per applicatie of een voorbeelddomein in te richten is met de tools van de applicatie. Daarbij zijn er 2 verschillende gebieden waar een domein moet worden ingericht. Elke academie wil één leerboom met toetsvragen en toetsen als een geheel beschikbaar hebben, maar binnen die leerboom moeten wel gebieden met verschillende rechten aan verschillende personen toegekend kunnen worden. Voorbeeld: De Toetsdesk van een academie heeft lees-, schrijf- en beheertoegang tot de gehele leerboom van de academie, maar elke toetsverantwoordelijke heeft lees-, schrijf en beheertoegang tot de toetsen en toetsvragen van de eigen modules/vakken. Docenten kunnen alleen toetsvragen aanleveren voor de eigen vakgebieden. Het tweede gebied is het gebied van het klaarzetten van de toetsen voor afname. Voorbeeld: De toetsverantwoordelijke voor een bepaalde toets zorgt voor een toetsmatrijs. Deze staat geregistreerd in BISON. Deze toetsmatrijs wordt uitgewerkt naar een toets met toetsvragen in de toetsapplicatie door de toetsdesk. De toetsverantwoordelijke controleert of de matrijs goed is uitgewerkt en controleert de toetsversies op basis van de toetsmatrijs. De toetsdesk heeft daarom lees-, schrijf- en beheerrechten op het samenstellen van toetsmatrijzen en toetsversies op basis van die toetsmatrijzen. De toetsverantwoordelijke heeft minimaal leesrechten om in elk geval een preview te krijgen. Het centrale toetsbureau zorgt ervoor, dat de toets in de tijd wordt ingeroosterd en zorgt dat studenten voor de toets worden ingeschreven. Ook de academie toetsdesk kan hiervoor verantwoordelijk zijn. De afname van de toets wordt begeleid door ofwel het centrale toetsbureau, ofwel de toetsdesk van de academie. Uiteindelijk moet de toetsverantwoordelijke weer de resultaten van de toets kunnen inzien. Vragen 1 Kan elke academie een eigen domein krijgen, zonder dat dit leidt tot beheerproblemen showstopper (bv. 12 installaties van dezelfde programmatuur). 2 Zijn er ook binnen een domein bepaalde containers af te schermen (bv. per opleiding of per studiejaar of...) 1 Zijn er mogelijkheden om binnen de academieinterface samenwerkingsverbanden tussen academies te realiseren. 2 Is het mogelijk om binnen de verzamelde academieinterface een ingang voor toetsbureau en Functioneel Beheer ICT&O op de juiste gebieden te realiseren. 1 Blijft de applicatie ondanks het gebruik van domeinen één geheel. Hoeven gebruikers niet tussen allerlei stukjes van de applicatie bestanden te importeren en exporteren? 20

21 Uitwerking Maple TA: MapleTA werkt met classes. Toetsvragen en toetsen bestaan binnen een bepaalde class en zijn zonder kopieren niet uitwisselbaar tussen classes. Binnen een class kan een gebruiker de rechten krijgen tot beheer van toetsen en toetsvragen of als deelnemer in een toetsafname. Binnen een class kun je rechten op delen van de content afschermen door subclasses te maken. Docenten met beheerrechten op een (sub) class kunnen alle toetsvragen en toetsen binnen die (sub)class bewerken en klaarzetten voor afname. Binnen een (sub) class kun je geen nieuwe containers aanmaken. Deelnemers op een toets worden aangemeld op de class en zijn dan ingeschreven op alle toetsen in die class. Dat betekent in de Saxion context, dat je om deelnemers alleen op de juiste toets aan te melden, per toetsmatrijs een (sub)class zou moeten aanmaken. Toetsvragen zijn dan nauwelijks uitwisselbaar tussen classes, zonder dat dezelfde toetsvraag gekopieerd wordt naar andere classes. Het aantal classes zal daarmee even groot worden als het aantal afgenomen toetsen. Gezien vanuit het delen en het overzicht over de vragen in de leerboom is deze verregaande en rigide indeling niet wenselijk. Voor het samenwerken tussen academies, moeten weer aparte classes of subclasses worden aangemaakt. Uitwisseling van toetsvragen blijft een kwestie van kopieren van een toetsvraag. Toetsbureau en Functioneel Beheer ICT&O zouden dan net als de toetsdesk alle rechten binnen alle classes moeten hebben om toetsen te plannen en inschrijvingen te beheren. Echter ook alle docenten in een class hebben de rechten om te plannen en inschrijvingen te beheren. Er is dan nog een optie om per academie een eigen installatie van de software te maken. Dat leidt tot problemen bij de samenwerking binnen academies en de noodzaak tot handmatige import-export tussen domeinen, waar wordt samengewerkt. Daarmee is duidelijk dat de indeling van de applicatie in domeinen op zijn minst moeilijk is en veel risico s bergt. Question Mark Perception : Vragen en toetsen worden opgeslagen in een mappenstructuur. Op hoofdniveau kunnen lees-, schrijf- en/of beheerrechten aan bepaalde personen worden toegekend. Op hoofdniveau vormen daarom de verschillende modules/thema s, waaruit toetsen worden samengesteld de basis voor de mappenstructuur. Deze structuur lijkt op die in TestVision en is in het verleden werkbaar gebleken. Wanneer er tussen academies wordt samengewerkt kunnen ze bepaalde mappen delen, maar een academiemedewerker kan ook bv. leesrechten krijgen op de mappen van een andere academie. Het plannen en inschrijven van studenten op een toets is geregeld op basis van roostergroepen. Elke toetsdesk van de academie kan rechten krijgen om de eigen roostergroepen in te schrijven op een toets en in de tijd te plannen. Het centrale toetsbureau krijgt schrijftoegang tot bepaalde roostergroepen en toetsen, maar niet tot de gehele mappenstructuur. Daarmee kan het toetsbureau wel toetsen voor alle academies inplannen, maar niet de vragen en toetsen veranderen. Uit de vragenlijsten over QMP blijkt dat de meeste instellingen in het HO, die werken met QMP, in de praktijk werken met een aparte omgeving waarin docenten hun toetsen en toetsvragen ontwikkelen en een aparte omgeving waarin de toetsen worden afgenomen. Dit wordt geadviseerd door Stoas om te voorkomen, dat per abuis toetsvragen worden gewijzigd, terwijl die in toetsen worden gebruikt. Deze 21

22 structuur beschermt ook de performance.toetsvragen en toetsen worden via handmatige export en import van de ontwikkelomgeving naar de afnameomgeving gebracht. Dat is een structuur, die we binnen Saxion eigenlijk niet willen. Surpass: De applicatie kent toetscentra. Een toetscentre is bv. een academie of een opleiding. Binnen een toets centre worden toetsen samengesteld op basis van kwalificaties. Een kwalificatie is bv. een diploma (opleiding) waarvoor iemand wordt opgeleid. Een kwalificatie kan ook een competentie zijn. De mappen met toetsvragen zijn gekoppeld aan die kwalificaties. Ook de toetsen zijn gekoppeld aan kwalificaties. Een toets kan gekoppeld zijn aan meerdere kwalificaties en meerdere centra. Gebruikers kunnen alleen die kwalificaties, toetsvragen en toetsen zien, waarvoor zij rechten hebben gekregen. Je kunt toetsen en toetsvragen zoeken op grond van kwalificaties en centres. Voor elke toetsmatrijs kan een hoofdmap (een project) worden ingericht, waar de mappen met toetsvragen worden bewaard en waarin docenten toetsvragen kunnen maken. Per map worden allerlei rechten van gebruikers vastgesteld en eigenschappen van het gebied waarin de toetsvragen kunnen worden samengesteld. Een gebruiker ziet alleen die projecten waarop hij rechten heeft. En kan daar toetsvragen maken. Voor het samenstellen van toetsmatrijzen en toetsversies kan de toetsdesk alleen die toetsvragen vinden die vrijgegeven zijn voor publicatie en gekoppeld zijn aan bepaalde centra en kwalificaties. Het doet er niet toe in welk project deze toetsvragen staan, men kan ze op deze plaats niet veranderen, alleen bekijken. Het centraal toetsbureau krijgt toegang tot bepaalde centra en kwalificaties, maar dan alleen om toetsversies (bv. Taaltoets-kwartiel 1-1 e kans, Taaltoets-kwartiel2-herkansing) in te plannen. Daarmee kan het toetsbureau wel toetsen voor alle academies inplannen en de inschrijving regelen, maar niet de vragen en toetsen of toetsmatrijzen veranderen. Resultaten: 1 Eigen domein per academie SS 2 Afschermingen binnen domein 1 Samenwerking tussen academies 2 Ingang voor toetsdesk, centraal toetsbureau, FB ICTO. 1 Applicatie is één geheel zonder import en export Maple TA QMP Surpass 22

23 Scenario 6: Rollen per academie en workflow Werkwijze We ontwikkelen niet een heel voorbeeld rollensysteem en een voorbeeld workflow, maar we onderzoeken per applicatie of afdoende rollen en een passende workflow in te richten zijn met de tools van de applicatie. De workflow rond het volledige proces toetsen is in een eerste bijeenkomst met betrokkenen in kaart gebracht. Rollen Toetsverantwoordelijke Docent Taak Aanspreekpunt voor validiteit, betrouwbaarheid en acceptatie van de toets: toetsmatrijs. Toetsanalyse en vaststelling resultaten Verantwoordelijk voor (deel van) de toetsvragen, review Examencommissie Toetsdesk Roostering en planning Borging van kwaliteit van de toets Toetsmatrijs digitaliseren en genereren van de toetsen vanuit de toetsmatrijs Roostering van toets en locatie Centraal toetsbureau Surveillant Coördinatie van uitvoering van de toetsen en inschrijving van deelnemers Afname van de toets Onderwijskundige Uitleg van de analyse van de toets en toetsvragen Informatiseringscentrum Technisch beheer en ondersteuning infrastructuur Functioneel beheer ICT&O Beheer en ondersteuning van de applicatie 23

24 Niet elke academie binnen Saxion hanteert een even gedetailleerde workflow of eenzelfde workflow. Daarom is er voor het werken met een workflow en met rollen een hoge flexibiliteit nodig van de applicatie om het 12 academies naar de zin te maken. Vragen 1 Zijn er rollen met capabilities, die voldoende fijnmazig zijn ingericht voor gebruik showstopper binnen Saxion? 2 Zijn die rollen in te richten doordat FB ICTO capabilities kan toekennen of afschermen voor een rol? Zijn er nieuwe rollen te maken binnen de applicatie? 2 Is het mogelijk een workflow in te richten voor het ontwikkelen van toetsitems en toetsen binnen de applicatie? 2 Is het mogelijk een workflow in te richten voor de administratieve ondersteuning binnen de toetsapplicatie? Uitwerking Maple TA: MapleTA werkt met classes. Binnen een class zijn 3 verschillende rollen beschikbaar, namelijk: Administrator: De rol administrator heeft alle rechten op alle classes van Maple TA. De administrator kan op systeemniveau gebruikers toekennen aan rollen binnen classes. Instructor: De rol voor diegenen die de toetsvragen en toets ontwikkelen binnen een class, vervolgens inplannen en studenten inschrijven op de class. Proctor: Surveillant, die studenten individueel toegang kan geven voor een toets. Student: De student neemt deel in de toets. Deze rollen staan vast binnen de applicatie. Dat betekent, dat de bevoegdheden van de rollen niet veranderd kunnen worden. Er kunnen ook geen nieuwe rollen toegevoegd worden. Eigenlijk is voor 24

25 ontwikkeling en beheer van toetsvragen en toetsen en voor planning en inschrijving van deelnemers maar 1 rol beschikbaar. Dat betekent dat Mape TA te beperkt is in de roldifferentiatie om binnen de organisatie van Saxion te kunnen functioneren. Er is geen tool om een workflow op te bouwen beschikbaar binnen de applicatie. Uitgaande van de beschikbare rollen kan iedereen met rechten op bepaalde classes anders dan deelnemer, alles, zowel qua vraag- en toetsontwikkeling als op gebied van planning en inschrijven van toetsdeelnemers. In de interface van de applicatie zit een workflow ingebakken, die ervan uitgaat dat dezelfde persoon de toets samenstelt, beveiligingsopties instelt en plant in de tijd. Dit is beveiligingstechnisch zelfs hoogst onwenselijk. Question Mark Perception : Bij het ontwikkelen van vragen en toetsen zijn per map met toetsvragen of per map met toetsen 4 rechten beschikbaar, die een beheerder kan toekennen aan een gebruikeraccount: No acces Full accces View/Use Edit/Use Daarnaast kan men een gebruikeraccount een rol geven, genaamd profiel. De beheerder kan ook nieuwe profielen maken. Binnen een profiel zijn bevoegdheden gedefinieerd, die men al dan niet aan het profiel kan toekennen. Deze bevoegdheden zijn relatief grofmazig gedefinieerd. Ze lijken voldoende om binnen de Saxion context bruikbaar te zijn, maar er zijn door de clustering van bevoegdheden ook beperkingen in het definieren van rollen. 25