ERVARINGEN TOETSSYSTEMEN

Transcriptie

1 ERVARINGEN TOETSSYSTEMEN

2 INHOUDSOPGAVE Inleiding 3 Casus: iqualify 4 Casus: TestVision 5 Casus: SOWISO 7 Casus: Questionmark 9 Casus: RemindoToets 11 Casus: Surpass 12

3 Ervaringen toetssystemen 3 ERVARINGEN TOETSSYSTEMEN Met zes toetssystemen deden instellingen voor hoger onderwijs ervaring op in het samenwerken aan toetsen via de cloud. Hieronder staan de ervaringen beschreven aan de hand van de setting, de veiligheid, de schaalbaarheid en het al dan niet voldoen aan standaarden. Ook is informatie opgenomen over de leverancier en hoe deze heeft geacteerd tijdens de samenwerking. Aanleiding en achtergrond Het gebrek aan uitwisselingsmogelijkheden van toetsitems en toetsdata is een knelpunt voor instellingen die willen samenwerken op het terrein van digitaal toetsen. Een aantal instellingen voor hoger onderwijs heeft daarom binnen het programma Toetsing en Toetsgestuurd Leren (TTL) geëxperimenteerd met gezamenlijk gebruik van toetssoftware in de cloud. SURF onderzocht in hoeverre toetssoftware in de cloud instellingsoverstijgend digitaal toetsen kan ondersteunen. Gebruikerservaringen per toetssysteem Deze ervaringen uit de praktijk bieden informatie voor instellingen die overwegen toetssoftware in te zetten, of die willen overstappen naar een ander toetssysteem. CASUSSEN (GEBRUIKERSERVARINGEN) iqualify TestVision SOWISO Questionmark RemindoToets SURPASS Toepassing De beschrijvingen gaan altijd over de toepassing binnen een specifieke context en zijn niet zonder meer te generaliseren. SURF pretendeert niet een opsomming te geven van beschikbare toetssoftware op de markt en geeft geen totaaloverzicht van functionaliteiten. Ook beoogt SURF geen kwalitatief oordeel over de producten te geven. In alle gevallen hebben de betrokken partijen, zowel de instellingen als de leveranciers, kunnen reageren op de conceptteksten. SURFmarket onderhandelt met leveranciers om tot overeenkomsten te komen. Neem contact op met SURFmarket als een overeenkomst met een leverancier gewenst is. SURFmarket kijkt naar de belangen voor alle onderwijsinstellingen (vraagbundeling), de technische ontsluiting via SURFconext, en aandachtspunten, zoals Service Level Agreement en HO normenkader. Conclusies experimenten Uit de experimenten blijkt dat: toetssoftware in de cloud vrijwel direct operationeel is; het beheer van accounts en rollen de verantwoordelijkheid van de instelling blijft; de voordelen van samenwerking in de cloud vooral tot uiting komen als instellingen samen toetsitems ontwikkelen; toetsafname in de cloud veilig georganiseerd kan worden; de beveiliging van de toetswerkplekken een zaak van de instelling blijft.

4 Ervaringen toetssystemen 4 CASUS: IQUALIFY Het product iqualify is een toetsomgeving die onder meer wordt gebruikt door Leerstation Zorg 1, een stichting voor ontwikkeling van digitaal leermateriaal voor zorgverleners binnen de zorg en het onderwijs. iqualify is ontwikkeld door het softwarebedrijf Infoland, en wordt als clouddienst aangeboden. Leerstation Zorg heeft samen met verpleegkunde-opleidingen en zorginstellingen veel content ontwikkeld voor het domein zorg, voor verpleegkunde en verzorgende beroepen. De content heeft de vorm van toetsvragen (meerkeuze-, stelling-, sleep- en aanwijsvragen) met uitgebreide feedback, die overwegend formatief wordt ingezet. Er is een experiment geweest met iqualify om deze content ook summatief in te zetten. De summatieve toetsomgeving van iqualify is nog niet volledig ontwikkeld; de huidige versie is wel bruikbaar en voldoende robuust. Er is een koppeling mogelijk met een barcode-reader, zodat studenten hun inlogkaart kunnen laten scannen en zo heel snel én met extra beveiliging gekoppeld worden aan hun toets. Gebruik in het experiment Deze productbeschrijving is voornamelijk gebaseerd op het Experiment Veilig toetsen in de cloud waarin vijf hogescholen participeerden. Daarin werd onderzocht of iqualify veilig en op wat grotere schaal bruikbaar is voor summatieve toetsafname. Dit experiment was vooral bedoeld om uit te vinden of de toetssoftware van Leerstation Zorg ook veilig is in te zetten voor summatieve toetsing. Er is een test in de vorm van een gesimuleerde summatieve toets uitgevoerd op de vijf hogescholen tegelijk. Hackers hebben bij drie instellingen geprobeerd in te breken in de toets-pc s. Veiligheid van het product Bij de ethical hack 2 in het kader van het experiment met summatieve toetsing is gebleken dat de serveromgeving van iqualify afdoende beveiligd is. Ook is aangetoond dat deze toetssoftware, mits een secure browser wordt gebruikt, een afdoende 3 beveiligde omgeving biedt. De secure browser wordt niet meegeleverd: instellingen moeten dit zelf regelen. Als secure browser is in dit experiment gebruik gemaakt van het product SiteKiosk; in twee gevallen was deze goed geconfigureerd, waardoor een adequaat beveiligde toetsomgeving ontstond. Bij een van de deelnemende hogescholen was de configuratie niet correct en bleken de toets-pc s vatbaar voor verschillende vormen van ongewenste handelingen, zoals het openen van een webbrowser, waardoor een student tijdens de toets de antwoorden op vragen zou kunnen opzoeken. Schaalbaarheid van het product In het experiment werkten ongeveer 200 studenten min of meer gelijktijdig aan een toets; dit leidde niet tot een merkbare terugval van performance. Standaarden, interoperabiliteit iqualify ondersteunt de standaarden LTI en QTI. Binnen deze context is er geen ervaring opgedaan met het uitwisselen van data o.b.v. de QTI standaard. Meer informatie over de toepassing van QTI en de LTI standaard is te vinden in de whitepapers: QTI in het Nederlands hoger onderwijs LTI in het Nederlands hoger onderwijs Ondersteuning door de leverancier Het product wordt volledig ondersteund door de leverancier. Vragen kunnen neergelegd worden bij de servicedesk. Daarnaast wordt het systeem 24x7 gemonitord en worden beschikbaarheid, betrouwbaarheid en vertrouwelijkheid gewaarborgd. De stichting Leerstation Zorg is eind 2014 opgehouden te bestaan en de toetsdatabank is als product Leerstation Zorg overgenomen door Noordhoff Health. Noordhoff heeft een actieve samenwerking met Infoland voor het distribueren van al haar toetsen via iqualify. Kosten Dit aspect is niet aan de orde geweest tijdens dit experiment. Informatie over het product en de leverancier Product: iqualify Leverancier: Infoland 1 De stichting Leerstation Zorg is eind 2014 opgehouden te bestaan; bij het uitbrengen van deze paper is het onduidelijk op welke manier iqualify al dan niet beschikbaar blijft. 2 Een ethical hack wordt georganiseerd om gecontroleerd te onderzoeken of het mogelijk is door de beveiliging van een omgeving te breken. Dit wordt vaak gedaan om te testen of een omgeving voldoende beveiligd is. 3 NB: binnen het beschikbare budget hebben de hackers gezocht naar mogelijkheden om de omgeving te kraken. Dit is niet gelukt, maar het is denkbaar dat er andere inbraakmogelijkheden zijn die nog niet ontdekt zijn.

5 Ervaringen toetssystemen 5 CASUS: TESTVISION Het product TestVision is een door Teelen Kennismanagement ontwikkeld toetssysteem. Teelen Kennismanagement is een Nederlands bedrijf, opgericht in Er zijn twee varianten: TestVision en TestVision Online. TestVision ondersteunt instellingen bij het ontwikkelen (ook webbased), het afnemen en beheren, en de statistische analyse van vragen en toetsen. TestVision is sinds 1999 op de markt. De leverancier ondersteunt dit product nog wel, maar het wordt slechts beperkt doorontwikkeld. TestVision Online is de opvolger van TestVision en ondersteunt de instellingen volledig webbased bij de ontwikkeling, afname en statistische analyse van vragen en toetsen. TestVision Online is een cloudservice en is sinds 2011 beschikbaar. Gebruik in het experiment Deze productbeschrijving is gebaseerd op één experiment, uitgevoerd in het kader van de subsidieregeling Gezamenlijk gebruik van toetssoftware in de Cloud. Het betrof een kleinschalig experiment met zowel TestVision als TestVision Online in een samenwerkingsproject van een de Universiteit Utrecht (de faculteit Diergenees kunde) en de Hogeschool Utrecht (de faculteit Gezondheidszorg). Het doel van dit gezamenlijke experiment was om ervaringen op te doen met het gebruik van toetssoftware in de cloud. Door een vergelijking te maken met niet-cloudgebaseerde toetssoftware trachtten de betrokken instellingen meer inzicht te verkrijgen in wat nu de meerwaarde is van cloudgebaseerde toetssoftware. De bevindingen uit het experiment hebben vooral betrekking op de toegang tot de toetssoftware. Deze is bij de cloudgebaseerde toetssoftware plaats onafhankelijk, waardoor er flexibeler gewerkt kan worden aan de voorbereidingen voor toetsafname en de resultaatverwerking achteraf. Verder kan men de toets afnemen in elke digitale toetszaal die beschikt over een moderne browser met internettoegang. Tijdens het experiment hebben zowel studenten als docenten TestVision Online uitgeprobeerd en zijn de volgende conclusies getrokken: Als voordeel van TestVision Online is benoemd dat er tijdens de toetsafname al naar de toetsresultaten gekeken kan worden door studenten en docenten. Ook de analyse van de toetsvragen kan snel plaatsvinden. Voordeel is ook dat na aanpassing van de toets, bijvoorbeeld het niet laten meetellen van vragen op basis van de analyse, direct de aangepaste analysegegevensw beschikbaar zijn. Studenten en docenten geven aan dat TestVision Online een gebruiksvriendelijke applicatie is waarmee zonder veel instructie te werken is. TestVision Online bestaat niet uit losse modules zoals TestVision. Dit wordt als prettig ervaren. Vooral voor een beginnende toetsontwikkelaar is het werkproces in de online-versie gemakkelijker in beeld te krijgen. De constructie van items verloopt met TestVision Online soepeler dan met TestVision, omdat het minder stappen vergt dan in de oude versie. Het authenticatieproces is niet gemakkelijk verlopen in het experiment. Het is duidelijk geworden dat just-in-time koppeling van studenten aan toetsen eenvoudiger gemaakt zou moeten worden. De instellingen zullen hiervoor hun wensen en eisen kenbaar maken. Veiligheid van het product Er zijn geen beveiligingsproblemen geweest bij de summatieve toetsen afgenomen bij de hogeschool. Er werd gewerkt in een secure omgeving op basis van Active Directory (AD) policies, waarin de hyperlink naar TestVision Online omgeving was ingevoegd. Studenten konden de toetsschermen niet verlaten. Alle computers werden als groep op afstand met behulp van een script in de secure-omgeving gezet. Standaarden, interoperabiliteit TestVision ondersteunt de standaarden LTI en QTI. Binnen dit experiment is hiermee geen ervaring opgedaan. Wel is aan de orde gekomen wat nodig is om over te stappen van TestVision naar TestVision Online. Hiervoor moeten de itembanken vanuit TestVision worden geconverteerd en gecodeerd volgens de QTI-standaard. Teelen Kennismanagement biedt hiervoor een conversiemodule aan, waarmee grote hoeveelheden vragen tegelijk kunnen worden geëxporteerd uit TestVision, die vervolgens in TestVision Online worden geïmporteerd. Een garantie voor een vlekkeloze conversie kan niet worden gegeven door de leverancier. Aanbeveling voor de leverancier is dan ook om dit uitvoeriger te testen en dit terug te brengen tot een aanvaardbare foutmarge. Meer informatie over de toepassing van QTI en de LTI standaard is te vinden in de whitepapers: QTI in het Nederlands hoger onderwijs LTI in het Nederlands hoger onderwijs lees verder >>

6 Ervaringen toetssystemen 6 Schaalbaarheid van het product Dit aspect is niet aan de orde gekomen in het experiment. Ondersteuning door de leverancier Het support van TestVision en TestVision Online ligt bij Teelen Kennismanagement. De ondersteuning binnen het experiment was goed. De verbeterpunten die naar boven zijn gekomen tijdens de pilots zijn of direct verwerkt of komen binnenkort in een nieuwe release beschikbaar. Informatie over het product en de leverancier Product: TestVision Leverancier: Teelen Kennismanagement

7 Ervaringen toetssystemen 7 CASUS: SOWISO Het product SOWISO is het e-learningplatform voor wiskunde en andere exacte wetenschappen, gefaciliteerd door het gelijknamige bedrijf. De cloudservice van SOWISO biedt de mogelijkheid om geavanceerde wiskunde-items voor formatief of summatief toetsen in te zetten. Er zijn verschillende mogelijkheden voor rapportages, onder andere met behulp van learning analytics. SOWISO is in 2010 opgericht als een spin-off van de Technische Universiteit Eindhoven. Het product wordt inmiddels gebruikt door een aantal instellingen voor hoger onderwijs (TU/e, UvA, HvA, VU, AMC en UL) en door enkele educatieve uitgeverijen (Noordhoff Uitgevers, De Boeck). Gebruik in het experiment Deze productbeschrijving is gebaseerd op twee kleinschalige experimenten: Een experiment met Universiteit van Amsterdam, Vrije Universiteit, Universiteit Leiden en Universiteit Utrecht, waarin Tentamenlade 2.5 (een door studenten zelf-ontwikkelde toetsapplicatie te gebruiken voor diverse exacte vakken) verbeterd is in samenwerking met SOWISO en voor diverse vakken in universitaire opleidingen beschikbaar gesteld; Tentamenlade 2.5 zal het mogelijk maken dat de samenwerkende docenten commentaar op elkaars tentamenvragen kunnen gaan geven. Een experiment met Technische Universiteit Eindhoven, Universiteit Maastricht, Universiteit van Amsterdam, Fontys Hogescholen met een Testomgeving wiskundetoetsen (TWIST); binnen dit experiment onderzochten de betrokken instellingen hoe een cloudservice van de leverancier SOWISO ingezet kan worden om instellingsoverschrijdend gebruik te maken van de gezamenlijke database met wiskunde-opgaven en -toetsen. In het experiment TWIST zijn items uit een bestaande wiskundebank (OnbeTWIST) overgezet naar SOWISO, zijn er items aangemaakt en is er formatief digitaal getoetst met de applicatie. In het experiment Tentamenlade 2.5 lag de nadruk op instellingsoverstijgende itemconstructie en het verzamelen van oude tentamenopgaven voor diverse exacte vakken. Per vak beschikken de docenten van de diverse instellingen over gezamenlijke items in SOWISO en hebben per instelling of groep gebruikers een eigen lade waar ze items kunnen maken of veranderen. Het materiaal wordt voornamelijk gebruikt voor het oefenen bij de werkcolleges en voor huiswerk. De uitwerking van de opgaven in dit experiment vond (nog) plaats op papier. Bij beide experimenten vonden de gebruikers de software gebruiksvriendelijk en is geconcludeerd dat de SOWISO technisch voldoet aan de gestelde eisen, zoals de mogelijkheid om hoogwaardige, interactieve en geparametriseerde wiskunde opgaven aan te bieden. Ook biedt de omgeving goede mogelijkheden om met verschillende docenten en instellingen samen te werken en een database van toetsitems aan te leggen. In beide experimenten was het beschikbaar maken van de clouddienst een probleemloze stap die snel gerealiseerd was. Hiervoor was aan de infrastructuur in de instelling geen enkele aanpassing nodig. Het platform is een mediumonafhankelijke website: het platform en de functionaliteiten zijn te bereiken via computer, laptop of tablet met internetverbinding en browser met HTML5 ondersteuning. Veiligheid van het product Binnen de beide experimenten is voornamelijk gebruik gemaakt van formatieve tests. Fraudegevoeligheid viel dan ook buiten de scope. Schaalbaarheid van het product Beide experimenten zijn op kleine schaal uitgevoerd. Het aspect schaalbaarheid is niet aan de orde geweest. In een andere context werkt SOWISO wel voor grotere aantallen gebruikers, meer informatie hierover is verkrijgbaar bij de leverancier. Standaarden, interoperabiliteit De cloudservice van SOWISO maakt gebruikt van de LTIstandaard. In het experiment TWIST is hiermee geëxperimenteerd: binnen de verschillende ELO s van de betrokken instellingen was de applicatie eenvoudig beschikbaar te stellen. Meer informatie over de toepassing van de LTI standaard is te vinden in de whitepaper LTI in het Nederlands hoger onderwijs. Ondersteuning door de leverancier Gebruikers van SOWISO zijn voor support aangewezen op de firma SOWISO. Men levert technische support op drie niveaus: brons, zilver, goud. Het verschil zit in de uren waarin de support wordt geleverd en de uptime-garantie. lees verder >>

8 Ervaringen toetssystemen 8 Binnen de experimenten werd de ondersteuning door SOWISO als adequaat en efficiënt ervaren. SOWISO biedt een relatief nieuw product en het platform wordt continu doorontwikkeld. Instellingen die het platform willen inzetten moeten zich realiseren dat het een nieuw product is dat in ontwikkeling is, in tegenstelling tot bijvoorbeeld Maple TA. SOWISO biedt goede support en voert gewenste wijzigingen snel door voor de instelling. Maar het kost de instelling relatief veel tijd om de applicatie ingericht te krijgen als gewenst. Kosten Het licentiemodel van SOWISO is gebaseerd op een prijs per named user inclusief onderhoud en support. Informatie over het product en de leverancier SOWISO

9 Ervaringen toetssystemen 9 CASUS: QUESTIONMARK Het product De toetssoftware van Questionmark is een van de meest en langst gebruikte in het Nederlands hoger onderwijs. Tot 2013 ging dat om het product Questionmark Perception (QMP), sindsdien is er ook de clouddienst Questionmark OnDemand. QMP wordt door instellingen lokaal geïnstalleerd of als Software as a Service (SaaS)-oplossing ingekocht. Questionmark is een Brits bedrijf dat zich primair op de Amerikaanse markt richt; in Nederland wordt het product verkocht en ondersteund door UPlearning. Questionmark kent een actieve en grote gebruikersgroep en jaarlijks worden user conferences georganiseerd, ook specifiek voor de Europese markt. Veel instellingen hebben de ervaring dat het inrichten van een goed functionerende eigen serveromgeving voor QMP een behoorlijke uitdaging is, waarvoor veel kennis nodig is. Er zijn twee alternatieven voor self-hosting: managed hosting, waarbij een derde partij een serveromgeving voor de klant inricht in een data-center, of Questionmark OnDemand, waarbij gebruik wordt gemaakt van één grote serveromgeving voor een aantal klanten, uiteraard wel met afgeschermde gegevens per klant. Questionmark OnDemand wordt door de firma Questionmark zelf gefaciliteerd. Voor Europa is er een datacenter in Ierland. Gebruik in het experiment Deze productbeschrijving is gebaseerd op drie verschillende contexten en op ervaringen met andere instellingen die Questionmark (soms al vele jaren) gebruiken: Een kleinschalig experiment met Questionmark OnDemand in een samenwerkingsproject van de Hogeschool Rotterdam en de Haagse Hogeschool (het experiment ToetsBaBe); in dit experiment werd geprobeerd één gezamenlijke auteurs- en itembankomgeving te gebruiken, die kan aansluiten op verschillende afspeelomgevingen bij de partnerinstellingen (o.a. QMP, TestVision en Surpass). Als gezamenlijke tooling is gekozen voor het Nederlandse product RemindoToets. De migratie van een lokaal geïnstalleerde Questionmark Perception naar OnDemand bij de Hogeschool Driestar (het experiment MBO-HBO, deelnemende instellingen: Christelijke Hogeschool Ede, Hoornbeeck College); in dit experiment werd onderzocht hoe QuestionMark in de cloud (merknaam: QuestionMark ondemand) zich gedraagt en hoe het zich verhoudt tot een lokale QMPinstallatie. Een groot landelijk samenwerkingsproject (10 voor de leraar) dat grootschalig gebruik maakt van QMP in een SaaS-oplossing (deelnemende partijen: alle hbo-lerarenopleidingen en de Vereniging Hogescholen). In het kleinschalige experiment van de Hogeschool Rotterdam en de Haagse Hogeschool was het beschikbaar maken van de clouddienst een vrijwel probleemloze stap, die binnen een week volledig gerealiseerd was. Hiervoor was aan de zijde van de infrastructuur in de instelling geen enkele aanpassing nodig. In het experiment van de Hogeschool Driestar is er veel tijd besteed aan de contractuele kant van een migratie van QMP naar de OnDemand versie. De Hogeschool Driestar wilde overstappen op de clouddienst omdat dit een goedkopere oplossing is die beter past bij de lange termijn strategie van de school. In technische zin is de ontsluiting van de cloudomgeving soepel verlopen. Het heeft veel tijd en moeite gekost om de contractuele kant van de zaak goed rond te krijgen, voornamelijk omdat UPlearning hier nog geen ervaring mee had en zij niet goed in staat was om de wensen en eisen van de hogeschool goed in het contract te verwerken. Ook de afspraken tussen QMP en UPlearning moesten verduidelijkt worden. In het experiment is overwogen om de clouddienst te continueren, maar vanwege kostenoverweging heeft Hogeschool Driestar besloten terug te vallen op de eigen serveromgeving. Het was geen probleem om de toetsitems van de clouddienst naar de eigen omgeving over te brengen. Echter, de toetsdata (resultaten van gemaakte toetsen) konden alleen door tussenkomst van de leverancier en dus tegen kosten uit de clouddienst worden gehaald. Dit is een punt van aandacht bij de exit-strategie als een instelling deze clouddienst overweegt te gaan gebruiken. Het landelijke project maakt gebruik van een lokale QMPomgeving die als SaaS wordt ingekocht bij UPlearning voor een groot aantal hogescholen. Deze oplossing is stabiel en betrouwbaar. Veiligheid van het product In een door SURF georganiseerde ethical hack 4 van de Questionmark online toetsafname-omgeving is aangetoond dat de meegeleverde secure browser een afdoende 5 beveiligde omgeving biedt. Uit het landelijke project is gebleken dat de versie van de secure browser soms nauw luistert: als niet de versie van de secure browser wordt gebruikt die hoort bij de gebruikte software op de server, dan functioneert deze niet goed. In de praktijk levert dit soms problemen op, als instellingen een andere versie gebruiken dan in het landelijke project voor hun online toetsafnames. Ook lukt het Questionmark niet zo goed om de nieuwste browserversies te ondersteunen. lees verder >>

10 Ervaringen toetssystemen 10 Schaalbaarheid van het product Het aantal gelijktijdige online toetsen dat met Questionmark kan worden afgenomen is sterk afhankelijk van de serveromgeving. Als gebruik wordt gemaakt van de clouddienst, dan kan voor vooraf aangemelde grootschalige afname tijdig extra capaciteit worden gepland. De schaalbaarheid is een belangrijk punt van aandacht: om met honderden studenten tegelijk een online toets af te nemen is het dus noodzakelijk een forse serveromgeving in te richten en deze zorgvuldig in te regelen. Standaarden, interoperabiliteit Questionmark ondersteunt niet de laatste versie QTI 2.1 maar de versie QTI 1.2. Binnen de experimenten is dit aspect niet aan de orde gekomen. Meer informatie over de toepassing van QTI en de LTI standaard is te vinden in de whitepapers: QTI in het Nederlands hoger onderwijs LTI in het Nederlands hoger onderwijs Kosten Het licentiemodel van Questionmark is gebaseerd op aanschaf plus een jaarlijkse fee van ca. 20% voor onderhoud en support. De clouddienst wordt op abonnementsbasis afgenomen. Als een instelling overstapt van self of managed hosting (waarbij een eigen licentie is aangeschaft), dan moet de investering in de licentie volledig worden afgeschreven: er is geen sprake van inruil. Het cloudabonnement heeft vanzelfsprekend een aanzienlijk hogere prijs dan het jaarlijkse onderhoudsabonnement, omdat het cloudabonnement ook de hosting en het technisch (applicatie)beheer omvat. Daar staat tegenover dat de instelling geen kosten meer maakt voor servers (in eigen beheer of managed hosting) en technisch (applicatie)beheer. Daarbij moeten de migratiekosten worden opgeteld. Overigens rekent QMP voor de standaard migratie van self hosted naar cloud geen kosten. Informatie over het product en de leverancier Product: Questionmark Leverancier in Nederland: UPlearning Ondersteuning door de leverancier In beginsel zijn gebruikers van Questionmark voor support aangewezen op de Nederlandse reseller UPlearning. Dit is de enige partij in Nederland die Questionmark ondersteunt. UPlearning levert ook managed hosting voor Questionmark. De clouddienst wordt door Questionmark zelf verzorgd en ondersteund door UPlearning. UPlearning is erg afhankelijk van Questionmark: zowel voor derdelijnsondersteuning als voor contractuele kwesties. In een aantal gevallen is het effect hiervan dat afdoende beantwoording van vragen en oplossing van issues lang op zich laat wachten. In sommige gevallen nemen instellingen zelf rechtstreeks contact op met Questionmark en het valt op, dat vragen dan vaak vlot worden afgehandeld. 4 Een ethical hack wordt georganiseerd om gecontroleerd te onderzoeken of het mogelijk is door de beveiliging van een omgeving te breken. Dit wordt vaak gedaan om te testen of een omgeving voldoende beveiligd is. 5 NB: Binnen het beschikbare budget hebben de hackers gezocht naar mogelijkheden om de omgeving te kraken. Dit is niet gelukt, maar het is denkbaar dat er andere inbraakmogelijkheden zijn die nog niet ontdekt zijn.

11 Ervaringen toetssystemen 11 CASUS: REMINDOTOETS Het product Het Nederlandse bedrijf Paragin ontwikkelt en levert verschillende online producten voor toetsen, assessment, competentiemeting en eportfolio, waaronder de toetssoftware RemindoToets. RemindoToets wordt in onder andere het mbo veel gebruikt, maar tot dusver weinig in het hoger onderwijs. De software wordt geleverd vanuit de cloud. Gebruik in het experiment Deze productbeschrijving is gebaseerd op de ervaringen opgedaan in het SURFproject ToetsBaBe 6 (Bedrijfsadministratie/Bedrijfseconomie) in het studiejaar Bij wijze van experiment is er gewerkt met RemindoToets als omgeving om gezamenlijk toetsen te ontwikkelen en per instelling, elk in een gekoppelde eigen afnameomgeving, af te nemen. Hierin werkten vijf hogescholen samen (Hogeschool Rotterdam, Hogeschool van Amsterdam, De Haagse Hogeschool, Hogeschool Utrecht en Saxion). Veiligheid van het product Dit aspect is niet aan de orde geweest binnen het experiment. Schaalbaarheid van het product Gezien de schaal van het experiment kunnen geen uitspraken worden gedaan over de schaalbaarheid; de leverancier geeft aan dat elders grote aantallen toetsen tegelijk zijn afgenomen zonder performance-problemen, zowel voor formatieve als summatieve toetsing. Standaarden, interoperabiliteit RemindoToets is gebouwd op basis van QTI 2.1. Meer informatie over de toepassing van QTI en de LTI standaard is te vinden in de whitepapers: QTI in het Nederlands hoger onderwijs LTI in het Nederlands hoger onderwijs RemindoToets blijkt een gebruiksvriendelijke omgeving te zijn waarmee ook docenten vlot kunnen werken. Dit werkt ook goed in een instellingsoverstijgende setting, mede dankzij een goede workflowondersteuning. Daarnaast is RemindoToets gebruikt voor de afname van formatieve toetsen, en dat is in alle betrokken instellingen zonder problemen gelukt. Hiervoor zijn handmatig accounts aangemaakt. Er zijn wel diverse koppelingsmogelijkheden, maar deze zijn binnen het experiment niet gebruikt. Op termijn is toegang via SURFconext mogelijk. Ondersteuning door de leverancier De leverancier was tijdens het experiment zeer bereid om vragen te beantwoorden en issues op te lossen. Kosten RemindoToets kent een tariefstructuur per student, tegen een vast jaarbedrag inclusief licentie en hosting (met een staffelkorting). Informatie over het product en de leverancier Product: Paragin Leverancier: RemindoToets 6 Het project ToetsBaBe is inmiddels omgevormd tot een duurzaam samenwerkingsverband Toets & Leer.

12 Ervaringen toetssystemen 12 CASUS: SURPASS Het product Surpass is een toetsproduct uit Engeland, ontwikkeld en geleverd door BTL learning & assessment. Deze organisatie bestaat al sinds 1985 en er werken ongeveer 70 mensen. BTL levert verschillende producten voor digitaal toetsen aan een groot aantal instellingen in de UK. In Nederland verzorgt Efinity de verkoopondersteuning. Voor BTL is Nederland de eerste stap op weg naar een grotere Europese klantenkring. Saxion en Windesheim zijn op dit moment in ons land de enige klanten, al zijn er meer instellingen die serieus geïnteresseerd zijn. Voor de Europese markt is een speciale versie, de Academic Edition, ontwikkeld. Het aantal functionaliteiten groeit snel, maar bijvoorbeeld het aantal beschikbare vraagtypen is op dit moment nog relatief beperkt (de meest gevraagde zijn beschikbaar). Veiligheid van het product Er is op basis van deze context geen informatie beschikbaar over de veiligheid van het product. Schaalbaarheid van het product De omgeving is schaalbaar en blijkt in elk geval tot enkele honderden toetsafnames tegelijk prima te ondersteunen. De leverancier geeft aan dat veel grotere aantallen mogelijk zijn, maar hiermee is in ons land geen concrete ervaring. Standaarden, interoperabiliteit Surpass ondersteunt zowel QTI 1.2 als QTI 2.1. Binnen deze context is er geen ervaring opgedaan met het uitwisselen van data o.b.v. de QTI standaard. Meer informatie over de toepassing van QTI en de LTI standaard is te vinden in de whitepapers: Gebruik in het experiment Deze productbeschrijving is gebaseerd op twee verschillende contexten: Saxion, waar sinds een jaar gebruik wordt gemaakt van Surpass (in 2014 naar verwachting digitale toetsafnames). Bij Saxion is Surpass de vervanger van TestVision. Windesheim, dat begin 2014 Surpass in gebruik nam in plaats van Questionmark Perception. Het wordt momenteel vooral gebruikt voor papieren toetsafname, al neemt het gebruik van online afname snel toe. QTI in het Nederlands hoger onderwijs LTI in het Nederlands hoger onderwijs Ondersteuning door de leverancier De Nederlandse ondersteuning door Efinity is voornamelijk commercieel. Voor het technische en functionele support hebben de instellingen rechtstreeks contact met de helpdesk of met specialisten van BTL. Tot op heden is de helpdesk bereikbaar tijdens kantooruren Engelse tijd, waar het een uur vroeger is dan in Nederland. Surpass wordt geleverd als clouddienst vanuit Engeland. Updates komen direct beschikbaar voor alle klanten hierin heeft een instelling dus geen regie; de leverancier geeft aan dat hierin binnenkort verandering komt. De service blijkt stabiel en betrouwbaar. In één geval was er een storing in de verbinding tussen SURFnet en de netwerkinfrastructuur van BTL, doordat ergens in de keten een schakel defect was. De leverancier organiseert jaarlijks een user conference en heeft recent het initiatief genomen tot de vorming van enkele special interest groups om klanten te betrekken bij de doorontwikkeling van Surpass. Via de user portal kunnen gebruikers wensen kenbaar maken. Deze worden door de leverancier bekeken en vormen mede input bij de vaststelling van de roadmap. Surpass heeft een eigen secure client. Deze wordt op de toetswerkplekken geïnstalleerd. De secure client beschikt over enkele voorzieningen voor studenten met functiebeperkingen, maar er is niet standaard een optie om bijvoorbeeld een groter lettertype te gebruiken. Kosten Surpass kent een tariefstructuur per student, tegen een vast jaarbedrag voor licentie en hosting (met een staffelkorting) en een opslag voor support. Vanaf 2015 kan Surpass via SURFmarket worden ingekocht. Surpass bestaat uit één geïntegreerde omgeving voor toetsontwikkeling en -beheer. Voor docenten zijn er wizards waarmee zij relatief eenvoudig zelf toetsen kunnen ontwikkelen. Informatie over het product en de leverancier Product: BTL learning & assessment Leverancier in Nederland: Efinity

13 SURF Kantoren Hoog Overborch (Hoog Catharijne) Moreelsepark 48 Postbus DA Utrecht T +31 (0) info@surf.nl beschikbaar onder de licentie Creative Commons Naamsvermelding 3.0 Nederland.