Seminar Hoe selecteer ik een digitaal toetssysteem?

Transcriptie

1 Seminar Hoe selecteer ik een digitaal toetssysteem? September 2011 Elf leveranciers beschrijven de functionaliteit, gebruiksvriendelijkheid, infrastructuur en architectuur, financiële aspecten en toekomstvastheid van hun digitale toetssystemen.

2 Inhoudsopgave Compass 3 Egel 6 FastTEST Web 9 Leerstation Zorg 15 LPLUS 19 Maple T.A. 25 OWL Testing Software 30 Surpass 35 TestVision 40 Quayn 44 Questionmark Perception 49 2

3 COMPASS COMPASS Adresgegevens Atos Contactpersoon: Dhr. B. van der Lelie E: T: +31 (0) W: nl.atos.net Atos: Online toetsen en examineren ComPass is de online dienst van Atos voor toetsen en examineren waarmee u zonder investering vooraf met maximale flexibiliteit toetsen en examens kunt afnemen. We bieden u de service om hoogwaardige toetsen en examens te ontwikkelen en te evalueren. Betrouwbaar en veilig Altijd beschikbaar Geen investering vooraf Vaste prijs per leerling / leraar Geen technisch onderhoud en beheer van software of hardware advies en begeleiding Een hoogwaardige en veilige toets en examendienst Analyse resultaten Examen ontwerp Correctie Toets samenstelling Examen afname ComPass is een online dienst die 24/7 management informatie geeft om de prestaties van uw totale onderwijsinstelling te monitoren, positief te beïnvloeden en zodoende de kwaliteit van uw toetsprocessen te verbeteren. De informatie is actueel en betrouwbaar waardoor u in een zeer vroeg stadium kunt bijsturen. Dit geldt voor het management maar evengoed voor het inzicht wat docenten krijgen in de prestaties en leerdoelen van de individuele student. Met ComPass zijn studenten beter dan ooit in staat hun focus op de juiste facetten van hun studie te leggen. ComPass is ontwikkeld in nauwe samenwerking met Andriessen. Andriessen is één van de belangrijkste dienstverleners op het gebied van online examineren in Nederland. Andriessen is vooruitstrevend in het combineren van proceskennis en hun ervaring met internettechnologie. Toetsproces van ComPass Er zijn verschillende elementen die afhankelijk van elkaar zijn en gezamenlijk een succesvol toetsproces vormen. In onderstaande afbeelding zijn deze elementen weergegeven. De functionaliteiten van onze toets- en examenservice komen hierin naar voren. Examenontwerp U geeft zelf vorm en inhoud aan uw itembank(en). U bepaalt hoe de itembank moet worden opgebouwd en welke toetsen uit deze bank gegenereerd moeten worden. Idealiter vormt een toetsmatrijs die aansluit op de eindtermen, de basis voor de itembank. 3

4 COMPASS Voor het vullen van de itembanken zijn in de meeste gevallen bestaande vragen te hergebruiken. Het ontwikkelen van nieuwe vragen valt ook binnen deze stap. Dit is vaak nodig om de hele toetsmatrijs voldoende te dekken. We raden aan om in deze processtap onderscheid te maken tussen vakinhoudelijke expertise en toetskundige expertise om de kwaliteit van de items te waarborgen. Soms vallen deze expertgebieden samen in één persoon. Vraagtypen: combinaties van meerkeuzevragen, multiple select vragen, tekstuele en numerieke invulvragen, uploadvragen, hotspotvragen, dynamische rekenvragen, open vragen en multimedia. Toetssamenstelling In de toetsmatrijs staat aan welke eisen de samenstelling van een toets moet voldoen. In deze stap kiest u een toetsvorm of -soort. Compass biedt hiervoor verschillende mogelijkheden. Uw keuze hangt af van het doel van de toets. Wilt u een toets voor de niveaubepaling van een kandidaat, een (individuele) oefentoets met feedback, of is het een officieel examen om een diploma te halen? Met betrekking tot het samenstellen van een digitale toets heeft u twee mogelijkheden: u stelt de toets vooraf samen of de toets wordt bij aanvang automatisch (random) gegenereerd. Wanneer u zelf de toets samenstelt, werkt u met (één of meer) vaste versies die voor alle kandidaten gelijk zijn. Een digitale vragenbank leent zich echter uitstekend voor het aanbieden van random gegenereerde toetsen waarbij iedere kandidaat een unieke toets aangeboden krijgt. Ook als een kandidaat een toets voor de tweede keer maakt. Examen/toets afname Bij online toetsafname is het van groot belang dat u op de techniek kunt vertrouwen. Atos garandeert zowel de veiligheid als de beschikbaar, ook bij grote volumes op het zelfde tijdstip. Wij hebben ruime ervaring in zeer kritische opdrachten zoals het beheer van betaalplatforms als ideal maar ook de volledige online informatie voorziening tijdens de Olympische Spelen is al jaren in beheer van Atos. Wij beheren onze eigen datacenters waardoor wij volledig onafhankelijk zijn. Bij de inrichting van een toetsproces hoort ook de keuze voor omstandigheden waaronder u de toetsen wilt (laten) afnemen en de mate van invloed die een kandidaat heeft op het moment en de plaats van afname. De mogelijkheden variëren van het geven van een toegangscode waarmee een kandidaat binnen een bepaalde periode (op een tijdstip naar keuze, zonder toezicht, op een eigen pc) een toets kan maken, tot inschrijving voor een toets op een vaste locatie en een vast moment. Naast de techniek is de inrichting van de toetsplek medebepalend voor een ongestoorde examenafname. Als kandidaten thuis mogen toetsen, heeft u hier geen invloed op. Daarom is thuis toetsen met name interessant voor diagnostische toetsen. Wij adviseren graag over de inrichting van uw eigen locaties om online toetsen af te nemen. Analyse van de resultaten Om de kwaliteit van uw toetsen en toetsproces te bewaken is het belangrijk dat u over analyses van de behaalde resultaten en de kwaliteit van items kunt beschikken. Wij raden aan om zowel individuele items te analyseren, als de validiteit van complete examens. Examenvragen worden doorgaans zorgvuldig samengesteld. Toch blijkt in de praktijk dat niet alle vragen dezelfde kwaliteit hebben en daarmee de betrouwbaarheid van de toets als geheel verkleinen. Door analyse van p-waarden, a-waarden en R it - waarden, kunt u de vragen met de laagste kwaliteit verbeteren of (tijdelijk) uit de itembank verwijderen. Zo is de kwaliteit van uw examen optimaal. Naast rapportages gericht op de kwaliteit van toetsen, moet u ook nadenken over de 4

5 COMPASS rapportages die nodig zijn om het hele toetsproces te kunnen monitoren. Denk aan rapportages met betrekking tot inschrijvingen, uitslagen, correctoren, enz. Correctielogistiek Digitaal toetsen heeft diverse voordelen in het correctieproces. Gesloten vraagvormen kunnen direct door het toetssysteem gecorrigeerd worden, waardoor er ook direct een uitslag bekend kan worden gemaakt. De correctielogistiek van open vragen vindt vaak via het toetssysteem plaats. Als een toets open vragen bevat, moet u nadenken over de inrichting van het correctieproces. Hoeveel correctoren moeten de toets beoordelen, binnen welke tijd moet de uitslag bekend zijn en in welke gevallen vindt er een hercorrectie plaats? Om het uiteindelijke resultaat van een kandidaat te kunnen bepalen, stelt u in deze processtap ook de cesuur voor een toets vast. Gebruiksvriendelijkheid Atos biedt Compass als dienst aan om zodoende u als onderwijsinstantie op technisch vlak te ontzorgen, en dat geldt dus ook voor de gebruikersinterface. Maatstaf voor Compass is dat leerlingen zonder extra uitleg een toets moeten kunnen volbrengen. Zo wordt Compass bijvoorbeeld ook ingezet bij het inburgeringsexamen. De extra uitleg die leraren nodig hebben heeft geen betrekking op de gebruikersinterface, maar op de logistiek rondom het toetsingsproces en de extra mogelijkheden die leraren krijgen om de kwaliteit van toetsen te verbeteren. IT & Financiën ComPass is geen traditionele software, maar een online dienst. U betaalt een paar euro per leerling per maand. U heeft dus geen licenties nodig of specifieke hardware, en het beheer kost u weinig of geen tijd, mensen en geld. Het enige wat u nodig heeft is een computer met internetverbinding en een gangbare browser. Wij adviseren u graag of uw huidige IT- infrastructuur geschikt is voor ComPass middels een quickscan. Is uw organisatie er klaar voor? Dit is echter een klein onderdeel van de quickscan want veel belangrijker is of uw organisatie klaar is voor deze nieuwe manier van werken. Deze scan is onderdeel van een bewezen model waarbij wij kijken naar uw huidige IT voorzieningen maar ook naar de processen, mensen, cultuur en de content. De aanbevelingen die hieruit volgen baseren wij op jarenlange ervaring bij toetsen en examens. Middels onze ComPass consulting services garanderen wij een goede implementatie en borging binnen uw school wat cruciaal is voor een succesvolle invoering van een online toetssysteem. 5

6 EGEL EGEL Achtergrond informatie Het toetspakket Egel (ExamenGEnerator Leiden) werd in 1986 ontwikkeld bij de Sectie Medische Informatica van de Universiteit Leiden. Om aan de alsmaar stijgende vraag naar Itembank-software tegemoet te komen, richtten de makers van Egel in 1999 het bedrijf Toko bv op. Naast de ontwikkeling van Egel en de daarbij behorende dienstverlening, heeft Toko zich in de loop der jaren eveneens gespecialiseerd in het ontwikkelen van nieuwe hardware- en softwarematige toepassingen voor gebruik in het onderwijs. Adresgegevens Toko bv Niels Bohrweg 11-13, 2333 CA Leiden T: (071) W: E: Functionaliteit Gebied 1: Itembank- en itemconstructie Egel biedt de gesloten vraag (deelscores mogelijk), de open vraag (met nakijkmodule), Long-Menuvraag (hybride vraagtype met open invoer maar een gesloten antwoord) en hiervan afgeleide vraagtypen (hotspotvraag, interactieve casus). Bij elk vraagtype kunnen afbeeldingen, geluids- en videofragmenten worden toegevoegd aan de vraagelementen. Automatisch inlezen van antwoordformulieren is mogelijk. Bij elke vraag kunnen metadata worden ingevoerd, zoals: auteur, eigenaar, kennisniveau, vraaggewicht, in- en uitsluitingen en eventuele blokkeringen. Egel houdt automatisch de p-waarden en Rit-waarden bij, hoe vaak een vraag in een toets is opgenomen en wanneer voor het laatst. Uitgangspunt is een multi-user omgeving, maar via gebruikersrechten is de toegankelijkheid van vragen te beperken. Kwaliteitscontrole via statistische toetsanalyse en commentaar kandidaten per vraag. Gebied 2: Samenstellen van toetsen uit itembank De structuur van de Itembank is: Studie Blok Onderwerp, waarbij de items aan Onderwerp hangen. Toetsen kunnen automatisch of handmatig worden gegenereerd op basis van een aanpasbaar profiel (toetsmatrijs). Items worden per Onderwerp of per Blok uit de Vragenbank geselecteerd. Voor maximale controle kan een lege toets handmatig gevuld worden met items. Adaptieve toetsen zijn mogelijk met behulp van een Dynamische Vragenreeks (vragenboom), waarbij het antwoord van de kandidaat de vervolgvraag bepaalt. Van elke toets kan een statistische analyse worden gegenereerd. Via Microsoft Excel zijn deze resultaten te koppelen aan andere systemen. Gebied 3: Afnemen van toetsen Elke Toets is in beginsel geschikt voor beeldscherm en (via Microsoft Word) voor papier. Lettertype, -kleur en grootte zijn per vraag instelbaar in Egel Docent (voor beeldschermtoetsen) of in Microsoft Word (voor papieren toetsen). Beeldschermtoetsen kunnen via een lokaal netwerk worden afgenomen (Egel Student geïnstalleerd op kandidaatcomputers), via Terminal Server (Egel Student alleen op server geïnstalleerd) of online, evt. via safe web browser (alleen browser nodig). Egel Student beschikt over een spraakmodule, waarmee vragen kunnen worden voorgelezen en antwoorden worden ingesproken. Dit biedt o.a. mogelijkheden voor respondenten met een visuele 6

7 EGEL functiebeperking. De toets kan worden gestart vanaf ThinClients (VMWare-VDI), waarbij de authenticatie van de kandidaat en dus de juiste toets- verloopt via Smartcards. Gebied 4: Evaluatie van toetsen Op basis van de toetsresultaten kan per afgenomen toets een statistisch rapport worden gegenereerd in een voorgeprogrammeerde Excel-sheet. Deze analyse is gebaseerd op de klassieke toetsanalyse van SPSS (Betrouwbaarheid, Standaard meetfout, B-index, etc.). Toetsresultaten kunnen bovendien worden weggeschreven in de Vragenbank, zodat cumulatieve p-waarden en Rit-waarden in Egel Docent beschikbaar zijn. Daarnaast kunnen verschillende score-overzichten per kandidaat of per toets worden afgedrukt via Microsoft Word. Aangepaste rapporten zijn mogelijk. Gebied 5: Overige functionaliteit Bij online toetsen kan gebruik worden gemaakt van digitale bijlagen in jpg-, pdf- of htmlformaat (bijvoorbeeld naslagwerken). Via hyperlinks in de tekst kunnen externe en interne websites worden geopend. Gebruikersvriendelijkheid Egel Student, de module waarmee toetsen worden afgenomen, is zeer eenvoudig in het gebruik; kandidaten behoeven geen nadere instructie. Docenten voeren nieuwe vragen in één overzichtelijk scherm en genereren toetsen via een heldere wizard. Het opzetten en beheren van de Vragenbank vereist relatief de meeste investering, maar is eenvoudig voor een geroutineerde Vragenbankbeheerder. In hoeverre een toets daadwerkelijk voldoet aan de minimumeisen voor digitale toegankelijkheid, ook voor kandidaten met een functiebeperking, is afhankelijk van de keuzes van de samensteller van de toets. Egel biedt echter alle instrumenten aan om dit te realiseren. Opmaak van de vragen kan geheel plaatsvinden in Microsoft Word. De inhoud kan in Rich Text Formaat worden gesleept of geplakt in Egel Docent. Voor online toetsen converteert Egel de RTF-tekst inclusief alle afbeeldingen, tekeningen en symbolen naar HTML. Infrastructuur en architectuur Het pakket Egel bestaat uit drie samenhangende componenten: Egel Student voor het afnemen van toetsen, Egel Docent voor het aanmaken/beheren van vragen en toetsen en Egel Beheer voor het voorbereiden van af te nemen toetsen en het verwerken van de resultaten. Van Egel Student is zowel een desktop-versie als een online-versie beschikbaar met volledige functionaliteit. Egel Docent en Egel Beheer zijn momenteel uitsluitend leverbaar als desktop-versie. Wel is een beveiligde webmodule ontwikkeld, waarmee de belangrijkste beheerstaken ook online kunnen worden uitgevoerd (kandidaatgegevens, toetsbeheer en roosters, toetsresultaten). Egel draait onder alle versies van Microsoft Windows en communiceert met Microsoft SQL Server, MySQL, Microsoft Word en Excel. De desktop-versies van de Egel-componenten dienen lokaal geïnstalleerd te worden, maar kunnen ook worden aangeboden via Terminal Server hosting. Voor de online-componenten is uitsluitend een browser (Internet Explorer) vereist. Beveiliging vindt plaats door middel van gebruikersnaam en wachtwoord met additionele controle (en eventuele blokkering) van IP-adres. Voor online toetsing is een safe web browser ontwikkeld, die ongeautoriseerd browsen tegengaat. De items zelf zijn niet ontworpen om te kunnen worden uitgewisseld met andere programma s. De toetsresultaten, toetsanalyses en kandidaatgegevens kunnen echter gemakkelijk worden geëxporteerd naar of gekoppeld aan andere programma s, respectievelijk via Excel/Word. Verdergaande mogelijkheden voor koppeling aan kandidateninschrijfsystemen zijn in ontwikkeling. 7

8 EGEL Financiële aspecten Kosten van het systeem In principe wordt voor iedere klant afzonderlijk een jaarlijks licentiebedrag berekend, waarvoor per locatie een onbeperkt aantal toetsen kan worden afgenomen. Dit bedrag wordt mede berekend aan de hand van de grootte van de organisatie, de toetsfrequentie, het aantal deelnemers, de grootte van de Vragenbank(en). Maatwerk dat op verzoek van een cliënt wordt gedaan na het aangaan van de licentie-overeenkomst wordt apart berekend. Standaard model Uitgaande van een organisatie waar per jaar toetsen worden afgenomen, bedragen de licentiekosten voor Egel 1 per toets: (ex btw). Het aantal docenten en toetsvragen is niet relevant. Organisatie en beheer Voor een optimale inbedding van Egel in de organisatie is ten minste een Vragenbankbeheerder nodig die verantwoordelijk is voor het opzetten en beheren van de Vragenbank, de gebruikersrechten, de toetsplanning en het netwerkbeheer. De benodigde arbeid varieert van 0,1 fte bij een kleine organisatie die driemaal per jaar toetst, tot enkele fte s bij een grote onderwijsinstelling met meerdere Vragenbanken waar dagelijks getoetst wordt. Daarnaast behoort het genereren en actualiseren van content, alsmede kwaliteitsmonitoring tot de taak van de verschillende docenten. Gebruik van Egel leidt daarbij tot een aanzienlijke besparing in de benodigde tijd. Toekomstvastheid Al sinds haar oprichting richt Toko bv zich primair op de actuele vraag naar mogelijkheden voor digitale toetsing. Technologische innovaties worden geïncorporeerd in het toetspakket voor zover zij daadwerkelijk tot innovatieve toetsvormen kunnen leiden. De laatste jaren heeft Toko zich intensief beziggehouden met de inzet (en aanpassing) van Egel op roc s en in de elektrotechniek- en autotechniekbranches. In nauwe samenwerking met Innovam is een toetsprocedure gerealiseerd die naadloos aansluit bij de verschillende onderwijstrajecten. Mede dankzij het vele maatwerk dat Toko jaarlijks verricht, blijft het pakket Egel voortdurend in ontwikkeling. Uitbreidingen worden met enige regelmaat meegenomen in nieuwe releases. Sedert 4 jaar laat het Collegium Chirurgicum Neerlandicum alle assistenten chirurgie in opleiding (ca. 200) in Nederland twee maal per jaar via Internet examineren mbv Egel. Op het maken van de items na, verzorgt Toko met succes het gehele traject. 8

9 FastTEST Web FastTEST Web: Advanced Exam Development and Online Testing Background FastTEST Web ( is a best-in-class online testing solution designed to provide a user-friendly but psychometrically sophisticated system for test development, test assembly, paper or online test delivery, and results management. FTW contains a number of features not available in competing systems. Computerized adaptive testing (CAT), cutting testing time 50% or more Item response theory (IRT) test assembly, scoring, and subscoring Modified-Angoff system for cutscores Other salient features include: Unparalleled item banking and item review Role-based access for security Randomized test delivery, including item option randomization Customizable and individualized score reports Secure test delivery via lockdown browser Psychometric analysis Extensive reporting. Contact information The website of FastTEST Web is and provides overview information, resources, tutorials, login pages, and a sign-up for a free trial. Direct inquiries regarding FastTEST Web are welcome. Kimberly Bennett, MBA Director of Sales and Marketing ASC 2233 University Avenue, Suite 200 Saint Paul, MN USA E: sales@fasttestweb.com FastTEST Web is developed jointly by two leaders in their fields: ASC ( is a leader in the assessment and testing industry since 1979 and was first to introduce software for CAT in 1984; 4ROI ( has built over 500 assessment systems for clients ranging from Fortune 100 organizations to single-person consulting firms. Functionality Overview FastTEST Web is a complete solution for developing and managing a testing program. It is arranged into four tabs that correspond to the four functionality areas specified by SURF. Area 1: Item bank and item construction The Item Explorer tab provides a collaborative workplace for item writers and reviewers in the development of an unlimited number of test questions. As seen in Figure 1, items are intuitively organized into categories (folders). 9

10 FastTEST Web Figure 1: The test development interface The text of the item, as well as all metadata, can be entered or modified via an Item Editor window (Figure 2). Item types include: multiple choice, multiple answer, essay, short answer, survey, Likert matrix, and instructional. Figure 2: Item content tab Multimedia can easily be inserted by uploading for a local file, or by connecting to files stored in association with a bank. The table below lists currently supported formats. Multimedia Image Video Audio Supported formats.jpg,.jpeg,.png,.gif,.bmp.avi,.flv,.mpg,.mpeg,.mpe,.mpv2,.mp2v.mp3 Metadata includes: name, author, description, keywords, source, status, version, date created, and tests in which the item is used. Users can create new fields. Statistical metadata is stored and graphed for each item (Figure 3), but is also directly used in test 10

11 FastTEST Web assembly, scoring, and adaptive testing. The Item Editor also provides a comment/discussion system, an item review module, and learning objectives. Figure 3: Item statistics tab Area 2: Compilation of tests (from an item bank) The Test Assembler interface (Figure 4) looks similar to the Item Explorer, except that it manages test forms. It provides a straightforward system to build and manage tests, and controls administrative functionalities such as printing forms to paper, managing printed versions, constructing subscores, and specifying options for online testing. Figure 4: Test Assembler The item bank structure is intended to be built according to the educational purpose, curriculum, and other specifications. When tests are assembled, this structure not only guides the item selection process, but is also automatically imported as an initial structure of subscores. Additionally, reports are available to provide quality monitoring. Figure 5 is a display of one report (test statistics). 11

12 FastTEST Web Figure 5: Test Statistics FastTEST Web is the only content-free system that supports full computerized adaptive testing (CAT). A true CAT utilizes complex IRT calculations to score examinees, select an item that is most appropriate, and continue until an IRT-based termination criterion is met. Other systems might claim to be adaptive, but do not utilize IRT and instead use crude approximations. Area 3: Submitting students to the tests The Test Scheduler tab is used to manage the examinees for paper or online tests (standalone tests available on separate system). Examinees can be entered directly, uploaded from spreadsheets, or automatically connected to other systems via API. Online testing is controlled by unique key codes. Figure 6 shows the intuitive and userfriendly test delivery interface (displays on right are optional). Figure 6: The test delivery interface Area 4: Evaluation of tests The Report Manager tab provides a range of reports. For example, it can produce an analysis of the item bank, counting how many items are in each content area, item type, and development status. Similar summary reports can be completed at the test and examinee level. 12

13 FastTEST Web Additionally, FastTEST Web has a classical test and item analysis report with embedded item texts. We also provide (separately) the most advanced IRT analysis system available (the only one entirely point-and-click!), as well as simulation software necessary for ensuring CAT validity. Area 5: Other features Self-registration, portal, dashboard, multi-workspace, and other custom-built systems that tie directly into FastTEST Web are also available. Additional functionality can easily be added per customer request; the Item Review Module is an example of a request. Please contact us for more information. Usability FastTEST Web was designed with 30 years of experience in user-friendly assessment systems. An organization is assigned a Workspace controlled by an Administrator. The workspace contains any number of banks (e.g., Math, English, Psychology). All users are assigned a level of rights: viewing only, editing existing items, creation of new items, creation of categories and objectives. In addition, a separate user group is provided for test scheduling only, these users are not able to see the item bank, which is applicable to department support staff. The test delivery interface for students (Figure 6) is simple and intuitive. It works with standard disability functions, and also can easily be zoomed for visually impaired students. Infrastructure and architecture FastTEST Web operates as a web service. As a web application that runs through standard browsers, no installation or local components are needed for any aspect (except the optional lockdown browser for extra security in testing students). FastTEST Web has several considerations for data security. Users are defined by roles and can also be limited to certain banks. All logins and actions are tracked, and login uses SSL security. Examinees can take their test only with the unique key code. A browser-lockdown option is available for test delivery. The system is housed in a professional high-security data center, which also means that use is extremely scalable. Items can be imported in a number of formats, including text, RTF, Word XML, and QTI 1.2. Items and reports can be exported to standard formats such as RTF, Word, HTML, and PDF. Result exports and statistic imports are CSV. FastTEST Web can be linked to other systems via API, both for bringing in examinees and sending back results; a field for an examinee s ID is provided. Financial aspects FastTEST Web is available via a service (SaS) model, with annual or monthly subscriptions for user-based access and non-expiring test credits for students. There are no hosting costs, and no limit to the number of items in banks or tests. The following scenario was provided: 10,000 students and 1,000 employees; three times a year all students make an online test. The tests contain 20 questions each. The following provides an overview of costs and an estimate for that scenario. Component Cost In scenario Administrator $899 per year $899 User $20 to $400 per year, depending on volume $20,000 Test delivered $0.20 to $3 per test $6,000 Optional lockdown $0.05 to $0.50 per test N/A 13

14 FastTEST Web Free training is provided, and technical support is no extra cost. Because FTW is a web service that is administered and managed by our dedicated team, there are no system management costs for the institution. A future-proof system PC/LAN versions of FastTEST are in use around the world at a wide range of organizations, from small certification groups and universities to worldwide testing companies. FastTEST Web has been successfully implemented at a similar range of organizations, and at both the community college and major university level in North America. We have a strong commitment to innovation, as evidenced by our industry-leading psychometrics. We continually add new functionality based on market need and customer requests; these updates are available at no extra cost unless customer-specific. Our customer-centered approach makes the partnership extremely flexible for institutions. Upcoming additions include multiple tests in one session, composite scores, more item types (e.g., matching), and expanded CAT algorithms. Our long-term vision is to keep adding cutting-edge functionality to maintain our position as the platform of choice for advanced item banking and online testing, and to cultivate strong relationships with our customers. We hope this document has been informative, and we have demonstrated how FastTEST Web can provide a professional-level testing platform at an affordable cost. If you have any more questions, please contact us at sales@fasttestweb.com or 14

15 Leerstation Zorg Leerstation Zorg Dé nationale kennistoetsbank voor de zorg en het zorgonderwijs. Stichting Leerstation Zorg biedt een geïntegreerd systeem van vraagconstructie inclusief mediabank, toetssamenstelling, toetsdistributie, toetsafname en vraagonderhoud. Het systeem is ontwikkeld met het oog op formatief toetsen en wordt in september 2011 geschikt gemaakt voor summatief toetsen. Leerstation Zorg wordt door 95% van de HBO- Verpleegkunde (HBO-V) opleidingen en een groeiend aantal zorginstellingen in Nederland gebruikt. Voorliggende tekst is geschreven vanuit het perspectief van een zorggerelateerde onderwijsinstelling. De onderwijsinstelling krijgt toegang tot alle vragen én media-items en de beschikbare functionaliteiten van Leerstation Zorg en kan deze onbeperkt gebruiken in een niet commerciële context. De gebruiker geeft de stichting een onbeperkte gebruikslicentie op decentraal ontwikkelde vragen. In de laatste paragraaf van deze flyer wordt vermeld op welke wijze de onderwijsinstelling invloed uit kan oefenen op de ontwikkeling en het onderhoud van zowel de content, als de technische functionaliteiten van het digitale toetssysteem. Functionaliteit Gebied 1: Vragendatabank en vraagconstructie Mogelijke vraagtypen Leerstation Zorg biedt (meer-uit)meerkeuzevragen, sleepvragen, aanwijsvragen en invulvragen. Iedere vraag bestaat uit de velden; context, media-vraag (afbeelding, FLV video of geluid), stam, kennisflits (directe feedback op een gegeven antwoord), bron, antwoorden en afleiders. Aan de velden kennisflits en bron kunnen hyperlinks gekoppeld worden. Antwoorden en afleiders kunnen bestaan uit tekst of afbeeldingen. Naast de generieke kennisflits die bij afname altijd wordt getoond, kan specifieke feedback worden gegeven bij bepaalde antwoorden of afleiders. Tenslotte bestaat de mogelijkheid om gebruikers (studenten) opmerkingen te laten maken op vraagniveau. Metadatering Er wordt een onderscheid gemaakt tussen centrale en decentrale metadatering. De centrale metadatering is voor gebruikers alleen functioneel voor het samenstellen van toetsen. Een vraag kan meerdere labels hebben. Decentrale gebruikers kunnen voor het terugvinden van zelfgemaakte vragen meerdere doelgroepen aanmaken en categorieën van vragen benoemen. Een vraag behoort tot één categorie en kan bij meerdere doelgroepen horen. Kwaliteitszorg versiebeheer Het systeem faciliteert het onderhoud en voortdurende verbetering van de vragen. Er is sprake van versiebeheer. De gebruiksstatistieken van een vraag zijn, samen met de opmerkingen van studenten en/of beheerders online inzichtelijk. De opmerkingen of overwegingen van de redacteur bij het aanpassen van een vraag blijven bij de vraaghistorie bewaard. Tijdens het construeren van een vraag kan de constructeur de vraag zoals de student hem te zien krijgt, bekijken. Alle interacties werken zonder tussenkomst van derden zoals XML-deskundigen. Vanaf het moment dat een constructeur een vraag publiceert, kan deze worden toegevoegd aan een toets en vanuit het systeem via internet worden gedistribueerd. 15

16 Leerstation Zorg Mogelijkheden tot samenwerking Leerstation Zorg is een ASP-oplossing die in de cloud gehost wordt. Het vraagconstructiedeel is speciaal ontworpen om tijd- en plaatsonafhankelijk samen te kunnen werken. Tijdens het construeren van vragen kunnen inhoudsdeskundigen notities plaatsen bij een vraag-in-wording. Hierin kan feedback of bepaalde tips naar de auteur gegeven worden. De naam van de auteur en de datum wordt weergegeven. De notitie is géén systeemveld. Iedereen met voldoende rechten kan een notitie verwijderen. Opmerkingen Opmerkingen bij een vraag worden vastgelegd als systeemveld. Opmerkingen kunnen gemaakt worden door studenten en/of door docenten/inhoudsdeskundigen/beheerders. Tijdens de periodieke redactie kan worden vastgelegd wat met welke opmerking gedaan is. Delen Leerstation Zorg is opgericht om een landelijke kennistoetsbank voor de zorg en het zorgonderwijs te ontwikkelen, te onderhouden en te exploiteren. Dit om te voorkomen dat overal in het land mensen aan dezelfde of vergelijkbare onderwerpen of thema s werken en kennis te bundelen. Door een centrale aanpak van constructie en redactie is het up-to-date houden van de kennistoetsbank efficiënt te organiseren. Gebied 2: Samenstellen van toetsen uit itembank De systematiek Het samenstellen van een toets kan vanuit de centrale vragendatabank met behulp van doelgroepen, categorieën, labels en referentienummers. Eigen vragen kunnen worden toegevoegd en gemixt met vragen uit de centrale bank. De samensteller kan op vraagniveau vragen accepteren, verwijderen of een nieuwe trekking doen. De samensteller kan ook een opmerking plaatsen over de reden van afwijzen (zie kwaliteitszorg/versiebeheer). Koppeling aan toetsmatrijs Als een toetsmatrijs gebruik maakt van labels, categorieën en/of doelgroepen die in Leerstation Zorg worden gebuikt, kan de toets conform de matrijs worden ingericht. Administratie Leerstation Zorg is platformonafhankelijk. Koppeling met andere systemen (ELO, LMS, HRM, Moodle) is mogelijk via een webservice. Voor de student is er dan sprake van een single sign on situatie. De eigen zelfstandige beheeromgeving van Leerstation Zorg voorziet onder andere in een importmogelijkheid van studentgegevens. Ook is een functie met filters beschikbaar. Adaptieve mogelijkheden: leerpaden Het is mogelijk op geleide van de score van een student op een toets(je) een bepaalde vervolgactie in te stellen. Bijvoorbeeld een andere toets die vergelijkbaar, gemakkelijker of juist moeilijker is. Deze functie wordt bijvoorbeeld gebruikt bij het inrichten van kennis-screeningsinstrumenten. Gebied 3: Afnemen van toetsen Beeldscherm/papier Het systeem is ontwikkeld en wordt gebruikt voor het afnemen van beeldschermtoetsen. In een project waarbij de toetsbank summatief wordt ingezet is sprake van een papieren versie van de toets als noodscenario. Online/stand alone Leerstation Zorg is volledig webbased. Geschikt voor respondenten met functiebeperking Op verzoek van gebruikers is onderzocht of het automatisch voorlezen in de toekomst 16

17 Leerstation Zorg mogelijk is, dit is in technische zin positief beoordeeld. Over realisatie is op dit moment nog geen besluit genomen. Gebied 4: Evaluatie van tests Resultaten - cesuur Het resultaat van een toets is een percentuele score. Indien gewenst kan een cesuur worden ingesteld zodat het resultaat in een cijfer wordt weergegeven. Naast een lineaire berekening is het cijfer te manipuleren door maximaal drie afkappunten. Analyse Het systeem heeft een analyse-tool waarbij de score van groepen studenten die een bepaalde toets hebben gemaakt op vraagniveau kan worden vergeleken. De P- en de A- waarden worden voor beide groepen getoond, inclusief de verschillen tussen de gekozen groepen. Een student kan tegelijk lid zijn van verschillende groepen. Een standaard CSV output is beschikbaar door externe vraaganalyse. Rapportage Een aantal standaardrapportages is beschikbaar. Gebied 5: Overige functionaliteit Digitaal portfolio Iedere student heeft in het systeem van Leerstation Zorg een functioneel digitaal portfolio met vier secties. De resultaten van de toetsen kunnen naar dit portfolio worden weggeschreven. In de andere secties kunnen studenten zelf bestanden plaatsen. De student kan door het invoeren van adressen de inzage in het portfolio regelen. Koppelingen naar andere systemen (ELO, LMS, HRM) zijn mogelijk. Architectuur Leerstation Zorg Leerstation Zorg is een webbased digitale toetsomgeving. Iedere klant krijgt binnen het systeem een eigen partitie. Een gebruikersnaam en wachtwoord is noodzakelijk om in het systeem te kunnen werken. Leerstation Zorg werkt volgens het Software as a Service - concept. Omdat het een webomgeving betreft, worden er beperkt eisen gesteld aan de gebruiker: een webbrowser met Flash is voldoende. Beveiliging De website van Leerstation Zorg is benaderbaar via secure http (https). Versleuteling van transport van onder andere gebruikersnamen en wachtwoorden vindt dus plaats op basis van Secure Sockets Layer (SSL). Techniek De techniek van Leerstation Zorg is gebouwd op het Microsoft platform. De website draait binnen Internet Information Server op een Windows omgeving en maakt gebruik van SQL Server voor data opslag. De website is gebouwd op basis van Microsoft ASP.NET. Hosting De hosting van Leerstation Zorg vindt plaats binnen the cloud. Er wordt gebruik gemaakt van de diensten van een derde partij, Uniserver, die fungeert als cloud provider. De feitelijke hardware staat redundant in datacentra in Alkmaar en Amsterdam (Telecity). Door het hosten in de cloud wordt een verregaande vorm van schaalbaarheid gegarandeerd. Op ieder moment kan er aan de servers van Leerstation Zorg extra capaciteit worden toegewezen, of dit nu CPU-kracht, dataopslag of geheugen betreft. Koppelingen met andere systemen Het koppelen met andere systemen kan met maatwerk gerealiseerd worden. Voor het synchroniseren van gebruikersnamen en wachtwoorden van het eigen netwerk (Active Directory Services of NDS) is een standaard oplossing beschikbaar. Hiermee kan ook Single Sign On gerealiseerd worden. Het is in dit geval wel noodzakelijk dat de webserver 17

18 Leerstation Zorg van Leerstation Zorg (via bijvoorbeeld een VPN-tunnel) contact kan leggen met de Directory Server van de klant. Financiële aspecten Onderwijsorganisaties kunnen zich aansluiten bij de stichting Leerstation Zorg. Er wordt een overeenkomst aangegaan waarin afspraken worden gemaakt over de financiële vergoeding voor het gebruik van het technische systeem, training, begeleiding en 2e lijn support, gebruiksrechten van ontwikkelde en te ontwikkelen toetsvragen, metadatering, redactietaken en inspraak op de doorontwikkeling van de technische infrastructuur. Toekomstvastheid Stichting Leerstation Zorg is statutair opgericht op 27 juni Het toetssysteem van Leerstation Zorg is ontwikkeld en wordt doorontwikkeld door een professioneel softwarebedrijf. Middels een Escrow overeenkomst wordt de beschikbaarheid van de broncode gegarandeerd voor het onverhoopte geval van een faillissement van de technische partner. De orderportefeuille bevat onder andere langlopende overeenkomsten met 95% van de HBOV opleidingen, overeenkomsten met zorginstellingen en langlopende dienstverleningsopdrachten met twee educatieve uitgeverijen. De statutaire doelstelling van de stichting bepaalt dat naast de ontwikkeling van content er ook onderhoud op ontwikkelde content plaats moet vinden. Daarom is in de licentiekosten een deel opgenomen voor de instandhouding van de content. Hierdoor is de stichting in staat om de groeiende hoeveelheid content te onderhouden. Het systeem wordt voortdurend doorontwikkeld. Keuzen voor doorontwikkeling worden door de stichting gemaakt. Dit op geleide van gebruikerswensen en beschikbare financiële middelen. Deze middelen worden als expliciet onderdeel van de licentiekosten door de gebruikers bijeen gebracht. De instelling krijgt via participatie in de gebruikers/advies raad van de stichting invloed op de doorontwikkeling van het technische systeem en het onderhoud van de content. 18

19 LPLUS LPLUS Adresgegevens LPLUS Contactpersoon: Dhr. Lutz Pleines W: E: Functionaliteit Gebied 1: Itembank- en itemconstructie De vragen ontwerper is een WYSIWYG (what you see is what you get) tool, dat auteurs voorziet in meer dan 200 vraagtypes gebaseerd op 5 standaard templates. Het is beschikbaar als een lokaal Windows en/of als een centraal browser based programma. De auteurs tool is gebruikersvriendelijk en reikt de auteurs effectieve hulp functionaliteiten aan om hoge kwaliteit vragen te schrijven. De meeste vraagtypes zijn geschikt voor volledig geautomatiseerde evaluatie (resultaattoekenning). Speciale instellingen maken het voor de auteurs mogelijk om te specificeren op welke wijze het systeem bepaalde vraagtypes dient te evalueren. Elke vraag kent de volgende mogelijkheden: ongelimiteerd aantal verschillende talen, ongelimiteerd aantal multi-media elementen, zoals plaatjes, animaties, audio, video, etc., links naar externe documenten, zoals Microsoft Office, Industrie specifieke software etc., formule opmaker, vrij tekenen met een schaalbare symbolen taakbalk, rechtvaardiging tekst velden, simulaties (interactieve scenario s) inclusief een generieke interface, Metadata - 3 verschillende referentiegetallen (Ids) - Referentie naar topic - Referenties naar doelgroepen - Bron - Auteur(s) - Creatie datum / vernieuwen datum / versie - Externe documenten - Afdruk instellingen Standaard Vragen Templates: Multiple-Choice vragen (tot 50 antwoordmogelijkheden), Speciale vragen, zoals invullen, tekst in grafiek (verschillende formaten voor invul velden zoals tekst, getal, datum, selectie), tot 50 velden per vraag, Drag & drop opgaven met magnetische functie (optioneel), Hot-spot (single hot-spot, multiple-hotspot, sequence-hotspot), LPLUS Question design: What you see is what you get 19

20 LPLUS Vrije tekst met tekst opmaker (ongelimiteerd aantal invulvelden en tekst grootte). Het LPLUS Kwaliteitssysteem ondersteunt auteursteams met een web based opmaak platform om vragen (banken) te becommentariëren en te beoordelen. Studenten feedback functionaliteiten helpen de kwaliteit van de vragen te verbeteren en vormen een interne plausibiliteits controle functie. Gebied 2: Samenstellen van toetsen uit itembank Het LPLUS Systeem ondersteunt verschillende methoden om toetsen samen te stellen: Statische methode: examinatoren/onderwijzers kiezen de vragen handmatig voor elk examen Dynamische methode: volledig geautomatiseerde samenstelling van een examen op basis van enkele flexibele van tevoren ingestelde parameters. Elk examen voor dezelfde doelgroep krijgt dezelfde moeilijkheidsgraad maar elke student krijgt zijn/haar eigen vragenset (examination on demand). Een nieuwe functionaliteit om adaptief toetsen te ondersteunen wordt momenteel ontwikkeld en zal in juli 2012 gereed zijn. Gebied 3: Tests De examens kunnen op papier en op beeldscherm gepresenteerd worden. Papieren examens kunnen gescand worden en geautomatiseerd nagekeken worden door het system (alleen MC vragen). Elke student kan zijn/haar eigen vragenset krijgen. Beeldscherm examens kunnen via het Internet en via het Intranet worden afgenomen. De studenten interface is zeer gebruikersvriendelijk (er zijn geen instructies nodig). Alle data worden opgeslagen op de server en het is geen probleem om een onderbroken sessie te vervolgen op elk moment op elke andere computer in het netwerk zonder verlies van tijd of antwoorden. De functionaliteiten voor gehandicapte studenten zijn op dit moment gelimiteerd. In 2012 zal LPLUS samen met een klant een interface voor visueel gehandicapten introduceren. Examensessies kunnen gelimiteerd worden voor bepaalde lokalen, locaties, IP nummers en tijdvensters. Geautoriseerde administrators kunnen de lopende examens monitoren. Ze kunnen lopende/onderbroken examens sluiten of vervolgen en studenten extra tijd toekennen. Indien van toepassing kunnen studenten onmiddellijk na het afsluiten van hun examensessie het behaalde resultaat zien. Gebied 4: Evaluatie van tests Het LPLUS-Systeem ondersteunt vele vormen van feedback per vraag evenals statistische rapportages over deelnemers/groepen gebaseerd op zowel de klassieke test theorie als de item response theorie. Klanten kunnen standaard rapportages aanmaken als statistisch controle instrument en maatwerk aanpassingen van rapportages zijn mogelijk. Export functionaliteiten maken het mogelijk dat de gebruiker eigen analyses via Microsoft Excel (CSV) of andere software maakt. Gebied 5: Overige functionaliteit Ingebouwde interfaces om vragenbanken te importeren vanuit elk gedigitaliseerd format, Meertalige desktops, Het LPLUS Systeem is speciaal geschikt voor actie-, besluitvormings- en probleem georiënteerdheid. 20