IMPLEMENTATIEHANDLEIDING

Transcriptie

1 IMPLEMENTATIEHANDLEIDING VOOR DOMEINBEHEERDERS EN ONTWIKKELAARS TESTVISION ONLINE VERSIE: 5 DATUM: JUNI 2014

2 INHOUDSOPGAVE Inhoudsopgave Werken met deze implementatiehandleiding Inleiding De onderdelen van TestVision Online Rollen en taken Hoe beginnen? Voor wie is deze handleiding bedoeld? Mappen inrichten voor het beperken van toegang Inleiding Gewone mappen Hulpmappen Wat is belangrijk om te weten? Scenario s voor het beperken van toegang via de mappenstructuur Meest eenvoudige scenario Scenario s voor ontwikkelaars met specifieke taken Eenvoudig scenario voor gescheiden kandidaatbeheer bij meer domeinen Toegang en rechten toewijzen Inleiding Wat is belangrijk om te weten? Scenario s voor het gebruik van toegang en rechten Meest eenvoudige scenario Scenario s voor het toekennen van rechten voor vraag- en toetsontwikkeling Scenario s voor het toekennen van rechten voor het plannen van afnames Scenario s voor het toekennen van rechten voor het bekijken van resultaten Vraagkenmerken instellen Inleiding Wat is belangrijk om te weten? Vraagkenmerken gebruiken Vraagkenmerken op applicatieniveau Vraagkenmerken op domeinniveau Toetstemplates instellen Inleiding Wat is belangrijk om te weten? Een toetstemplate toevoegen De instructiepagina instellen De resultaatpagina instellen Mappen inrichten om objecten te beheren Inleiding Gewone mappen Hulpmappen Wat is belangrijk om te weten? Scenario s voor het inrichten van mappen in Vragen... 29

3 6.3.1 Meest eenvoudige scenario Scenario s voor het gebruik van hulpmappen bij het toetsen samenstellen Mapinrichting in Toetsen, Kandidaten en Afnames Toetsen samenstellen Inleiding Wat is belangrijk om te weten? Scenario s voor het samenstellen van toetsen Meest eenvoudige scenario Eenvoudige scenario s voor het samenstellen van standaard- en at random samengestelde toetsen Scenario s voor het samenstellen van toetsen met behulp van hulpmappen Scenario s voor het samenstellen van toetsen op basis van twee criteria Scenario s voor het samenstellen van toetsen met deelblokken Toetseigenschappen instellen De maximale tijdsduur instellen De cesuur instellen Vragen en toetsen beheren Inleiding Wat is belangrijk om te weten? Scenario s voor het doorvoeren van wijzigingen in vragen Scenario s voor het doorvoeren van wijzigingen in een gepubliceerde toets Een wijziging doorvoeren in de toetssamenstelling Een wijziging doorvoeren in de toetsinstellingen Redenen voor het ongeldig worden van een toets Scenario s voor het beheren van vragen en toetsen die niet (meer) gebruikt mogen worden Toetsafnames (tijdelijk) stopzetten De status Uit gebruiken in het ontwikkelproces van vragen De status Afgeschreven gebruiken in het ontwikkelproces van vragen en toetsen Vragen en toetsen archiveren in de mappenstructuur Kandidaten beheren Inleiding Wat is belangrijk om te weten? Meest eenvoudige scenario Scenario s voor het importeren van groepen kandidaten Afnames plannen Inleiding Wat is belangrijk om te weten? Scenario s voor het plannen van afnames Meest eenvoudige scenario Scenario s met meer afnames voor dezelfde toets Scenario s voor gescheiden verantwoordelijkheden Overige scenario s Toetsen met open vragen beheren Inleiding Wat is belangrijk om te weten? Scenario s voor het toewijzen van beoordelaars Meest eenvoudige scenario Scenario s voor het toewijzen van meer beoordelaars... 68

4 11.4 Scenario s voor het uitvoeren van de beoordeling Meest eenvoudige scenario Scenario s voor het beoordelen met meer beoordelaars Resultaten beheren Inleiding Wat is belangrijk om te weten? Scenario s voor het gebruiken van de analysegegevens Meest eenvoudige scenario Scenario s voor het gebruiken van de analyse voor het beheer van vragen Scenario s voor het aanpassen van resultaten Meest eenvoudige scenario s Scenario s voor het doorvoeren van complexere aanpassingen Begrippenlijst TestVision Online Index... 81

5 1. WERKEN MET DEZE IMPLEMENTATIEHANDLEIDING 1.1 Inleiding Deze handleiding geeft u informatie over hoe u TestVision Online het best kunt gebruiken binnen uw organisatie. Het is geen Help of uitleg over hoe de knoppen werken, maar het beschrijft hoe u de verschillende mogelijkheden van TestVision Online optimaal kunt inzetten, zoals het inrichten van mappen of het werken met de toetsmatrijs. Hiertoe bevat deze handleiding onder meer een aantal scenario s. Meestal beschrijven we bij elk hoofdstuk eerst het meest eenvoudige scenario, gevolgd door een aantal meer complexe werkwijzen. We adviseren u om eerst het eenvoudige scenario te gebruiken en daarna te kijken welke scenario s nog meer voor uw organisatie bruikbaar zijn. In dit eerste hoofdstuk beschrijven we kort de onderdelen van TestVision Online voor de verschillende gebruikers, de rollen en taken die moeten worden belegd en welke zaken als eerste moeten worden geregeld. Ook geven we aan welke hoofdstukken van deze implementatiehandleiding voor wie zijn bedoeld. Meer informatie over het werken met TestVision Online vindt u in de Help in het programma zelf en op de website. 1.2 De onderdelen van TestVision Online In onderstaande tabel ziet u de onderdelen van TestVision Online voor de verschillende gebruikers. Applicatiebeheerder Domeinen Instellingen Standaardteksten Kenmerken Skins Toetsmomenten Domeinbeheerder Ontwikkelaar Kandidaat Ontwikkelaars Kenmerken Toetstemplates Ontwikkelen: Vragen Toetsen Afname en Resultaten: Gepubliceerde toetsen Kandidaten Afnames Toets maken Resultaat bekijken 4

6 1.3 Rollen en taken Om goed te kunnen werken met TestVision Online zal een aantal rollen moeten worden toebedeeld aan medewerkers, inclusief de bijbehorende taken. Het betreft de volgende rollen en taken: Rol Applicatiebeheerder (1 per organisatie) Domeinbeheerder (1 of meer per domein) Ontwikkelaar (1 of meer per domein) Taken Domeinen creëren Domeinbeheerders invoeren Applicatiebrede instellingen beheren Ontwikkelaars invoeren Rechten aan ontwikkelaars toekennen Domeinkenmerken instellen Toetstemplates instellen Vragen en toetsen ontwikkelen en beheren Kandidaten invoeren Afnames plannen Open vragen beoordelen Resultaten beheren Soms kunnen meer rollen bij dezelfde persoon worden belegd. Als wordt gewerkt met één domein, kan de applicatiebeheerder bijvoorbeeld ook domeinbeheerder zijn. En domeinbeheerders zullen vrijwel altijd (ook) ontwikkelaar zijn. Voor de taken geldt dat ze niet altijd door iedereen zullen worden uitgevoerd. Zo kan het beheren van domeinkenmerken en toetstemplates het best bij één domeinbeheerder worden belegd. Ontwikkelaars hebben, zeker in grotere organisaties, vaak specialistische taken. Zo zullen er ontwikkelaars zijn die zich uitsluitend bezig houden met het ontwikkelen van vragen en toetsen en de kwaliteitsbewaking daarvan en ontwikkelaars die alleen verantwoordelijk zijn voor het plannen van afnames en het beheren van de resultaten. In kleinere organisaties zijn ontwikkelaars vaak verantwoordelijk voor het totale ontwikkeltraject en voeren ze dus alle taken van de ontwikkelaar uit. 1.4 Hoe beginnen? Nadat TestVision Online door de systeembeheerder is geïnstalleerd en geconfigureerd, wijst de applicatiebeheerder eerst per domein een of enkele domeinbeheerders aan. Vervolgens kunnen deze domeinbeheerders aan de slag met het inrichten van het domein, het invoeren van ontwikkelaars en het instellen van toegang en rechten. Daarna is het de beurt aan de ontwikkelaars. We adviseren nieuwe gebruikers om eerst de korte instructiefilmpjes te bekijken die beschikbaar zijn op Deze geven een goede eerste indruk van de werking van TestVision Online. Vervolgens kunt u rondkijken in de verschillende onderdelen van TestVision Online en indien nodig daarbij de Help te raadplegen. 5

7 We adviseren de domeinbeheerder(s) om in ieder geval in het begin van het traject goed na te denken over de volgende vragen: Geef ik alle ontwikkelaars onbeperkt toegang? Zo nee, via welke mappenstructuur wil ik de toegang beperken? (Zie voor meer informatie hoofdstuk 2 van deze handleiding.) Geef ik alle ontwikkelaars onbeperkt rechten? Zo nee, welke soorten ontwikkelaars wil ik onderscheiden en welke rechten horen daarbij? (Zie voor meer informatie hoofdstuk 3 van deze handleiding.) Alleen als sprake is van twee of meer domeinen: hoe richten we de domeinoverstijgende mappenstructuur van het onderdeel Kandidaten gezamenlijk in? (Zie voor meer informatie paragraaf en 6.4 van deze handleiding.). In overleg met de ontwikkelaars, moeten daarnaast de volgende vragen worden beanwoord: Welke vraagkenmerken willen we gebruiken voor het beheren van de toetsvragen en/of het samenstellen van toetsen? (Zie voor meer informatie hoofdstuk 4 en 7 van deze handleiding.) Welke toetstemplates zijn er nodig? Welke instellingen moeten gelden voor die toetstemplates? (Zie voor meer informatie hoofdstuk 5 van deze handleiding). Nadat de domeinbeheerder(s) het domein hebben ingericht en klaargemaakt voor gebruik, kunnen de ontwikkelaars aan de slag. Zij vinden in deze handleiding uitgebreide informatie over het inrichten van de mappen en het beheren van vragen en toetsen, het samenstellen van toetsen met behulp van de toetsmatrijs, het plannen van afnames en het beheren van resultaten. 1.5 Voor wie is deze handleiding bedoeld? Deze handleiding is bedoeld voor degenen die als domeinbeheerders en ontwikkelaars aan de slag gaan met TestVision Online. In onderstaand overzicht ziet u voor wie de verschillende hoofdstukken zijn bedoeld. Hoofdstuk 2 Mappen inrichten voor het beperken van toegang Rol Domeinbeheerders 3 Toegang en rechten toewijzen Domeinbeheerders 4 Vraagkenmerken instellen Domeinbeheerders 5 Toetstemplates instellen Domeinbeheerders 6 Mappen inrichten om objecten te beheren Ontwikkelaars van vragen en toetsen 7 Toetsen samenstellen Ontwikkelaars van vragen en toetsen 8 Vragen en toetsen beheren Ontwikkelaars van vragen en toetsen 9 Kandidaten beheren Afnameplanners 10 Afnames plannen Afnameplanners 11 Toetsen met open vragen beheren Afnameplanners, Beoordelaars van open vragen 12 Resultaten beheren Beheerders van toetsresultaten, Beoordelaars van de kwaliteit van vragen en toetsen 6

8 TIP! We raden domeinbeheerders aan de hele implementatiehandleiding door te nemen, ook als ze zelf geen of weinig ontwikkelwerk uitvoeren. Voor applicatiebeheerders is een eigen, beknopte implementatiehandleiding beschikbaar. Voor kandidaten is er een uitgebreide Help en geen aparte handleiding. 7

9 2. MAPPEN INRICHTEN VOOR HET BEPERKEN VAN TOEGANG 2.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: DOMEINBEHEERDERS In elk onderdeel van TestVision Online heeft de ontwikkelaar de beschikking over twee soorten mappen: gewone mappen en hulpmappen. Tot welke mappen elke ontwikkelaar toegang heeft, hangt af van de toegang die voor hem is ingesteld door u als domeinbeheerder (zie later in dit hoofdstuk en in hoofdstuk 3) Gewone mappen Gewone mappen vormen de structuur waarin een ontwikkelaar zijn objecten (vragen, toetsen, kandidaten en afnames) beheert. U kunt dit vergelijken met de mappenstructuur die u waarschijnlijk ook gebruikt om de bestanden op uw computer te beheren. Elke vraag, toets, kandidaat of afname slaat een ontwikkelaar in één specifieke gewone map op Hulpmappen Hulpmappen kan de ontwikkelaar gebruiken om andere dwarsdoorsnedes van de inhoud van gewone mappen te maken. Hij maakt daarbij referenties naar de objecten uit de gewone mappen. U kunt een objectreferentie beschouwen als een snelkoppeling. Via een snelkoppeling kan de ontwikkelaar een object bekijken en/of bewerken. De ontwikkelaar kan in verschillende hulpmappen zo vaak naar dezelfde objecten refereren als hij wil. De hulpmappen zijn bedoeld voor het maken van andere dwarsdoorsnedes van objecten, bijvoorbeeld om te gebruiken in een toetsmatrijs, voor het redigeren van vragen, het koppelen van toetsen aan afnames of het bekijken van resultaten van specifieke afnames. Er zijn twee soorten hulpmappen: publieke hulpmappen, die een ontwikkelaar deelt met andere gebruikers (deze zijn onder meer bedoeld voor gebruik in een toetsmatrijs of voor het redigeren van vragen); persoonlijke hulpmappen, waartoe een ontwikkelaar alleen zelf toegang heeft (deze zijn bedoeld voor het maken van dwarsdoorsnedes voor eigen gebruik, bijvoorbeeld toetsvragen waarover een ontwikkelaar nog niet tevreden is). 8

10 In de onderdelen Vragen en Kandidaten is er nog een speciaal soort hulpmap voor importeren, waarin de vragen en kandidaten staan die vanuit een ander domein of andere database zijn geïmporteerd. Deze vragen en kandidaten moeten eerst worden verplaatst voordat ze kunnen worden bewerkt, zie voor meer informatie de Help. In importhulpmappen kunt u geen referenties plaatsen of mappen aanmaken. 2.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat beschreven hoe u mappen kunt toevoegen, hernoemen, verwijderen, kopiëren of verplaatsen en hoe u in de mappen navigeert. Wat een ontwikkelaar kan doen in de diverse mappen (mappen beheren, nieuwe objecten maken en/of bestaande objecten bewerken), hangt af van de voor hem ingestelde rechten. De domeinbeheerder kan voor ontwikkelaars een gewone en/of publieke hulpmap als startmap instellen. De ontwikkelaar ziet dan alleen de mappenstructuur vanaf die map. Daardoor is het mogelijk dat de ene ontwikkelaar een andere mappenstructuur ziet dan een andere ontwikkelaar. Als een ontwikkelaar geen gewone mappen tot zijn beschikking heeft, maar wel publieke hulpmappen, kan hij alleen objecten bewerken via de objectreferenties (snelkoppelingen) in de publieke hulpmappen. De ontwikkelaar kan dan geen nieuwe objecten ontwikkelen. In persoonlijke hulpmappen kan een ontwikkelaar altijd mappen beheren en objectreferenties aanmaken. Of hij de objecten ook kan bewerken, hangt af van zijn rechten en zijn toegang in de gewone en publieke hulpmappen. Het onderdeel Kandidaten is domeinoverstijgend. Dit betekent dat de mappenstructuur in dit onderdeel voor alle domeinen gelijk is. 2.3 Scenario s voor het beperken van toegang via de mappenstructuur Als de mappenstructuur wordt gebruikt om de toegang te beperken, zult u als domeinbeheerder eerst een (basale) mappenstructuur moeten ontwikkelen. Als dit niet nodig is, hoeft er alleen een mappenstructuur voor het beheer van objecten te worden ingericht. Meer informatie daarover vindt u in hoofdstuk Meest eenvoudige scenario SCENARIO 2.1: DE MAPPENSTRUCTUUR IS OPGEDEELD IN BEPAALDE VAKGEBIEDEN, AFDELINGEN OF LEERJAREN OF EEN ANDERE ONDERVERDELING WAARIN ALLEEN EEN SPECIFIEKE GROEP VRAAG- OF TOETSONTWIKKELAARS AAN HET WERK GAAT GEBRUIKT U DEZE MAPPEN- STRUCTUUR? Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van een specifiek deel van de vragen en toetsen, bijvoorbeeld voor een specifiek(e) vakgebied, afdeling of leerjaar. De mappenstructuur is zo ingericht, dat de ontwikkelaars slechts in een deel daarvan mogen werken. 9

11 HOE RICHT U DE MAPPEN- STRUCTUUR IN? We adviseren u om in ieder geval voor de onderdelen Vragen en Toetsen voor de gewone mappen én de publieke hulpmappen dezelfde mappenstructuur aan te maken. U kunt het best direct onder de map Top de onderverdeling maken. Bijvoorbeeld: Top Wiskunde Natuurkunde Biologie Scheikunde Nederlands Frans Engels U geeft vervolgens een ontwikkelaar toegang tot één specifieke startmap en publieke starthulpmap, bijvoorbeeld Wiskunde. Als er (veel) ontwikkelaars zijn die in meer mappen moeten kunnen werken, kunt u een indeling met meer niveaus maken. Bijvoorbeeld: Top Exacte vakken Wiskunde Natuurkunde Biologie Scheikunde Talen Nederlands Frans Engels Bij deze inrichting kunt u voor de ene ontwikkelaar als startmap Talen instellen, en voor de andere ontwikkelaar Nederlands. Elke ontwikkelaar ziet slechts een deel van de mappen en kan (afhankelijk van zijn rechten) alleen in deze mappen objecten aanmaken of bewerken en mappen beheren. Voor de ontwikkelaar is de startmap de bovenste map (in plaats van de map Top). In het voorbeeld is dat dus de map Talen of Nederlands. LET OP! Als u alleen voor de gewone mappen een mappenstructuur aanmaakt voor het instellen van startmappen en niet voor de hulpmappen, kunt u de toegang tot de vragen en toetsen niet goed beperken. Zodra er in de publieke hulpmappen objectreferenties worden gemaakt, kunnen ontwikkelaars ook de objecten uit gewone mappen waartoe ze geen toegang hebben bewerken. Ze kunnen in deze mappen alleen geen nieuwe objecten ontwikkelen. 10

12 TIP! Op vergelijkbare wijze kunt u een mappenstructuur aanmaken voor de onderdelen Kandidaten en Afnames. U kunt op die manier bijvoorbeeld specifieke ontwikkelaars verantwoordelijk maken voor specifieke afdelingen, cursusgroepen, klassen of leerjaren Scenario s voor ontwikkelaars met specifieke taken SCENARIO 2.2A: DE MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS EEN SPECIFIEKE SET VRAGEN OF TOETSEN TE LATEN BEKIJKEN EN/OF AANPASSEN GEBRUIKT U DEZE MAPPEN- STRUCTUUR? HOE RICHT U DE MAPPEN- STRUCTUUR IN? Voor (externe) ontwikkelaars die u wilt inzetten voor het controleren en aanpassen van bestaande vragen of toetsen, bijvoorbeeld leden van een vaststellings- of examencommissie. Deze ontwikkelaar kan zelf geen nieuwe vragen of toetsen toevoegen. U ontwikkelt hiervoor in de publieke hulpmappen een aparte mappenstructuur, waarin u bijvoorbeeld een submap opneemt met de naam van de betreffende ontwikkelaar. Deze submap stelt u in als publieke startmap. In deze submap plaatst u (of een andere ontwikkelaar) objectreferenties naar de vragen of toetsen die de ontwikkelaar moet bekijken en/of aanpassen. De ontwikkelaar ziet in de publieke hulpmappen alleen de specifieke hulpmap met zijn eigen naam en de daarin opgenomen objecten. Hij kan deze objecten bewerken (op voorwaarde dat hij schrijfrechten heeft in het betreffende onderdeel). SCENARIO 2.2B: DE MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS EEN SPECIFIEKE EIGEN ONTWIKKELOMGEVING TE GEVEN GEBRUIKT U DEZE MAPPEN- STRUCTUUR? Voor (externe of beginnende) ontwikkelaars die u in een eigen stukje van de mappenstructuur wilt laten werken aan vragen en/of toetsen. HOE RICHT U DE MAPPEN- STRUCTUUR IN? U ontwikkelt hiervoor in de gewone én de publieke hulpmappen een aparte mappenstructuur, waarin u bijvoorbeeld een submap opneemt met de naam van de betreffende ontwikkelaar. Deze submappen stelt u in als gewone en publieke startmap. De ontwikkelaar ziet alleen een gewone en publieke hulpmap met zijn eigen naam. Daarin kan hij risicoloos mappen aanmaken, objecten ontwikkelen en objectreferenties maken. Na goedkeuring kan de domeinbeheerder of een andere ontwikkelaar de betreffende vragen verplaatsen naar andere mappen. 11

13 SCENARIO 2.2C: DE MAPPENSTRUCTUUR WORDT GEBRUIKT OM ONTWIKKELAARS DE RESULTATEN VAN EEN SPECIFIEKE GROEP TE LATEN BEKIJKEN GEBRUIKT U DEZE MAPPEN- STRUCTUUR? Voor een ontwikkelaar die u alleen specifieke resultaten wilt laten bekijken, bijvoorbeeld van zijn eigen groep kandidaten of van een bepaalde afname. HOE RICHT U DE MAPPEN- STRUCTUUR IN? Voor het bekijken van de resultaten van een specifieke groep kandidaten maakt u in het onderdeel Kandidaten objectreferenties naar deze kandidaten in een specifieke publieke hulpmap. Voor het bekijken van de resultaten van een specifieke afname plaatst u in het onderdeel Afnames de betreffende afname in een specifieke publieke hulpmap. Deze hulpmap stelt u in als de publieke startmap van de ontwikkelaar. Via het onderdeel Kandidaten respectievelijk Afnames kan de ontwikkelaar alleen de resultaten bekijken en eventueel aanpassen uit de hulpmap waartoe hij toegang heeft. Welke mogelijkheden de ontwikkelaar heeft in de onderdelen Kandidaten respectievelijk Afnames, hangt af van de verder ingestelde rechten Eenvoudig scenario voor gescheiden kandidaatbeheer bij meer domeinen Het onderdeel Kandidaten is als enige onderdeel domeinoverstijgend. Dit betekent dat voor dit onderdeel in alle domeinen dezelfde mappenstructuur van toepassing is. Voor alle ontwikkelaars in alle domeinen zijn dus alle kandidaten zichtbaar. De mappenstructuur van het onderdeel Kandidaten zal door de domeinbeheerders in onderling overleg moeten worden vastgesteld. Via de mappenstructuur kan eventueel ook de volledige toegang worden ingeperkt. Dit is alleen aan te raden als de kandidaten nooit in verschillende domeinen worden getoetst. Dit hangt dus sterk af van de indeling van de domeinen binnen uw organisatie. SCENARIO 2.3: DE MAPPENSTRUCTUUR IN HET ONDERDEEL KANDIDATEN WORDT GEBRUIKT OM ONTWIKKELAARS ALLEEN TOEGANG TE GEVEN TOT MAPPEN VAN HUN EIGEN DOMEIN GEBRUIKT U DEZE MAPPEN- STRUCTUUR? HOE RICHT U DE MAPPEN- STRUCTUUR IN? Als u een scheiding wilt aanbrengen tussen de kandidaten van de verschillende domeinen. Eén van de domeinbeheerders maakt in het onderdeel Kandidaten direct onder Top een hoofdmappenstructuur met de domeinen aan, zowel voor de gewone mappen als voor de hulpmappen. De domeinbeheerders stellen in hun eigen domein de domeinmappen als startmap respectievelijk starthulpmap voor de ontwikkelaars in. In het onderdeel Kandidaten kunnen de ontwikkelaars alleen kandidaten toevoegen en bewerken in de mappen van hun eigen domein. 12

14 LET OP! Het is niet mogelijk (en ook niet efficiënt) om kandidaten vaker in te voeren onder dezelfde Aanmeldnaam. Als er veel kandidaten zijn die in twee of meer domeinen toetsen moeten maken, kunt u dus beter niet kiezen voor deze scheiding. Eventueel kunt u dan alleen een gescheiden mappenstructuur maken en geen gescheiden hulpmappenstructuur. U kunt dan de betreffende kandidaten via de hulpmappen beschikbaar stellen voor de andere domeinen, zonder dat de ontwikkelaars in de domeinmappen alle kandidaten zien. 13

15 3. TOEGANG EN RECHTEN TOEWIJZEN 3.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: DOMEINBEHEERDERS Aan elke ontwikkelaar in TestVision Online kunnen door de domeinbeheerder(s) individuele rechten en toegangen worden toegekend. FIGUUR 1. INSTELLEN VAN RECHTEN VAN EEN ONTWIKKELAAR U kunt deze rechten en toegangen bijvoorbeeld gebruiken om te zorgen dat een ontwikkelaar alleen objecten kan bekijken (leesrecht) of alleen een bepaald deel van de objecten kan bewerken (schrijfrecht in specifieke mappen). Ook kunt u een ontwikkelaar uitsluiten van toegang tot specifieke onderdelen. U kunt er ook voor kiezen een ontwikkelaar geen toegang te geven tot het onderdeel Vragen, maar voor dezelfde ontwikkelaar de vragen wel beschikbaar te stellen in het onderdeel Toetsen voor het samenstellen van toetsen. Deze ontwikkelaar kan de vragen dan niet bewerken, maar wel bekijken (in het onderdeel Toetsen). 14

16 3.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat beschreven hoe u ontwikkelaars toevoegt en hen rechten geeft. U kunt zelf aangeven welke onderdelen u in het hoofdmenu van de ontwikkelaar wilt tonen. U kunt de toegang van ontwikkelaars beperken door slechts een deel van de mappenstructuur beschikbaar te maken. Dit doet u door de startmap op een lager niveau dan /Top of /Publiek in te stellen. Een ontwikkelaar heeft toegang tot alle mappen die vallen onder de ingestelde startmap. De toegang die u geeft tot specifieke mappen van een bepaald onderdeel, geldt ook in de andere onderdelen. De startmappen voor het onderdeel Vragen zijn ook van toepassing bij de selectie van vragen in het onderdeel Toetsen, de startmappen van Toetsen en Kandidaten zijn van toepassing bij het plannen van afnames in het onderdeel Afnames. Bij het onderdeel Toetsen kunt u aangeven of een ontwikkelaar toetsen mag publiceren (beschikbaar stellen voor afname). Voor een ontwikkelaar die zelf geen toetsen mag publiceren, kunt u desgewenst het onderdeel Gepubliceerde toetsen wel beschikbaar stellen. Bij het onderdeel Afnames kunt u aangeven of een ontwikkelaar de inhoud van vragen en toetsen mag inzien (review/preview). Dit geldt voor de onderdelen Gepubliceerde toetsen, Kandidaten en Afnames. Als u een ontwikkelaar het recht geeft mappen te beheren, dan kan deze mappen toevoegen en/of verwijderen en de namen van mappen wijzigen. Als u een ontwikkelaar het recht geeft objecten te bewerken, betekent dit dat de ontwikkelaar: nieuwe objecten kan toevoegen; bestaande objecten kan verplaatsen, verwijderen, kopiëren en/of aanpassen. Het bekijken van resultaten gaat via de onderdelen Gepubliceerde toetsen, Kandidaten en Afnames. De startmappen die u instelt voor deze onderdelen, bepalen dus ook van welke toetsen, kandidaten en afnames een ontwikkelaar de resultaten kan bekijken. Voor het onderdeel Resultaten kunt u per ontwikkelaar de volgende vier opties instellen: Resultaten bekijken: de ontwikkelaar heeft leesrecht en mag alleen resultaten bekijken. Resultaten aanpassen: de ontwikkelaar mag resultaten ongeldig maken en resultaten aanpassen (zie paragraaf 12.4). Analysegegevens vastleggen: de ontwikkelaar mag analysegegevens vastleggen in de meta-informatie van vragen en toetsen (zie paragraaf 12.3). Open vragen beoordelen: de ontwikkelaar mag de open vragen van kandidaten beoordelen (zie paragraaf 11.4); Beoordelingen vastleggen: de ontwikkelaar mag de beoordelingen van open vragen vastleggen zie paragraaf 11.4). Een ontwikkelaar die geen mappen mag beheren, kan wel mappen maken in zijn persoonlijke hulpmappen. Een ontwikkelaar die geen objecten mag bewerken, kan wel referenties naar de objecten maken in zijn persoonlijke hulpmappen. 15

17 3.3 Scenario s voor het gebruik van toegang en rechten Meest eenvoudige scenario SCENARIO 3.1: DE ONTWIKKELAAR HEEFT TOEGANG TOT ALLE ONDERDELEN, MAG MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN MET VOLLEDIGE RECHTEN Als u geen onderscheid wilt maken tussen ontwikkelaars en iedereen volledig toegang en alle rechten krijgt. In de praktijk zal dit veel voorkomen bij organisaties met relatief weinig gebruikers/ontwikkelaars, die verantwoordelijk zijn voor alle activiteiten: het ontwikkelen van vragen, het samenstellen van toetsen, het invoeren van kandidaten én het plannen van afnames. HOE STELT U DEZE RECHTEN IN? Als u een nieuwe ontwikkelaar toevoegt, zijn diens rechten standaard op deze manier ingesteld: Alle startpunten van de gewone mappen staan op /Top en van de publieke hulpmappen op /Publiek. Voor alle onderdelen staan de opties In menu tonen, Mappen beheren en [Objecten] bewerken uit (voor Resultaten de opties Resultaten bekijken, Resultaten aanpassen, Analysegegevens vastleggen en Open vragen beoordelen). Deze opties zet u allemaal aan. Ook de optie Toetsen publiceren en Gepubliceerde toetsen in menu tonen in het onderdeel Toetsen zet u aan. TIP! U kunt deze rechten in één keer toekennen via de knop Toekennen alle rechten. De ontwikkelaar ziet in zijn hoofdmenu alle onderdelen. In elk onderdeel kan hij mappen toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) en alle objecten bekijken én bewerken Scenario s voor het toekennen van rechten voor vraag- en toetsontwikkeling SCENARIO 3.2A: DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN VRAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN EN MAG IN DIE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van vragen en toetsen en het controleren van de kwaliteit daarvan. De ontwikkelaar mag de toets ook beschikbaar stellen voor afname (publiceren). Het is daarbij geen probleem dat deze ontwikkelaars toegang hebben tot alle vragen en toetsen die in het domein beschikbaar zijn. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen. 16

18 Zet de startpunten van de gewone mappen van Vragen en Toetsen op /Top en van de publieke hulpmappen van Vragen en Toetsen op /Publiek. Zet voor de onderdelen Vragen en Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan. De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In die onderdelen kan hij mappen toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) en alle objecten bekijken én bewerken. Toetsresultaten kan deze ontwikkelaar bekijken en beheren via het onderdeel Gepubliceerde toetsen. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken. TIPS! Als de ontwikkelaar de resultaten niet mag aanpassen of de analysegegevens niet mag vastleggen, kunnen die opties worden uitgezet. U kunt er ook voor kiezen de resultaten helemaal niet beschikbaar te stellen. Daarvoor zet u ook de optie Resultaten bekijken uit. U kunt er natuurlijk ook voor kiezen om de beschreven toegang en rechten alleen te verlenen tot het onderdeel Vragen. De ontwikkelaar kan dan alleen in dat onderdeel de beschreven taken uitvoeren. Ook kunt u de ontwikkelaar geen recht geven om de toetsen te publiceren. Als er sprake is van toetsen met open vragen, is de ontwikkelaar in dit scenario de aangewezen persoon om de open vragen te mogen beoordelen. In dat geval zet u ook de optie Open vragen beoordelen aan. SCENARIO 3.2B: DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN VRAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN EN MAG IN DIE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN EEN SPECIFIEK DEEL VAN DE MAPPENSTRUCTUUR Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het ontwikkelen van een specifiek deel van de vragen en toetsen en het controleren van de kwaliteit daarvan. De mappenstructuur is zo ingericht, dat de ontwikkelaars slechts in een deel daarvan mogen werken. In dit scenario betreft dit het gedeelte Leerjaar 2. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen. Zet de startpunten van de gewone mappen en van de publieke hulpmappen van Vragen en Toetsen op /Leerjaar2. Zet voor de onderdelen Vragen en Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan. De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In die onderdelen kan hij mappen 17

19 toevoegen en/of verwijderen (niet van toepassing in het onderdeel Gepubliceerde toetsen) binnen het mappengedeelte dat valt onder de map Leerjaar2 en alle objecten in die mappen bekijken én bewerken. Toetsresultaten kan deze ontwikkelaar uitsluitend bekijken en beheren via het onderdeel Gepubliceerde toetsen en vanuit de mappen onder Leerjaar2. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken. SCENARIO 3.2C: DE ONTWIKKELAAR HEEFT TOEGANG TOT HET ONDERDEEL VRAGEN, HEEFT ALLEEN TOEGANG TOT PUBLIEKE HULPMAPPEN MET RECHT OP VRAGEN BEWERKEN Voor ontwikkelaars die u wilt inzetten voor het controleren en aanpassen van bestaande vragen, bijvoorbeeld leden van een vaststellingscommissie. Deze ontwikkelaar kan zelf geen nieuwe vragen toevoegen. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Toetsen, Kandidaten, Afnames en Resultaten uit en de start(hulp)mappen op Geen. Zet het startpunt van de gewone mappen van Vragen op Geen en van de hulpmappen op /Publiek (al dan niet op een lager niveau). Zet voor Vragen de opties In menu tonen en [Objecten] bewerken aan en de optie Mappen beheren uit. De ontwikkelaar ziet in zijn hoofdmenu alleen het onderdeel Vragen. Hij kan de vragen bewerken vanuit de publieke hulpmap. Hij heeft geen mogelijkheid om nieuwe vragen te maken, omdat dat alleen kan als je toegang hebt tot gewone mappen. Refereren naar een persoonlijke map is wel mogelijk. Zodra de vraag echter niet meer beschikbaar is in de publieke hulpmap, kan de ontwikkelaar de vraag alleen nog maar bekijken (inclusief meta-informatie) en niet meer bewerken. SCENARIO 3.2D: DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN VRAGEN, TOETSEN EN GEPUBLICEERDE TOETSEN, HEEFT IN HET ONDERDEEL VRAGEN ALLEEN TOEGANG TOT DE PUBLIEKE HULPMAPPEN ZONDER RECHT OP VRAGEN BEWERKEN EN MAG IN HET ONDERDEEL TOETSEN IN ALLE MAPPEN OBJECTEN BEWERKEN Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het samenstellen van toetsen en het controleren van de kwaliteit daarvan. De toegang tot het onderdeel Vragen is uitsluitend bedoeld voor het kunnen selecteren van vragen voor een toetsvragenset. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Kandidaten en Afnames uit en de start(hulp)mappen op Geen. Zet het startpunt van de gewone mappen van Vragen op Geen 1 en van de hulpmappen op /Publiek. Zet voor Vragen de opties In menu tonen, Mappen beheren en [Objecten] bewerken uit. Zet het startpunt van de gewone mappen van Toetsen op /Top en van de hulpmappen op /Publiek. 1 Als u toetsen samenstelt met behulp van gewone mappen, stelt u hier wel een startmap in. 18

20 Zet voor Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken, Toetsen Publiceren en Gepubliceerde toetsen in menu tonen aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan. De ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Vragen, Toetsen en Gepubliceerde toetsen. In het onderdeel Toetsen kan de ontwikkelaar de vragen alleen bekijken en selecteren vanuit de publieke hulpmappen van het onderdeel Vragen. Toetsresultaten kan deze ontwikkelaar uitsluitend bekijken en beheren via het onderdeel Gepubliceerde toetsen. De meta-informatie van kandidaten en/of afnames kan deze ontwikkelaar niet bekijken Scenario s voor het toekennen van rechten voor het plannen van afnames SCENARIO 3.3: DE ONTWIKKELAAR HEEFT TOEGANG TOT DE ONDERDELEN KANDIDATEN, AFNAMES EN RESULTATEN EN MAG IN DEZE ONDERDELEN MAPPEN BEHEREN EN OBJECTEN BEWERKEN IN ALLE MAPPEN Voor ontwikkelaars die uitsluitend verantwoordelijk zijn voor het invoeren van kandidaten, het plannen van afnames en het terugkoppelen en beheren van de resultaten. HOE STELT U DEZE RECHTEN IN? Zet alle opties van het onderdeel Vragen uit en de start(hulp)mappen op Geen. Zet de startpunten van de gewone mappen van Toetsen, Kandidaten en Afnames op /Top en van de publieke hulpmappen van Toetsen, Kandidaten en Afnames in op /Publiek. Zet voor het onderdeel Toetsen de opties In menu tonen, Mappen beheren, [Objecten] bewerken en Toetsen publiceren uit. Zet voor de onderdelen Kandidaten en Afnames de opties In menu tonen, Mappen beheren en [Objecten] bewerken aan. Zet ook de optie Inzien inhoud vragen en toetsen (preview/review) bij Afnames aan aan. Zet de opties Resultaten bekijken, Resultaten aanpassen en Analysegegevens vastleggen aan. Deze ontwikkelaar ziet in zijn hoofdmenu alleen de onderdelen Kandidaten en Afnames. In die onderdelen kan hij mappen toevoegen en/of verwijderen en alle objecten bekijken én bewerken, inclusief preview. Toetsresultaten kan deze gebruiker bekijken via de onderdelen Kandidaten en Afnames. Hij kan via deze onderdelen ook de meta-informatie en de analysegegevens van toetsen bekijken en vastleggen en de gemaakte toetsen reviewen. U kunt een variant op dit scenario maken met aangepaste startmappen voor een of meer onderdelen, bijvoorbeeld voor Toetsen en Afnames. In dat geval maakt u verschillende ontwikkelaars verantwoordelijk voor specifieke delen van de in te plannen afnames. TIP! Als de ontwikkelaar geen vragen en toetsen mag bekijken, kunt u de optie Inzien inhoud vragen en toetsen (preview/review) uitzetten. 19

21 3.3.4 Scenario s voor het toekennen van rechten voor het bekijken van resultaten SCENARIO 3.4A: DE ONTWIKKELAAR MAG ALLEEN DE RESULTATEN VAN EEN SPECIFIEKE GROEP KANDIDATEN BEKIJKEN EN DE OPEN VRAGEN BEOORDELEN GEBRUIKT U DEZE RECHTEN? Voor een ontwikkelaar die u alleen resultaten wilt laten bekijken, bijvoorbeeld van zijn eigen groep kandidaten. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Vragen, Toetsen en Afnames uit en de (start)hulpmappen op Geen. Stel de startpunten van de gewone mappen van Kandidaten in op Geen en van de publieke hulpmappen van Kandidaten in op /Cursistgroep x. Zet voor het onderdeel Kandidaten de optie In menu tonen aan en de opties Mappen beheren en [Objecten] bewerken uit. Zet de opties Resultaten bekijken, Resultaten aanpassen, Open vragen beoordelen en Beoordelingen vastleggen aan. Deze ontwikkelaar ziet in het hoofdmenu alleen het onderdeel Kandidaten. Hij kan alleen de resultaten van zijn eigen groep cursisten bekijken en desgewenst aanpassen. Ook kan hij eventuele open vragen beoordelen (daarvoor moet hij wel door de planner als beoordelaar aan de afname gekoppeld worden, zie paragraaf 11.3). TIP! Als de ontwikkelaar de resultaten niet mag aanpassen of geen open vragen mag beoordelen en/of geen beoordelingen mag vastleggen, kunnen die opties worden uitgezet. Hetzelfde geldt voor het mogen inzien van de inhoud van vragen en toetsen. SCENARIO 3.4B: DE ONTWIKKELAAR MAG ALLEEN DE RESULTATEN VAN EEN SPECIFIEKE AFNAME BEKIJKEN GEBRUIKT U DEZE RECHTEN? Voor een ontwikkelaar die u alleen resultaten wilt laten bekijken, bijvoorbeeld van een bepaalde afname. HOE STELT U DEZE RECHTEN IN? Zet alle opties van de onderdelen Vragen, Toetsen en Kandidaten uit en de (start)hulpmappen op Geen. Stel de startpunten van de gewone mappen van Afnames in op Geen en van de publieke hulpmappen van Afnames in op de map waarin de afname is opgenomen. Zet voor het onderdeel Afnames de optie In menu tonen aan en de opties Mappen beheren en [Objecten] bewerken uit. Zet de opties Resultaten bekijken en Resultaten aanpassen aan. 20

22 Deze ontwikkelaar ziet in het hoofdmenu alleen het onderdeel Afnames. Hij kan alleen de resultaten van de specifieke afname bekijken en desgewenst resultaten op kandidaatniveau ongeldig maken. TIPS! Als de ontwikkelaar de resultaten niet mag aanpassen, kan die optie worden uitgezet. Hetzelfde geldt voor het mogen inzien van de inhoud van vragen en toetsen. Als de ontwikkelaar ook open vragen moet kunnen beoordelen en/of beoordelingen moet kunnen vastleggen, kunnen die opties worden aangezet. 21

23 4. VRAAGKENMERKEN INSTELLEN 4.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: DOMEINBEHEERDERS TestVision Online heeft geen vooraf vastgelegde kenmerken. Elke organisatie kan zelf kiezen welke kenmerken ze wil gebruiken. Dit wordt op instellingsniveau vastgelegd. Daarbij maken we onderscheid tussen applicatiekenmerken, die voor alle domeinen hetzelfde zijn en domeinkenmerken, die per domein kunnen worden vastgelegd. U kunt vraagkenmerken gebruiken voor het beheer van de vragen, maar ook bij het samenstellen van toetsen. In dit hoofdstuk beschrijven we onder meer een aantal voorbeelden voor het gebruik van applicatie- en domeinkenmerken. U moet vooraf, in overleg met de beheerders van andere domeinen, bepalen welke kenmerken voor alle domeinen moeten gelden en welke niet. De kenmerken die voor alle domeinen moeten gelden, moet de applicatiebeheerder invoeren als applicatiekenmerken. De domeinkenmerken voor uw eigen domein voert u als domeinbeheerder zelf in. 4.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat beschreven hoe u domeinkenmerken kunt toevoegen en bewerken. We maken onderscheid tussen verplichte en niet-verplichte kenmerken. Een verplicht kenmerk wordt automatisch met een standaardwaarde aan een nieuwe vraag gekoppeld. Een niet verplicht kenmerk moet door de ontwikkelaar handmatig aan de vraag worden gekoppeld. Een kenmerk kent een aantal waarden, die u zelf kunt definiëren. De kenmerkwaarden worden (in een lijstvenster) in alfabetische volgorde aan de ontwikkelaar getoond. U kunt in het onderdeel Vragen filteren op kenmerkwaarden. Een kenmerk heeft altijd een standaardwaarde, die u zelf opgeeft. Dit is de waarde die automatisch aan de vraag wordt toegekend. De ontwikkelaar kan (via een lijstvenster) een andere kenmerkwaarde kiezen. Ook kan de ontwikkelaar voor een aantal geselecteerde kenmerken tegelijk de kenmerkwaarden aanpassen. Een kenmerk moet uniek zijn. Op applicatie- en domeinniveau mogen dus niet dezelfde kenmerken voorkomen. U kunt een kenmerk of kenmerkwaarde uitzetten. Het kenmerk of de kenmerkwaarde kan dan niet meer door ontwikkelaars worden gebruikt. Een standaardwaarde kan niet worden uitgezet. Het uitzetten van kenmerken of kenmerkwaarden heeft geen consequenties voor toetsmatrijzen van bestaande toetsen. 22

24 Kenmerken en kenmerkwaarden kunnen alleen verwijderd worden als ze niet gebruikt worden bij vragen en/of in toetsmatrijzen. 4.3 Vraagkenmerken gebruiken Vraagkenmerken op applicatieniveau Op applicatieniveau kunt u vraagkenmerken invoeren voor bijvoorbeeld het vastleggen van de moeilijkheidsgraad en de taxonomiecode. Via de vraagkenmerken kunt u bijvoorbeeld ook de ontwikkelaars de ontwikkelstatus van een vraag laten vastleggen. De kenmerken moeilijkheidsgraad en taxonomiecode kunnen ontwikkelaars bijvoorbeeld gebruiken bij het samenstellen van toetsen op basis van een toetsmatrijs (zie paragraaf 7.3.4). Voorbeeld van applicatiekenmerk Moeilijkheid Taxonomie (Bloom) Taxonomie (Bloom, uitgebreid) Taxonomie (Romizowski) Taxonomie (Romizowski uitgebreid) Ontwikkelstatus Voorbeelden van bijbehorende kenmerkwaarden (cursieve waarde is de standaardwaarde) Gemiddeld Makkelijk Moeilijk 1 Kennis 2 Begrip 3 Toepassen 1 Kennis 2 Begrip 3 Toepassen 4 Analyseren 5 Evalueren 6 Creëren 1 F 2 B 3 RV 4 PV 1.1 Ff 1.2 Fp 2.1 Bb 2.2 Bp 3.1 Rc 3.2 Rpm 3.3 Ri 3.4 Rr 4.1 Pc 4.2 Ppm 4.3 Pi 4.4 Pr 01 In ontwikkeling 02 Onder redactie 03 Goedgekeurd 04 Afgekeurd 05 Verouderd 06 Te vaak gebruikt 23

25 Vragen met de ontwikkelstatus afgekeurd, verouderd of te vaak gebruikt, zouden bij voorkeur als status Uit of Afgeschreven moeten hebben, zodat ze niet (opnieuw) in een toets gepubliceerd kunnen worden. U kunt er voor kiezen dat alleen goedgekeurde vragen de status Aan mogen hebben. Meer informatie over het aan- en uitzetten en afschrijven van vragen leest u in paragraaf 8.5. LET OP! Een specifieke ontwikkelstatus betekent niet dat de vraag automatisch op Uit of Afgeschreven wordt gezet. De ontwikkelaars moeten de vragen zelf handmatig de status Uit of Afgeschreven geven. TIP! U kunt de kenmerkwaarden nummeren om een logische volgorde aan te brengen. Gebruik een 0 als voorloopcijfer (01, 02, 03 ) om ook met meer dan tien waarden de gewenste volgorde te verkrijgen Vraagkenmerken op domeinniveau We adviseren om op domeinniveau de vraagkenmerken vast te leggen die alleen gelden binnen dat domein. Daarbij kunt u bijvoorbeeld denken aan het vakgebied of een onderwerp, maar ook aan een niveau of een redacteur. Welke keuze u maakt, hangt af van de situatie binnen uw organisatie. Voorbeeld van domeinkenmerk Vakgebied Onderwerp Niveau Redacteur Voorbeelden van bijbehorende kenmerkwaarden (cursieve waarde is de standaardwaarde) Anatomie Fysiologie Kinesiologie Pathologie Ademhaling Hart- en vaatstelsel Overig Spijsvertering Zenuw- en zintuigstelsel 1 VMBO 2 HAVO 3 VWO 4 Onbekend Albert Bram Christine Dirk Onbekend De domeinkenmerken niveau en redacteur zouden ook op applicatieniveau kunnen worden vastgelegd. Als de kenmerkwaarden voor alle domeinen gelijk zijn, kunt u ze zelfs beter als applicatiekenmerk laten invoeren. 24

26 5. TOETSTEMPLATES INSTELLEN 5.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: DOMEINBEHEERDERS Toetstemplates kunt u gebruiken om voor diverse toetssoorten (een oefentoets, een diagnostische toets, een examen) een vaste instructie- en resultaatpagina in te stellen. De ontwikkelaar kan dan op toetsniveau een toetstemplate aan de toets koppelen. 5.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat beschreven hoe u toetstemplates kunt toevoegen en bewerken. Er is altijd een toetstemplate als standaard aangewezen. Deze toetstemplate wordt automatisch gekoppeld aan een nieuwe toets. De ontwikkelaar kan een andere template kiezen. Toetstemplates kunnen worden uitgezet of zelfs verwijderd. De standaardtoetstemplate kan echter niet worden verwijderd. Een template die in een bestaande toets wordt gebruikt, kan evenmin verwijderd worden. Als u een toetstemplate uitzet, kan deze niet worden gebruikt in nieuw te ontwikkelen toetsen. Voor bestaande toetsen blijft de template gewoon beschikbaar. 5.3 Een toetstemplate toevoegen Als u een toetstemplate toevoegt, staan de opties volgens een standaard ingesteld. We beschrijven hier de standaardinstellingen en geven tips over het kiezen van de overige instellingen De instructiepagina instellen Op de instructiepagina kunt u de volgende aspecten instellen: de informatie die u wilt tonen op de instructiepagina: het aantal vragen in de toets, de tijd die de kandidaat krijgt om de toets te maken, de cesuur (in procenten), de daarvoor te behalen score (in punten) en een toelichting op de gebruikte scoringregel (die aangeeft of wel of geen sprake is van puntenaftrek voor foute antwoorden); de informatie de de kandidaat kan opvragen tijdens de toets: de instructiepagina, de feedback, de leerstofverwijzingen en de Help; een aanvullende (algemene) instructietekst. Standaard geldt de volgende instelling: op de instructiepagina word en het aantal vragen, de tijdsduur en de toelichting op de gebruikte scoringsregel getoond. Gedurende de toets is alleen de Help opvraagbaar. 25

27 U kunt de andere opties bijvoorbeeld om de volgende redenen aanzetten: Cesuur en/of benodigde score: U wilt dat kandidaten van tevoren weten hoeveel procent (cesuur) of punten ze moeten halen voor een voldoende. Denk er daarbij wel aan dat bij toetsen met een cesuur gebaseerd op de kansscore, u het best de benodigde score kunt tonen, omdat deze informatie het duidelijkst is. En bij een at random samengestelde toets ziet elke kandidaat in dat geval een (iets) andere benodigde score. Als u de cesuur achteraf wilt aanpassen of instellen, kunt u deze beter niet tonen op de instructiepagina. Instructiepagina opvraagbaar tijdens toets: Het aantal vragen en de tijdsduur zijn ook in de toets zelf te bekijken. Als u wilt dat de kandidaat de cesuur, de benodigde score of de scoringsregel opnieuw kan bekijken, kunt u deze optie aanzetten. Feedback opvraagbaar tijdens toets: Het aanzetten van deze optie is alleen aan te bevelen voor een oefentoets, waarbij het resultaat niet van belang is. De kandidaat kan dan namelijk zijn antwoord aanpassen nadat hij de feedback heeft gelezen. Leefstofverwijzing opvraagbaar tijdens toets: Als u deze optie aanzet, kan de kandidaat eventuel leerstof (al dan niet op internet) raadplegen terwijl hij de toets aan het maken is. Ook deze optie is vooral aan te bevelen voor een oefentoets. Instructietekst: Hier kunt u een algemene instructie invoeren, bijvoorbeeld: Veel succes bij het maken van deze toets! De ontwikkelaar kan op toetsniveau deze instructie aanpassen of uitbreiden De resultaatpagina instellen Op de resultaatpagina kunt u instellen welke informatie de kandidaat ziet direct na afloop van de toets en bij het later terugkijken van de pagina. Bij de standaardinstellingen wordt het volgende getoond: het aantal toetsvragen; de bestede toetstijd; het scorepercentage; het aantal goed, gedeeltelijk goed, fout en niet beantwoorde vragen; of de kandidaat is geslaagd of niet (alleen als bij de toets een cesuur is ingesteld); het cijfer dat de kandidaat heeft behaald (alleen als bij de toets een cesuur is ingesteld); het vraagoverzicht met per vraag vermeld of deze goed, gedeeltelijk goed, fout of niet is beantwoord. Al deze instellingen kunt u indien gewenst uitzetten. U kunt de resultaatpagina uitbreiden met de volgende informatie: de score per vraag (vooral relevant voor toetsen met gedeeltelijk gescoorde vragen); deelscores op deelblokken; een studieadvies met leerstofverwijzingen per vraag; de mogelijkheid de vraag nogmaals te bekijken; de mogelijkheid feedback bij de vraag te bekijken; de mogelijkheid een leerstofverwijzing bij de vraag te bekijken. 26

28 De laatste vier opties kunt u alleen direct na afloop van de toets mogelijk maken of ook bij het later terugkijken van de toets. Als u de vragen niet te veel bekend wilt laten worden, zet u deze opties bijvoorbeeld alleen aan direct na afloop van de toets en niet bij het later terugkijken. Ten slotte kunt u op de resultaatpagina een algemene tekst opnemen, maar ook een tekst op resultaatniveau voor geslaagde of niet geslaagde kandidaten en voor een toets zonder cesuur. 27

29 6. MAPPEN INRICHTEN OM OBJECTEN TE BEHEREN 6.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: ONTWIKKELAARS In elk ontwikkelonderdeel van TestVision Online heeft u als ontwikkelaar de beschikking over twee soorten mappen: gewone mappen en hulpmappen. Tot welke mappen u als ontwikkelaar toegang heeft, hangt af van de toegang die voor u is ingesteld door de domeinbeheerder (zie hoofdstuk 2 en hoofdstuk 3) Gewone mappen Gewone mappen vormen de structuur waarin u uw objecten (vragen, toetsen, kandidaten en afnames) beheert. U kunt dit vergelijken met de mappenstructuur die u waarschijnlijk ook gebruikt om de bestanden op uw computer te beheren. Elke vraag, toets, kandidaat of afname slaat u in één specifieke gewone map op Hulpmappen Hulpmappen kunt u gebruiken om andere dwarsdoorsnedes van de inhoud van uw gewone mappen te maken. U maakt daarbij referenties naar de objecten uit de gewone mappen. U kunt een objectreferentie beschouwen als een snelkoppeling. Via een snelkoppeling kunt u een object bekijken en/of bewerken. U kunt in verschillende hulpmappen zo vaak naar dezelfde objecten refereren als u wilt. De hulpmappen zijn bedoeld voor het maken van andere dwarsdoorsnedes van objecten, bijvoorbeeld om te gebruiken in een toetsmatrijs, voor het redigeren van vragen, het koppelen van toetsen aan afnames of het bekijken van resultaten van specifieke afnames. Er zijn twee soorten hulpmappen: publieke hulpmappen, die u deelt met andere gebruikers (deze zijn onder meer bedoeld voor gebruik in een toetsmatrijs of voor het redigeren van vragen); persoonlijke hulpmappen, waartoe u alleen zelf toegang heeft (deze zijn bedoeld voor het maken van dwarsdoorsnedes voor eigen gebruik, bijvoorbeeld toetsvragen waarover u nog niet tevreden bent). 28

30 In de onderdelen Vragen en Kandidaten is er nog een speciaal soort hulpmap voor importeren, waarin de vragen en kandidaten staan die vanuit een ander domein of andere database zijn geïmporteerd. Deze vragen en kandidaten moeten eerst worden verplaatst voordat ze kunnen worden bewerkt, zie voor meer informatie de Help. In importhulpmappen kunt u geen referenties plaatsen of mappen aanmaken. 6.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat beschreven hoe u mappen kunt toevoegen, hernoemen, verwijderen, kopiëren of verplaatsen en hoe u in de mappen navigeert. Wat u kunt doen in de diverse mappen (mappen beheren, nieuwe objecten maken en/of bestaande objecten bewerken), hangt af van de voor u ingestelde rechten. De domeinbeheerder kan voor u als ontwikkelaar een gewone en/of publieke startmap instellen. U ziet dan alleen de mappenstructuur vanaf die startmap. Daardoor is het mogelijk dat u een andere mappenstructuur ziet dan een andere ontwikkelaar. Als u geen gewone mappen tot uw beschikking heeft, maar wel publieke hulpmappen, kunt u alleen objecten bewerken via de snelkoppelingen (objectreferenties) in de publieke hulpmappen. U kunt dan geen nieuwe objecten ontwikkelen. In persoonlijke hulpmappen kunt u altijd mappen beheren en objectreferenties aanmaken. Of u de objecten ook kunt bewerken, hangt af van uw rechten en uw toegang in de gewone en publieke hulpmappen. Het onderdeel Kandidaten is domeinoverstijgend. Dit betekent dat de mappenstructuur in dit onderdeel voor alle domeinen gelijk is. 6.3 Scenario s voor het inrichten van mappen in Vragen In Vragen kunt u de mapinrichting gebruiken voor het ordenen van uw vragen, bijvoorbeeld met het oog op het samenstellen van uw toetsen. De (hulp)mappen functioneren dan als toetstermen (van een toetsmatrijs). Het hangt van de samenstelling van uw itembank af of u mappen of hulpmappen gebruikt voor het samenstellen van toetsen. Als vragen vooral in dezelfde toetssamenstelling worden gebruikt, kunt u de gewone mappen gebruiken (zie scenario 6.1). Als u uw vragen in verschillende dwarsdoorsnedes in verschillende toetsen gebruikt, stelt u ze bij voorkeur samen met behulp van hulpmappen (zie scenario 6.2a en 6.2b) Meest eenvoudige scenario SCENARIO 6.1: DE GEWONE (SUB)MAPPENSTRUCTUUR IS OPGEDEELD IN TE TOETSEN ONDERWERPEN, BINNEN ELK ONDERWERP WORDEN DE GEWONE (SUB)MAPPEN GEBRUIKT ALS TOETSTERMEN 29

31 GEBRUIKT U DEZE MAPPEN- STRUCTUUR? HOE RICHT U DE MAPPEN- STRUCTUUR IN? Als u uw vragen altijd in ongeveer dezelfde toetssamenstelling gebruikt voor vergelijkbare toetsen en hertoetsen. U gebruikt vragen dus niet in verschillende dwarsdoorsnedes voor bijvoorbeeld verschillende doelgroepen. Per te toetsen onderwerp maakt u een (sub)map aan, met daarin een aantal submappen voor elke toetsterm. Bijvoorbeeld: Top Nederlands Zinsdelen (te toetsen onderwerp) Naamwoordelijk gezegde Voorzetselvoorwerp Bijvoeglijke bepaling Bijwoordelijke bepaling U ontwikkelt in deze mappenstructuur vervolgens uw vragen over het onderwerp Zinsdelen. In het onderdeel Toetsen kunt u deze submappen gebruiken voor het samenstellen van uw toets (zie paragraaf 7.3.1) Scenario s voor het gebruik van hulpmappen bij het toetsen samenstellen SCENARIO 6.2A: U GEBRUIKT DE HULPMAPPENSTRUCTUUR VOOR HET MAKEN VAN SELECTIES VAN TOETSVRAGEN VOOR EEN TOETS GEBRUIKT U DEZE MAPPEN- STRUCTUUR? HOE RICHT U DE MAPPEN- STRUCTUUR IN? Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit eenvoudige scenario gebruikt u één hulpmap per samen te stellen toets. Per toets maakt u één hulpmap aan, waarin u vanuit de gewone mappenstructuur een referentie maakt naar de vragen die u in de toets wilt opnemen. In het onderdeel Toetsen gebruikt u de hulpmap voor het rechtstreeks samenstellen van de toetsvragenset en vervolgens van de toets (zie paragraaf 7.3.3). LET OP! Dit scenario is minder geschikt als u bij het samenstellen van de toets nog invloed wilt uitoefenen op de samenstelling van de toets op onderwerpniveau, bijvoorbeeld bij een at random samengestelde toets. In dat geval kunt u beter kiezen voor scenario 6.2B. 30

32 SCENARIO 6.2B: U GEBRUIKT DE HULPMAPPENSTRUCTUUR OM TOETSEN SAMEN TE STELLEN OP BASIS VAN TOETSTERMEN, WAARBIJ TOETSVRAGEN IN VERSCHILLENDE DWARSDOORSNEDES WORDEN GEBRUIKT GEBRUIKT U DEZE MAPPEN- STRUCTUUR? HOE RICHT U DE MAPPEN- STRUCTUUR IN? Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit meer complexe scenario gebruikt u de hulpmappen als basis voor de toetsmatrijs. De gewone mappenstructuur kunt u gebruiken om uw toetsvragen naar eigen inzicht in te delen, dit hoeft dan dus niet noodzakelijk gericht te zijn op het samenstellen van de toetsen. Bijvoorbeeld: Top Wiskunde Statistiek Frequentietabellen Frequentieverdelingen Centrummaten Spreidingsmaten Algebra Functies en grafieken Lijnen en hoeken In de hulpmappen maakt u een mappenstructuur aan voor het samenstellen van de toetsen met behulp van een toetsmatrijs. Bijvoorbeeld: Top Wiskunde HAVO-4 Statistiek H4 Frequentietabellen H4 Frequentieverdelingen H4 Centrummaten H4 Spreidingsmaten VWO-3 Statistiek VWO-4 Statistiek Waar u in de gewone mappen alle vragen over een bepaald onderwerp in dezelfde map opslaat, kunt u in de hulpmappen de vragen in andere dwarsdoorsnedes bij elkaar zetten, in dit voorbeeld is dat op niveau en jaar. U maakt referenties van de vragen vanuit de gewone mappen naar de hulpmappen structuur. Zo kunt u van een bepaalde vraag bijvoorbeeld een referentie opnemen in een hulpmap voor VWO-3, maar ook voor HAVO-4. In het onderdeel Toetsen kunt u de hulpmappen gebruiken voor het samenstellen van toetsen (zie paragraaf 7.3.3). 31

33 TIP! U kunt toetsen ook samenstellen met behulp van vraagkenmerken. Zie daarvoor paragraaf Mapinrichting in Toetsen, Kandidaten en Afnames Zoals al beschreven in paragraaf 2.3, kan de domeinbeheerder ook in de onderdelen Toetsen, Kandidaten en Afnames de mappenstructuur gebruiken om de toegang van ontwikkelaars te beperken. Daarnaast zult u de mappenstructuur in deze onderdelen vooral gebruiken voor het overzichtelijk indelen van uw toetsen, kandidaten en afnames. Bijvoorbeeld: Toetsen: een gewone mappenstructuur ingedeeld op opleiding of vakgebied en een hulpmappenstructuur voor het plannen van afnames, ingedeeld op week of docent. Kandidaten: een gewone mappenstructuur ingedeeld op klas, afdeling of functiegroep en een hulpmappenstructuur voor het plannen van afnames ingedeeld op week, docent of type kandidaat (dyslectisch, faalangstig). U kunt deze mappen gebruiken om in één keer een hele groep kandidaten aan een afname te koppelen (zie hoofdstuk 10). Als er sprake is van meer domeinen, is het belangrijk dat de domeinbeheerders overleggen over de gezamenlijke mappenstructuur. Het onderdeel Kandidaten is domeinoverstijgend en dus is de mappenstructuur in alle domeinen gelijk. Afnames: een gewone mappenstructuur ingedeeld op opleiding of vakgebied en een hulpmappenstructuur voor het eenvoudig beschikbaar stellen van resultaten, ingedeeld op groep of docent. 32

34 7. TOETSEN SAMENSTELLEN 7.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: ONTWIKKELAARS In het onderdeel Toetsen kunt u toetsen samenstellen. Daarbij heeft u diverse mogelijkheden. U kunt kiezen tussen een toets met een vaste samenstelling (elke kandidaat krijgt dezelfde vragen voorgelegd, eventueel wel in een willekeurige volgorde) of een at random samengestelde toets (elke kandidaat krijgt dan zijn eigen selectie van vragen uit een door u samengestelde vragenset). Beide toetsvormen kunt u op verschillende manieren samenstellen. 7.2 Wat is belangrijk om te weten? In de Help van TestVision Online staat de werking van het onderdeel Toetsen beschreven. In deze handleiding besteden we aandacht aan de diverse keuzes die u kunt maken bij het samenstellen van toetsen. We maken bij het samenstellen van toetsen onderscheid tussen de vragenset en de toetsvragenset. De vragenset is de selectie van vragen die in de toets kunnen worden opgenomen. De toetsvragenset is de selectie van vragen die daadwerkelijk in de toets zijn opgenomen (deze set wordt voor een at random samengestelde toets voor elke kandidaat opnieuw samengesteld). Via een toetsmatrijs kunt u de toetsvragenset uit de vragenset selecteren (dan is de vragenset groter dan de toetsvragenset), maar u kunt ook de vragenset direct als toetsvragenset gebruiken (dan zijn vragenset en toetsvragenset dus exact gelijk). Hoe u een vragenset samenstelt en een toetsmatrijs gebruikt, beschrijven we in de scenario s van dit hoofdstuk. U kunt bij het samenstellen van de vragenset gebruikmaken van vraagfilters. Deze definieert u zelf in het onderdeel Vragen. Als u mappen of hulpmappen wilt gebruiken als criterium in de toetsmatrijs, is het belangrijk dat u vragen via de te gebruiken map toevoegt aan de vragenset. U kunt een toetsmatrijs ook op basis van kenmerken instellen. U kunt uw toets onderverdelen in blokken. De domeinbeheerder heeft een of meer toetstemplates samengesteld. Hierin heeft hij een aantal keuzes voor u vastgelegd, zoals: de informatie die een kandidaat voorafgaand aan de toets te zien krijgt, bijvoorbeeld de tijdsduur en de cesuur; de informatie die een kandidaat na afloop van de toets te zien krijgt, bijvoorbeeld de behaalde score, het aantal goed, fout of niet beantwoorde vragen, het kunnen inzien van de vragen en bijbehorende feedback en of de kandidaat is geslaagd of niet; een instructie- en resultaattekst, die u desgewenst kunt uitbreiden of aanpassen op toetsniveau. 33

35 U kunt aan elke toets een specifieke toetstemplate koppelen. Wilt u meer weten over de in uw organisatie beschikbare toetstemplates of wilt u een specifieke template laten samenstellen, dan kunt u het best contact opnemen met de domeinbeheerder. Er zijn ook eigenschappen die u zelf vastlegt, namelijk: de tijdsduur van de toets (deze kunt u eventueel op afnameniveau nog verlengen, bijvoorbeeld voor kandidaten met dyslexie, zie hoofdstuk 10); de cesuur van de toets, hierbij kunt u onder andere kiezen voor de opties Puntenaftrek bij fout antwoord en Kansscore meewegen (zie paragraaf 7.4.2). U kunt in het onderdeel Toetsen een PDF-versie van de toets maken, bijvoorbeeld voor redactie of bespreking in een vaststellingsvergadering. U kunt zelf instellen welke (meta-)informatie u bij de toets wilt afdrukken. Deze afdruk is niet bedoeld voor afname op papier! Deze maakt u in het onderdeel Afname. 7.3 Scenario s voor het samenstellen van toetsen Meest eenvoudige scenario SCENARIO 7.1: U STELT DE TOETSVRAGENSET SAMEN OP BASIS VAN EEN GEWONE MAPPENSTRUCTUUR HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Als u uw vragen altijd in ongeveer dezelfde toetssamenstelling gebruikt voor vergelijkbare toetsen en hertoetsen. U gebruikt vragen dus niet in verschillende dwarsdoorsnedes voor bijvoorbeeld verschillende doelgroepen en heeft geen hulpmappen nodig. U hebt de mappenstructuur ingericht volgens het scenario uit paragraaf Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens geeft u het aantal vragen dat de toets moet bevatten op en indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna de toetsmatrijs in. Daarna genereert u de toets. TIP! U kunt bij het samenstellen van de vragenset gebruikmaken van een vraagfilter. Zo kunt u bijvoorbeeld filteren op specifieke vraagvormen of op vragen met een p-waarde tussen 0,3 en 0,7. Voor dit laatste moet u analysegegevens van eerdere afnames hebben vastgelegd (zie paragraaf 12.3). U heeft op eenvoudige wijze een toets samengesteld, waarbij u via de toetsmatrijs geen of relatief weinig invloed uitoefent op de samenstelling. 34

36 7.3.2 Eenvoudige scenario s voor het samenstellen van standaard- en at random samengestelde toetsen SCENARIO 7.2: VIA EEN SUBMAPPENSTRUCTUUR LAAT U TESTVISION ONLINE EEN SELECTIE MAKEN VAN TOETSVRAGEN UIT EEN GROTERE SET HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Als u een ruime set vragen heeft, waaruit u een aantal keren een toets wilt genereren, bijvoorbeeld een toets-hertoetscombinatie. Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens stelt u de toetsmatrijs in en genereert u een toets. De samenstelling van deze toets kunt u desgewenst handmatig aanpassen. TestVision Online controleert automatisch voor u of de toets nog voldoet aan de toetsmatrijs. Als dit niet het geval is, ziet u een foutmelding die aangeeft op welk punt de toets niet overeenkomt met de toetsmatrijs. LET OP! U kunt een toets die niet voldoet aan de toetmatrijs, niet publiceren en dus ook niet afnemen. U oefent via de toetsmatrijs invloed uit op de samenstelling van uw toets. TIP! U kunt een toets via de knop Opslaan als dupliceren, bijvoorbeeld voor een hertoets. Daarna kunt u de toets opnieuw genereren en zorgen voor een andere samenstelling. LET OP! TestVision Online kiest bij Opslaan als niet automatisch andere toetsvragen dan in de oorspronkelijke toets. U moet hier dus zelf voor zorgen. VOORBEELD SCENARIO 7.2: DE TOETSMATRIJS VOOR HET SAMENSTELLEN VAN EEN TOETS VAN 10 VRAGEN KAN ER ZO UIT ZIEN: 35

37 TESTVISION ONLINE SELECTEERT WILLEKEURIG 10 VRAGEN VOLGENS BOVENSTAANDE CRITERIA. DE GEGENEREERDE TOETS IS ALS VOLGT SAMENGESTELD: DE TOETS BEVAT TWEE VRAGEN UIT DE MAP ALGEMEEN, DRIE VRAGEN UIT DE MAP GEOGRAFIE EN VIJF VRAGEN UIT DE MAP GESCHIEDENIS. OP HET MOMENT DAT U EEN VRAAG UIT DE MAP ALGEMEEN HANDMATIG VERVANGT DOOR EEN VRAAG UIT DE MAP GEOGRAFIE, CONTROLEERT TESTVISION ONLINE OF DIT OVEREENKOMT MET DE TOETSMATRIJS EN GEEFT EEN FOUTMELDING: 36

38 IN DIT GEVAL KUNT U AAN DE RODE 2 EN 3 BIJ DE MINIMUM- EN MAXIMUMWAARDEN VAN DE MAPPEN ALGEMEEN EN GEOGRAFIE ZIEN WAAR DE TOETSVRAGEN NIET OVEREENKOMEN MET DE INSTELLINGEN IN DE TOETSMATRIJS. U KUNT DIT HANDMATIG HERSTELLEN (DOOR HET AANPASSEN VAN DE TOETSMATRIJS OF DE TOETSVRAGENSET) OF DE TOETS OPNIEUW GENEREREN. U ZOU IN DIT GEVAL WEL ZONDER PROBLEMEN EEN VRAAG UIT DE MAP GESCHIEDENIS IN DE TOETSVRAGENSET KUNNEN VERVANGEN DOOR EEN VRAAG UIT DE MAP WATER. DIE WIJZIGING PAST NAMELIJK WEL BINNEN DE RANDVOORWAARDEN VAN DE TOETSMATRIJS. SCENARIO 7.3: VIA EEN SUBMAPPENSTRUCTUUR LAAT U TESTVISION ONLINE VOOR ELKE AFZONDERLIJKE KANDIDAAT AT RANDOM EEN SELECTIE MAKEN VAN TOETSVRAGEN UIT EEN GROTERE SET Als u een ruime set vragen heeft, waaruit u voor elke kandidaat een andere selectie wilt genereren. Zo kunt u bijvoorbeeld gedurende een langere periode bij kandidaten de toets afnemen, zonder dat de toetsvragen bekend raken. LET OP! Voor een goede at random samengestelde toets heeft u een goed gevulde vragenset nodig. Wij hanteren als vuistregel een minimum van drie vragen per te selecteren toetsvraag. Voor een toets van 25 vragen heeft u dan dus een vragenset van minimaal 75 vragen nodig. HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Voor de vragenset selecteert u de map(pen) waarin u de vragen die u wilt gebruiken heeft opgeslagen. U kunt de betreffende vragen in een keer toevoegen aan de set. Vervolgens stelt u de toetsmatrijs in. U hoeft geen toets te genereren en u kunt de toetsvragenset dus ook niet handmatig wijzigen. 37

39 U oefent via de toetsmatrijs invloed uit op de at random samenstelling van elke toets. Zo zorgt u ervoor dat elke kandidaat een inhoudelijk gelijkwaardige toets krijgt, met (ongeveer) evenveel vragen over de verschillende onderwerpen Scenario s voor het samenstellen van toetsen met behulp van hulpmappen SCENARIO 7.4A: VIA EEN HULPMAPPENSTRUCTUUR STELT U MET BEHULP VAN ÉÉN HULPMAP EEN TOETS SAMEN HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Als u uw toetssamenstelling niet wilt baseren op de gewone mappenstructuur, omdat u de vragen in verschillende dwarsdoorsnedes wilt gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit eenvoudige scenario gebruikt u één hulpmap per samen te stellen toets. U heeft een hulpmappenstructuur gemaakt conform scenario 6.2a in paragraaf Voor de vragenset selecteert u de hulpmap waarin u objectreferenties heeft opgenomen naar de vragen die u in de toets wilt opnemen. U kunt de betreffende vragen in een keer toevoegen aan de set. Indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna eerst de toetsmatrijs in. U kunt ook direct een toets genereren. U heeft via de hulpmappen een toets samengesteld, waarbij u via de toetsmatrijs geen of relatief weinig invloed uitoefent op de samenstelling. SCENARIO 7.4B: VIA EEN HULPMAPPENSTRUCTUUR STELT U TOETSEN SAMEN OP BASIS VAN TOETSTERMEN, WAARBIJ TOETSVRAGEN IN VERSCHILLENDE DWARSDOORSNEDES WORDEN GEBRUIKT HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Als u uw toetssamenstelling niet (alleen) kunt of wilt baseren op de gewone mappenstructuur, omdat u de vragen ook in andere dwarsdoorsnedes wilt (kunnen) gebruiken. Omdat u een vraag altijd maar in één map kunt opslaan, heeft u dan de hulpmappen nodig voor het maken van specifieke selecties van vragen voor een toets. In dit meer complexe scenario gebruikt u de hulpmappen als basis voor de toetsmatrijs. U heeft een hulpmappenstructuur gemaakt conform scenario 6.2b in paragraaf Voor de vragenset selecteert u de hulpmappen met objectreferenties naar vragen die u in de toets wilt opnemen, bijvoorbeeld alle hulpmappen onder Statistiek HAVO-4 als u een toets voor die doelgroep wilt samenstellen. U kunt de betreffende vragen in een keer toevoegen aan de set. Indien nodig (bijvoorbeeld als de set meer vragen bevat dan u in de toets wilt opnemen) stelt u daarna eerst de toetsmatrijs in. U kunt ook direct een toets genereren. U heeft via de hulpmappen en eventueel de toetsmatrijs een toets samengesteld voor een specifieke doelgroep, in dit voorbeeld HAVO-4. De 38

40 betreffende vragen kunnen ook worden gebruikt voor andere doelgroepen, zoals VWO Scenario s voor het samenstellen van toetsen op basis van twee criteria SCENARIO 7.5: U STELT EEN TOETS SAMEN OP BASIS VAN EEN MAPPENSTRUCTUUR GECOMBINEERD MET EEN ZELF GEDEFINIEERD KENMERK, ZOALS TAXONOMIECODE OF MOEILIJKHEID HOE STELT U DE TOETSVRAGEN- SET EN DE TOETS(EN) SAMEN? Als u niet alleen invloed wilt uitoefenen op de te toetsen onderwerpen, maar ook op de te toetsen vaardigheid of de moeilijkheid van de toets. Dit kunt u bijvoorbeeld gebruiken bij een at random samengestelde toets. Elke kandidaat krijgt dan een zo gelijkwaardig mogelijke toets. U kunt de vragenset naar eigen inzicht samenstellen, op basis van mappen of hulpmappen. Nadat u de vragenset heeft samengesteld, kiest u als eerste criterium de mappen en als tweede criterium het gewenste kenmerk. Vervolgens stelt u in de matrix de minimum- en maximumwaarden van uw toetsmatrijs in. U zorgt dat elke at random samengestelde toets (ongeveer) hetzelfde aantal vragen met een specifiek kenmerk bevat. Hierdoor oefent u bijvoorbeeld invloed uit op de moeilijkheidsgraad van de toets. VOORBEELD 1 TOETSMATRIJS SCENARIO 7.5: IN DEZE TOETSMATRIJS IS HET AANTAL VRAGEN PER ONDERWERP EXACT VASTGELEGD (DE MINIMUM- EN MAXIMUMWAARDEN ZIJN AAN ELKAAR GELIJK). OP HET TWEEDE KENMERK (TAXONOMIE) ZIJN WEL VERSCHILLENDE MINIMUM- EN MAXIMUMWAARDEN AANGEGEVEN. ELKE TOETS ZAL BINNEN DEZE RANDVOORWAARDEN WORDEN SAMENGESTELD. OOK BIJ EEN MATRIJS MET TWEE CRITERIA VOERT TESTVISION ONLINE DIVERSE CONTROLES UIT TUSSEN DE TOETSMATRIJS EN DE VRAGENSET (ZIE HET VOORBEELD BIJ SCENARIO 7.2), MAAR OOK OP CONSISTENTIE IN DE TOETSMATRIJS. ZO GEEFT TESTVISION ONLINE EEN FOUTMELDING ALS EEN INSTELLING NIET MOGELIJK IS: 39

41 IN DIT GEVAL KOMEN DE INGESTELDE MINIMUMWAARDEN VOOR HET TWEEDE KENMERK OP ONDERWERP 2 NIET OVEREEN MET DE INGESTELDE TOTALE MINIMUMWAARDE VOOR HET ONDERWERP. DE ONTWIKKELAAR MOET EEN VAN DE INSTELLINGEN WIJZIGEN. VOORBEELD 2 TOETSMATRIJS SCENARIO 7.5: U KUNT ER VOOR KIEZEN OM OOK DE TOTALEN PER ONDERWERP VARIABEL TE MAKEN, DOOR DE MINIMUM- EN MAXIMUMWAARDEN VERSCHILLEND IN TE STELLEN. IN DIT VOORBEELD SELECTEERT TESTVISION ONLINE PER ONDERWERP VOOR ELKE TOETS EEN ANDERE VERDELING VAN VRAGEN OVER DE ONDERWERPEN. DAARBIJ HOUDT TESTVISION ONLINE OOK REKENING MET DE INGESTELDE MINIMUM- EN MAXIMUMWAARDEN VOOR DE TAXONOMIE. 40

42 7.3.5 Scenario s voor het samenstellen van toetsen met deelblokken SCENARIO 7.6: U WILT IN EEN TOETS MET DEELONDERWERPEN EEN DEELSCORE KUNNEN GEVEN PER ONDERWERP HOE STELT U DE DEELBLOKKEN IN? Als er binnen de toets sprake is van een aantal duidelijke deelonderwerpen, waarop u graag apart een score wilt terugkoppelen aan de kandidaten, zodat ze beter zicht krijgen op hun kennis op de verschillende onderdelen. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. Bij een vast samengestelde toets, geeft u aan welke vragen in elk deelblok thuishoren. Bij een at random samengestelde toets, geeft u aan welke matrijscriteria (dit zullen meestal (hulp)mappen zijn) bij elk deelblok horen. U kunt elk deelblok een naam geven en eventueel ook een blokintroductie invoeren. U moet in dit scenario kiezen voor een template dat de deelscores op de blokken toont. De kandidaat ziet bij het maken van de toets dat de toets in blokken is verdeeld en ook op de resultaatpagina ziet hij de blokken en bijbehorende deelscores terug. Als u een blokintroductie invoert, ziet de kandidaat voorafgaand aan de vragen in het blok deze informatie op een aparte pagina. De pagina heeft dan ook een eigen blokje in het vraagoverzicht. Op de resultaatpagina ziet de kandidaat in het vraagoverzicht altijd de namen van de deelblokken. TIP! U kunt de deelblokken indien gewenst in willekeurige volgorde laten tonen. Binnen elk deelblok kunt u de vragen ook in willekeurige volgorde laten tonen. Dit kunt u voor elk deelblok apart instellen. LET OP! Het gebruik van deelblokken is niet bedoeld om twee of meer toetsen samen te voegen tot één toets. De cesuur wordt altijd toegepast over de totale score. Op een of meer deelblokken kan een kandidaat dus beneden de cesuur scoren en toch een voldoende halen voor de totale toets. SCENARIO 7.7: U WILT ENERZIJDS DE VRAGEN IN WILLEKEURIGE VOLGORDE AANBIEDEN, MAAR ANDERZIJDS EEN OF MEER SETS VRAGEN BIJ ELKAAR HOUDEN HOE STELT U DE DEELBLOKKEN IN? Als er in de toets een of meer sets vragen voorkomen die direct na elkaar (al dan niet in vaste volgorde) getoond moeten worden aan de kandidaat, terwijl u de overige vragen bij voorkeur in willekeurige volgorde wilt tonen. Zo n set kan bestaan uit een situatie waarop in de opeenvolgende vragen wordt voortgeborduurd (vaste volgorde) of uit vragen die over een zelfde onderwerp gaan. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. U plaatst de sets vragen elk in een eigen deelblok en de overige vragen samen in één deelblok. Vervolgens stelt u in of de deelblokken in vaste of willekeurige volgorde worden getoond. Hetzelfde doet u per deelblok voor de vragen. U kunt zelf bepalen of een blokintroductie nodig is en of u de blokpagina wilt tonen. U kunt in dit 41

43 scenario het best kiezen voor een template dat de deelscores op de blokken niet toont. Afhankelijk van uw keuzes ten aanzien van de blokintroductie ziet d e kandidaat bij het maken van de toets dat de toets in blokken is verdeeld. De vragen die bij elkaar horen, worden bij elkaar getoond, maar u kunt toch ook een zekere mate van willekeurige volgorde in de totale toets bewerkstelligen. TIP! U kunt deelblokken ook gebruiken om in een toets met zowel gesloten als open vragen, deze vraagvormen bij elkaar te houden. De kandidaat krijgt dan eerst alle gesloten vragen en daarna alle open vragen (of andersom). SCENARIO 7.8: U WILT ERVOOR ZORGEN DAT EEN KANDIDAAT NIET TERUG KAN NAAR SPECIFIEKE VRAGEN NADAT HIJ BEPAALDE ANDERE VRAGEN HEEFT GEZIEN (ALLEEN VOOR VAST SAMENGESTELDE TOETSEN) HOE STELT U DE DEELBLOKKEN IN? Als u in één toets bijvoorbeeld enkele casussen met bijbehorende vragen heeft opgenomen, waarbij sprake is van enige afhankelijkheid tussen de vragen. U wilt dat de kandidaat deze casussen één voor één maakt en niet terug kan naar eerdere casussen. Nadat u de toetsvragenset heeft samengesteld, voegt u op het tabblad Toets de deelblokken toe. U plaatst de sets vragen bij een casus elk in een eigen deelblok. In dit scenario ligt het voor de hand de blokken in vaste volgorde te tonen, maar dit is niet noodzakelijk. Vervolgens geeft u bij de Eigenschappen aan dat de deelblokken eenmalig moeten worden afgenomen. We adviseren u om de kandidaten hierover te informeren op de blokintroductiepagina. U kunt in dit scenario het best kiezen voor een template dat de deelscores op de blokken niet toont, tenzij u de kandidaat wilt informeren op de score per casus. De kandidaat ziet bij het maken van de toets dat de toets in blokken is verdeeld. Zodra de kandidaat een blok verlaat, krijgt hij de waarschuwing dat het blok dan definitief wordt afgesloten en hij er niet maar naar terug kan. Op dat moment kan de kandidaat nog naar het blok terugkeren. Wil de kandidaat later vanuit een ander blok terug gaan naar een al afgesloten blok, dan krijgt de kandidaat een melding dat dit niet kan. 7.4 Toetseigenschappen instellen U kunt op toetsniveau verschillende eigenschappen instellen. In deze paragraaf geven we op de algemene eigenschappen een korte toelichting. De toelichting op het eenmalig afnemen van deelblokken vindt u in de paragraaf hiervoor, scenario

44 7.4.1 De maximale tijdsduur instellen De standaard ingestelde tijd bedraagt 60 minuten. U kunt dit naar eigen inzicht aanpassen of zelfs kiezen voor een onbeperkte tijdsduur. In de literatuur worden diverse aanwijzingen gegeven over de gemiddelde antwoordtijd van een een-uit-meervraag, waarbij de antwoordtijd toeneemt naar mate het aantal alternatieven toeneemt. Zo zou de gemiddelde antwoordtijd van een tweekeuzevraag 50 seconden bedragen, van een driekeuzevraag 60 seconden en van een vierkeuzevraag 75 seconden. Wij zijn zeer terughoudend in het hanteren van dergelijke vuistregels. We adviseren u om vooral de inhoud en moeilijkheid van de toetsvragen te laten meewegen in het vaststellen van de toetstijd. U kunt natuurlijk ook op basis van een proefafname de toetstijd instellen. Ten slotte is het mogelijk om voor een specifieke afnamegroep (bijvoorbeeld kandidaten met dyslexie) de tijdsduur op afnameniveau te verlengen (zie paragraaf ) De cesuur instellen U kunt er voor kiezen om een cesuur in te stellen en daarbij al dan niet de kansscore mee te wegen. Zonder cesuur kan een kandidaat niet slagen of zakken voor een toets. Ook kunt u kiezen voor de optie Puntenaftrek bij fout antwoord. Deze optie is alleen beschikbaar bij toetsen die uitsluitend uit een-uit-meervragen bestaan. Alleen dan is deze scoringsregel voor kandidaten namelijk voldoende transparant. Deze scoringsregel betekent dat kandidaten voor elk fout antwoord aftrek krijgen op basis van de kansscore van de vraag. Een fout beantwoorde tweekeuzevraag betekent een vol punt aftrek, een fout beantwoorde driekeuzevraag een half punt aftrek en een fout beantwoorde vierkeuzevraag een derde punt aftrek. Op deze manier kunt u ontmoedigen dat kandidaten gokken als ze het antwoord op een vraag niet weten. U moet er wel rekening mee houden dat u bij het toepassen van deze scoringsregel niet alleen kennis en vaardigheden toetst, maar ook persoonlijkheidskenmerken zoals zelfvertrouwen. Bij de cijferbepaling kunt u kiezen tussen een cijfer in hele of tiende punten. Als u geen cijferbepaling instelt, ziet de kandidaat alleen een scorepercentage en de aanduiding geslaagd of gezakt (als er een cesuur is ingesteld). De standaardinstelling bij een ingestelde cesuur is een cijferbepaling in tiende punten. Als u een cesuur en cijferbepaling heeft ingesteld, betekent dit niet automatisch dat de kandidaat direct na de toetsafname een uitslag ziet. Dit hangt af van de instellingen van de aan de toets gekoppelde toetstemplate (zie paragraaf 7.2). 43

45 TIP! Meer informatie over het instellen van de cesuur en de afwegingen daarbij vindt u in ons boek Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen?. 44

46 8. VRAGEN EN TOETSEN BEHEREN 8.1 Inleiding DIT HOOFDSTUK IS BEDOELD VOOR: ONTWIKKELAARS Het is belangrijk dat u het beheer van uw vragen en toetsen goed organiseert. Dit geldt natuurlijk nog sterker als u met meer ontwikkelaars gebruik maakt van dezelfde toetsen en/of vragen. In dit hoofdstuk beschrijven we enkele scenario s die kunnen voorkomen bij het beheer van vragen en toetsen. In tegenstelling tot andere hoofdstukken, beschrijven we hier geen meest eenvoudige scenario. Het meest eenvoudige scenario is: vragen ontwikkelen, een toets samenstellen en daarna publiceren. Waarop u moet letten als u een toets samenstelt, leest u in hoofdstuk 7. Hoe u vragen ontwikkelt en hoe het publiceren in zijn werk gaat, is beschreven in de Help van TestVision Online. In dit hoofdstuk beschrijven we enkele scenario s voor het aanpassen van vragen of toetsen na de publicatie van de eerste versie van de toets. 8.2 Wat is belangrijk om te weten? Er zijn drie statussen voor vragen en toetsen: Uit, Aan en Afgeschreven. Deze statussen hebben consequenties voor de beschikbaarheid van (nieuwe en bestaande) toetsen. U leest hierover meer in paragraaf 8.5. U kunt een toets pas door kandidaten laten maken als deze is gepubliceerd. U kunt een toets publiceren, als ze aan de eisen voldoet: Alle vragen in de toets moeten de status Aan of Afgeschreven hebben. De selectie met toetsvragen moeten voldoen aan de instellingen van de toetsmatrijs (zie het voorbeeld in paragraaf 7.3.2). Een gepubliceerde toets kunt u in een afname opnemen. Aan een afname koppelt u de kandidaten die de toets gaan maken. Over het plannen van afnames leest u meer in hoofdstuk 10. Als u wijzigingen aanbrengt in een gepubliceerde toets, zoals een aanpassing in een vraag, het vervangen van een vraag of een wijziging in de eigenschappen van een toets, moet u de toets opnieuw publiceren voordat de wijzigingen zichtbaar zijn voor de kandidaten. In het overzicht van toetsen kunt u de publicatiestatus van de toets zien. De volgende statussen zijn mogelijk: Niet gepubliceerd: om de toets te kunnen afnemen, moet u deze eerst publiceren. TestVision Online controleert daarbij of de toets aan de eisen voldoet (zie hiervoor). Gepubliceerd: deze toets kan worden afgenomen en de versie die wordt afgenomen is gelijk aan de actuele versie. 45

47 Niet synchroon: deze toets kan worden afgenomen, maar de gepubliceerde versie die wordt afgenomen is niet gelijk aan de actuele versie. Er zijn wijzigingen in de toets aangebracht. U moet de toets opnieuw publiceren om de wijzigingen door te voeren in de versie die wordt afgenomen. TestVision Online controleert daarbij of de toets aan de eisen voldoet (zie hiervoor). TestVision Online maakt bij het opslaan van wijzigingen van vragen en toetsen onderscheid tussen hoofd- en subversies. Hoofdversies worden genummerd met 1.0, 2.0, 3.0 et cetera. Subversies hebben als nummer 1.1, 1.2, 1.3 et cetera. Dit onderscheid is van belang voor de toets- en itemanalyse die u van een toets kunt maken. Voor elke hoofdversie van een toets maakt u desgewenst een aparte toets- en itemanalyse. Over subversies die bij dezelfde hoofdversie horen, kunt u één toets- en itemanalyse maken. Een toets krijgt een nieuwe hoofdversie als: de vraagvorm, sleutel of wegingsfactor van een vraag is gewijzigd; een alternatief bij een vraag is verwijderd of toegevoegd; gedeeltelijk scoren bij een vraag is aan- of uitgezet; puntenaftrek bij een fout antwoord is aan- of uitgezet; er vragen uit een toets zijn verwijderd, toegevoegd of vervangen. In de historie van een toets kunt u zien wanneer en door wie een toets is opgeslagen en/of gepubliceerd en onder welk versienummer dit is vastgelegd. Ook voor vragen kunt u de historie inzien. LET OP! Als u analysegegevens heeft vastgelegd (zie paragraaf 12.3), worden deze gekoppeld aan de versie van de vraag zoals die is opgenomen in de gepubliceerde toets en aan de versie van de gepubliceerde toets. Als u een grote wijziging aanbrengt in een vraag (bijvoorbeeld de sleutel wijzigt of een alternatief toevoegt), of de toets (bijvoorbeeld een wijziging in de samenstelling), krijgt de vraag of toets een nieuwe hoofdversie. De vastgelegde analysegegevens worden dan verwijderd. Als u dit niet wilt, kunt u de gewijzigde vraag of toets het best onder een andere naam opslaan. Ook als u een gepubliceerde vraag of toets ingrijpend verandert (bijvoorbeeld voor een andere doelgroep), adviseren we u om de vraag of toets eerst onder een andere naam op te slaan. 8.3 Scenario s voor het doorvoeren van wijzigingen in vragen SCENARIO 8.1A: U WILT EEN WIJZIGING DOORVOEREN IN EEN VRAAG IN EEN GEPUBLICEERDE TOETS Als u een vraag wijzigt die in een al gepubliceerde toets is opgenomen, bijvoorbeeld omdat een kandidaat tijdens een afname een fout in de vraag heeft ontdekt. HOE VOERT U DE WIJZIGING DOOR? Ten eerste wijzigt u de vraag in het onderdeel Vragen. Daarna ziet u in het onderdeel Toetsen dat de toets waarin de vraag is opgenomen niet synchroon is. U publiceert deze toets opnieuw. 46

48 TIPS! Als u eerst moet overleggen over een oplossing voor het probleem, kunt u de toets tijdelijk niet beschikbaar maken voor afname door hem Uit te zetten. Zie voor meer informatie de scenario s in paragraaf 8.5. Het kan ook voorkomen dat u als beheerder of eigenaar van een specifieke toets ontdekt dat deze niet synchroon is, terwijl u zelf geen wijzigingen in de vragen heeft aangebracht. Dit zal dan het werk zijn van een collegaontwikkelaar. In het publicatievenster kunt u controleren welke vraag of vragen in de toets zijn gewijzigd. U kunt er dan voor kiezen om de toets(en) wel of niet opnieuw te publiceren. Als het om meer wijzigingen in meer vragen gaat, kunt u alleen kiezen voor het doorvoeren van alle wijzigingen. LET OP! Een at random toets is niet synchroon als een gewijzigde vraag in de vragenset is opgenomen. Een standaardtoets is niet synchroon als een gewijzigde vraag is geselecteerd voor de toetsvragenset. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de gewijzigde vraag. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke versie van de vraag. Als het een kleine wijziging betreft (bijvoorbeeld een typfoutje), blijft de hoofdversie van toets gelijk (het versienummer gaat van 1.0 naar 1.1). Als het een grotere wijziging betreft (bijvoorbeeld een sleutelfout), krijgt de toets een nieuwe hoofdversie (het versienummer gaat van 1.0 naar 2.0). SCENARIO 8.1B: U WILT EEN WIJZIGING DOORVOEREN IN EEN VRAAG DIE NOG NIET IS OPGENOMEN IN EEN GEPUBLICEERDE TOETS Als u een vraag wijzigt die nog niet in een toets is opgenomen of is opgenomen in een nog niet gepubliceerde toets, bijvoorbeeld tijdens het corrigeren naar aanleiding van een redactieslag. HOE VOERT U DE WIJZIGING DOOR? U hoeft de vraag alleen te wijzigen in het onderdeel Vragen. Het versienummer van de vraag zal wijzigen. Afhankelijk van het type wijziging krijgt de vraag een nieuwe sub- of hoofdversie. Als de vraag in een nog niet gepubliceerde toets is opgenomen, wordt bij het publiceren automatisch de laatste versie van de vraag meegenomen. 8.4 Scenario s voor het doorvoeren van wijzigingen in een gepubliceerde toets U kunt altijd zonder verdere consequenties wijzigingen doorvoeren in een niet gepubliceerde toets. In deze paragraaf beschrijven we de consequenties van het doorvoeren van wijzigingen in een toets die u al wel heeft gepubliceerd. 47

49 8.4.1 Een wijziging doorvoeren in de toetssamenstelling SCENARIO 8.2: U WILT EEN OF MEER VRAGEN IN DE TOETSVRAGENSET VERVANGEN HOE VOERT U DE WIJZIGING DOOR? Als een of meer van de vragen in de toetsvragenset niet meer up-to-date zijn. Wellicht heeft u zo n vraag in het onderdeel Vragen al de status Uit gegeven. In dit geval kunt u het best zelf handmatig de betreffende vraag of vragen verwijderen en de vervangende vraag of vragen toevoegen. U kunt de toets ook opnieuw genereren, maar daarmee wijzigt u de totale samenstelling van de toets (afhankelijk van de omvang van de vragenset). Daarna publiceert u de toets opnieuw. TIP! Als u veel wijzigingen in de toets hebt aangebracht, kunt u de toets beter onder een andere naam opslaan. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de vervangende vraag. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke vraag. De toets krijgt bij het publiceren een nieuwe hoofdversie. SCENARIO 8.3: U WILT DE VRAGEN IN EEN ANDERE (VASTE) VOLGORDE TONEN (ALLEEN STANDAARDTOETS) HOE VOERT U DE WIJZIGING DOOR? Als u na publicatie ontdekt dat u de vragen toch in een andere volgorde wilt tonen, bijvoorbeeld in een vaste volgorde. U vinkt de optie Willekeurige volgorde op het tabblad Toets uit. Daarna publiceert u de toets opnieuw. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, krijgen de vragen in de volgorde van de nieuwe instelling. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de vragen in de volgorde waarin zij ze hebben gemaakt. De toets krijgt bij het publiceren een nieuwe subversie. SCENARIO 8.4: U WILT DE VRAGENSET VAN EEN AT RANDOM SAMENGESTELDE TOETS AANPASSEN HOE VOERT U DE WIJZIGING DOOR? Als u nieuwe vragen wilt toevoegen of als u bestaande vragen wilt verwijderen, bijvoorbeeld omdat ze bekend zijn geraakt of er veel commentaar van kandidaten op is gekomen. U voegt de vragen toe aan de vragenset of verwijdert ze. Daarna publiceert u de at random samengestelde toets opnieuw. 48

50 Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, wordt een at random selectie getrokken uit de nieuwe vragenset. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Als zij een verwijderde vraag voorgelegd hebben gekregen, zien ze die bij het reviewen van de toets. De toets krijgt bij het publiceren een nieuwe hoofdversie. SCENARIO 8.5: U WILT VAN EEN AT RANDOM SAMENGESTELDE TOETS EEN STANDAARDTOETS MAKEN (OF OMGEKEERD) Als het aantal vragen te klein is geworden om nog een goede at random samengestelde toets af te nemen, of als uw voorraad vragen juist zo groot is dat u at random een toets kunt samenstellen. HOE VOERT U DE WIJZIGING DOOR? U wijzigt indien nodig de vragenset. Daarna vinkt u de optie At random samengesteld aan of uit. Bij de overgang naar een standaardtoets moet u deze nu eerst opnieuw genereren. In beide gevallen moet u de toets opnieuw publiceren. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de nieuw gepubliceerde versi e. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets, zij zien de door hen gemaakte versie. De toets krijgt bij het publiceren in beide gevallen een nieuwe hoofdversie. De toets is natuurlijk wel ingrijpend veranderd. TIP! U kunt er ook voor kiezen een toets eerst te dupliceren door deze onder een andere naam op te slaan en hem daarna pas aan te passen. SCENARIO 8.6A: U WILT DE TOETSMATRIJS VAN EEN VASTE TOETS AANPASSEN HOE VOERT U DE WIJZIGING DOOR? Als u over een bepaald onderwerp meer vragen wilt stellen of meer vragen met een specifiek kenmerk. U wijzigt indien nodig de vragenset. Vervolgens wijzigt u de toetsmatrijs en past de toets handmatig aan of genereert de toets opnieuw (daarbij zal de totale samenstelling van de toets wijzigen). Daarna publiceert u de toets opnieuw. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de toets in de aangepaste samenstelling. Alle kandidaten die de toets al hebben gemaakt voor dat moment, zien bij het reviewen van de toets de oorspronkelijke toets. De toets krijgt bij het publiceren een nieuwe hoofdversie. 49

51 SCENARIO 8.6B: U WILT DE TOETSMATRIJS VAN EEN AT RANDOM SAMENGESTELDE TOETS AANPASSEN HOE VOERT U DE WIJZIGING DOOR? Als u over een bepaald onderwerp meer vragen wilt stellen of meer vragen met een specifiek kenmerk. U wijzigt indien nodig de vragenset. Vervolgens wijzigt u de toetsmatrijs. Daarna publiceert u de toets opnieuw. Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, wordt een at random selectie getrokken volgens de nieuwe toetsmatrijs. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Zij zien bij het reviewen van de toets hun oorspronkelijke selectie vragen volgens de oude toetsmatrijs. De toets krijgt bij het publiceren een nieuwe subversie Een wijziging doorvoeren in de toetsinstellingen SCENARIO 8.7A: U WILT DE CESUUR VAN EEN TOETS AANPASSEN Als u de cesuur van een toets wilt aanpassen. U wilt bijvoorbeeld de cesuur verlagen omdat de toets moeilijker blijkt dan verwacht of de cesuur verhogen omdat de cesuur oorspronkelijk verkeerd is ingesteld. HOE VOERT U DE WIJZIGING DOOR? U kunt de cesuurinstelling op toetsniveau aanpassen. Daarna publiceert u de toets opnieuw. Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, geldt de gewijzigde cesuur. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. De toets krijgt bij het publiceren een nieuwe subversie. TIP! Wilt u dat ook voor de kandidaten die de toets al hebben gemaakt de gewijzigde cesuur geldt? Dan kunt u ook de resultaten van de oudere subversies van de toets aanpassen (zie scenario 12.4 in paragraaf ). De cesuurwijziging geldt dan voor iedereen. SCENARIO 8.7B: U WILT OVERIGE TOETSEIGENSCHAPPEN AANPASSEN Als u de tijdsduur of de wijze van cijferbepaling van een toets wilt aanpassen. 50

52 LET OP! We raden u af om na publicatie alsnog de opties Puntenaftrek voor een fout antwoord, Cesuur toepassen of Kansscore meewegen aan of uit te zetten. U kunt dan beter een duplicaat van de toets maken door deze onder een andere naam op te slaan en daarna de wijziging doorvoeren. HOE VOERT U DE WIJZIGING DOOR? U wijzigt de tijdsduur in minuten of u wijzigt de manier van cijferbepaling. Daarna publiceert u de toets opnieuw. Voor alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, geldt de gewijzigde tijdsduur of manier van cijferbepaling. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. Zij zien de oude tijdsduur (als in de template de tijdsduur wordt getoond op de instructiepagina) en hun cijfer volgens de oorspronkelijke manier van cijferbepalen (tenzij de cijferbepaling ook achteraf bij de resultaten is aangepast). De toets krijgt in beide gevallen bij het publiceren een nieuwe subversie. SCENARIO 8.8: U WILT DE TEKST OP DE INSTRUCTIE- OF RESULTAATPAGINA WIJZIGEN EN/OF EEN ANDERE TOETSTEMPLATE KIEZEN Als de gekozen template niet geschikt blijkt te zijn (voor meer informatie over toetstemplates, zie paragraaf 7.2) of als u op de instructie- of resultaatpagina extra informatie aan de kandidaten wilt geven (bijvoorbeeld over een te gebruiken hulpmiddel of over de consequentie van een specifiek toetsresultaat). LET OP! Als u pas enige tijd na een afname de resultaatpagina beschikbaar wilt stellen, kunt u dit opgeven in het onderdeel Afnames. U hoeft dat dus niet via het kiezen van een andere toetstemplate te regelen. HOE VOERT U DE WIJZIGING DOOR? U selecteert een andere template en/of wijzigt de instructie- of resultaattekst. Daarna publiceert u de toets opnieuw. Alle kandidaten die vanaf het moment van opnieuw publiceren een afname starten waarin de toets is opgenomen, zien de andere template of de gewijzigde tekst. Voor alle kandidaten die de toets al hebben gemaakt voor dat moment, verandert er niets. De toets krijgt in alle gevallen bij het publiceren een nieuwe subversie. 51

53 VOORBEELD SCENARIO 8.8: IN DIT VOORBEELD WORDEN SLECHT SCORENDE KANDIDATEN DOORVERWEZEN NAAR EEN BIJSPIJKERCURSUS. DE AANGEPASTE RESULTAATTEKST KOMT IN DE PLAATS VAN DE TEKST UIT DE TEMPLATE. DESGEWENST KUNT U DE TEKST VAN DE TEMPLATE AAN UW EIGEN TEKST TOEVOEGEN. LET OP! De domeinbeheerder kan ook een wijziging doorvoeren in de gekoppelde template. Een dergelijke wijziging is direct beschikbaar in een gepubliceerde toets en de betreffende toets hoeft dus niet opnieuw gepubliceerd te worden Redenen voor het ongeldig worden van een toets In de vorige paragrafen beschrijven we diverse wijzigingen in een toets, die ervoor zorgen dat een toets niet meer synchroon is en opnieuw gepubliceerd moet worden. Soms is dat publiceren niet mogelijk, omdat de toets niet aan de eisen voldoet. Meestal zal het u al snel duidelijk zijn hoe dat komt, omdat u zelf de vragenset, de toetsmatrijs of de toetsvragenset heeft gewijzigd (zie paragraaf 7.3.2). De problemen kunnen ook zijn ontstaan doordat er wijzigingen in het onderdeel Vragen zijn doorgevoerd, zoals: Een of meer vragen zijn verwijderd of uitgezet, waardoor de toetsvragenset niet meer compleet is. Een of meer vragen zijn naar een andere map verplaatst, waardoor de toetsmatrijs die is gebaseerd op de mappenstructuur, niet meer in overeenstemming is met de toetsvragenset. De kenmerkwaarde van een of meer vragen is gewijzigd, waardoor de toetsvragenset niet meer in overeenstemming is met de toetsmatrijs die is gebaseerd op het betreffende kenmerk. Als een toets niet (opnieuw) gepubliceerd kan worden omdat de toetsmatrijs en de toetsvragenset niet met elkaar overeenkomen, kunt u dit op verschillende manieren oplossen: U breidt de vragenset uit, zodat er voldoende vragen beschikbaar zijn om aan de toetsmatrijs te voldoen. 52