TESTVISION ONLINE handleiding voor ontwikkelaars

Transcriptie

1 2016 TESTVISION ONLINE handleiding voor ontwikkelaars September 2016

2 INHOUD Inleiding... 3 Stap 1: Vraag een persoonlijk account aan... 4 Stap 2: Oriënteer u op het werken met TestVision Online... 5 Stap 3: Log in en richt de werkomgeving in... 5 Inloggen... 5 Inrichten werkmappen... 5 Stap 4: Ontwikkel de toetsvragen... 7 Vraagvormen TestVision Online... 7 Algemene instructie voor het ontwikkelen van toetsvragen... 8 Nieuwe vraag aanmaken... 8 Media toevoegen; de mediabibliotheek... 8 Eigenschappen aan een vraag toekennen of wijzigen... 9 Extra toelichting en tips per vraagtype Status van vragen Extra functionaliteiten Stap 5: Stel de toets samen Manier 1: direct een toets samenstellen Manier 2: toets samenstellen vanuit een toetsmatrijs Toets verdelen in deelblokken Eigenschappen van de toets instellen Stap 6: Controleer en preview de toets Afdrukken van een redactieversie Preview van de toets op het scherm Stap 7: Neem de toets af Stap 8: Kijk open vragen na Stap 9 Analyseer de resultaten en organiseer een inzage Analyse via een Excel bestand Analyse direct in TestVision Online Organiseer een inzage

3 Toetsresultaten aanpassen als examinator Stap 10: Communiceer de uitslag en onderhoud de database Transporteren van cijfers naar Osiris Onderhoud de database Bijlage 1 Stijlwijzer Algemene taalkundige richtlijnen Richtlijnen antwoordalternatieven Opmaak (witregels, gebruik beeldmateriaal e.d.) Nederlands/Engelstalige vragen Bijlage 2 Instructies naamgeving Bijlage 3 Eisen illustratiemateriaal/afbeeldingen/media bronvermelding bijlage 4 Pro s en con s van randomiseren bijlage 5 Overzicht van inzagemogelijkheden Bijlage 6 Cijferbepaling in TestVision Online Al dan niet toepassen van gedeeltelijke scoring Van scores naar cijfers invloed van wijzigingen in cesuurpercentage Index

4 INLEIDING In dit document wordt u aan de hand van tien stappen wegwijs gemaakt in het werken met TestVision Online (TVO). Dit gebeurt zoveel mogelijk in de vorm van concrete aanwijzingen. Bij de meeste stappen is daarnaast een tekstkader met aanvullende informatie of tips toegevoegd. Met TestVision Online kunnen gemakkelijk zowel formatieve toetsen (oefentoetsen) als summatieve toetsen (toetsen voor een cijfer) worden geconstrueerd, afgenomen en geanalyseerd. Het belangrijkste voordeel van TestVision Online is dat u het via internet kunt benaderen, het is niet nodig om een apart programma te installeren. Via een eigen account is TestVision Online vanaf iedere computer met een internetverbinding te bereiken. Andere voordelen van TestVision Online zijn: * meerdere soorten gesloten vragen zijn mogelijk; * direct inzicht in de resultaten van gesloten vragen, apart nakijken is niet nodig; dit biedt ook de mogelijkheid om het resultaat direct aan de student terug te koppelen; * mogelijkheid om feedback en leerstofverwijzingen te geven, dit werkt motiverend en sturend in het leerproces; * vragen kunnen worden voorzien van media als illustraties, fotomateriaal, filmpjes en geluidsmateriaal; * studenten typen de antwoorden op open vragen, het is niet meer nodig om handschriften van studenten te ontcijferen. * open vragen kijkt u online na waarna de resultaten direct gekoppeld worden aan de beoordeling; * na elke toets vindt automatisch een statistische analyse plaats waaruit de betrouwbaarheid van de toets en de kwaliteit van de vragen is af te leiden; door vragen waar nodig aan te passen op basis van de analyse vindt kwaliteitsverbetering plaats; * mogelijkheid om vragenbanken op te bouwen; daaruit kunnen nieuwe toetsen worden samengesteld. Als u werkt in TestVision Online staat links onderin uw scherm altijd een helpknop. Via deze knop kunt u voor wat u op dat moment aan het doen bent direct praktische instructies nalezen. Deze informatie is niet in deze handleiding opgenomen. Wij adviseren dringend om Internet Explorer 11, de nieuwe browser Edge of één van de alternatieve browsers Chrome, Firefox of Safari te gebruiken. 3

5 STAP 1: VRAAG EEN PERSOONLIJK ACCOUNT AAN Een persoonlijk account aanvragen kan op twee manieren: a) Bent u examinator of coördinator van een vak of cursus, vraag dan een persoonlijk account aan via toetsadviseur@umcutrecht.nl. U ontvangt dan een aanvraagformulier waarop u enkele persoonlijke gegevens en informatie over uw toets moet invullen. b) Het aanvraagformulier is ook online te vinden op de website van het UMC Utrecht > Onderwijs ICT > Digitaal toetsen. Na ontvangst van het ingevulde en ondertekende formulier, ontvangt u uw inloggegevens en een link naar uw domein ( werkgebied ). U krijgt daarvoor de rol van domeinbeheerder. Ook wordt er een intakegesprek met u gepland. Bent u docent binnen een vak, maar geen coördinator? Vraag dan via de cursuscoördinator een account aan. De coördinator dient een mail te sturen naar doo-testvision@umcutrecht.nl met uw naam en mailadres en het domein waarin u rechten als ontwikkelaar moet ontvangen. Daarnaast kan een docent een beoordelaarsaccount krijgen voor het digitaal nakijken van open vragen in een toets. Dit verloopt via de examinator (domeinbeheerder) in samenwerking met de functioneel beheerders*. De functioneel beheerders zorgen ervoor dat alle technische aspecten rondom TestVision Online goed zijn geregeld. Zij verzorgen bijvoorbeeld updates, maken accounts aan en zorgen ervoor dat een afname soepel verloopt. Ze zijn bereikbaar via doo-testvision@umcutrecht.nl. TVO werkt met domeinen, de functioneel beheerders maken voor elk vak een domein en wijzen de docenten daaraan toe. Op die manier wordt voorkomen dat docenten van verschillende opleidingen of cursussen in dezelfde domeinen werken en elkaars vragen kunnen bewerken. Indien nodig kunnen aan één domein meerdere docenten worden toegewezen, bijvoorbeeld bij een toets waarbij meerdere docenten input leveren. Uiteraard kan een docent die bij meerdere vakken betrokken is, toegang krijgen tot meerdere domeinen. Er is echter altijd maar één domeinbeheerder. 4

6 STAP 2: ORIËNTEER U OP HET WERKEN MET TESTVISION ONLINE Bekijk de korte instructiefilmpjes die beschikbaar zijn via de leverancier van TestVision Online. Deze filmpjes geven ook een eerste indruk van de mogelijkheden van het programma. De directe link naar de instructiefilmpjes is Bekijk ook de UMC demotoets om een beter beeld te krijgen van de mogelijke vraagtypen en de specifieke UMC lay-out voor kandidaten die de toets maken. STAP 3: LOG IN EN RICHT DE WERKOMGEVING IN INLOGGEN Ga naar Log in met uw ontvangen aanmeldnaam en wachtwoord. Klik op het icoon Persoonlijke Instellingen ( )om uw wachtwoord of de taal van de interface te wijzigen. Kies naast 'Domein:' het domein waarin u wilt werken. Dit is alleen van toepassing op personen die toegang hebben tot meerdere domeinen, in andere gevallen heeft de ontwikkelaar direct toegang tot het juiste domein. Gebruiker met toegang tot meerdere domeinen. INRICHTEN WERKMAPPEN Klik op button 'Vragen'. Open 'Mappen'. Klik op icoon 'Acties' ( ). Klik op 'Map toevoegen [m]'. Geef de (sub)map een herkenbare naam en klik op 'OK'. Voor het maken van een nieuwe map kunt u een sneltoets gebruiken, namelijk m. Gebruik per onderwerp of leerdoel een aparte map om de vragen in te zetten. Geef de (sub)map een naam die bestaat uit een nummer en een afkorting van het onderwerp, bijvoorbeeld 01 cel-molecuul, 02 cel-werking of 01 cel, molecuul, werking, etc. Via het icoon Acties zijn mappen (onder andere) ook te hernoemen of te 5

7 verwijderen. Houd er rekening mee dat TVO bij het samenstellen van toetsen vragen selecteert uit het laagste niveau van de mappen (de submappen dus). Door de CTRL-toets ingedrukt te houden, zijn met de pijltjes toets mappen omhoog of omlaag te zetten. Via het icoon Hoofdmenu kunt u altijd terug naar het beginscherm 6

8 STAP 4: ONTWIKKEL DE TOETSVRAGEN VRAAGVORMEN TESTVISION ONLINE TestVision Online kent elf verschillende vraagvormen. Alle vraagvormen zijn opgenomen in de UMC demotoets. een-uit-meervraag/ juist/onjuistvraag meer-uit meervraag rangschikvraag gelijke matchvraag ongelijke matchvraag hotspotvraag hotmatchvraag invulvraag numerieke invulvraag meervoudige invulvraag open vraag Een vraag met meerdere antwoordalternatieven, één is het juiste antwoordalternatief. Een juist/onjuist vraag is ook een een-uit-meervraag. Een vraag met meerdere antwoordalternatieven, één of meerdere (alle) alternatieven kunnen juist zijn. Een vraag waarbij alternatieven in de juiste volgorde moeten worden geplaatst, bijvoorbeeld een reeks handelingen. Een vraag waarbij gegevens op de juiste manier aan elkaar gekoppeld moeten worden. Voor elk sleepalternatief is er één koppelgegeven. Zie de gelijke matchvraag, maar bij deze variant kan het aantal sleepalternatieven per koppelgegeven variëren. Dit wordt ook wel een aanwijsvraag genoemd. De student moet op een afbeelding een gevraagd onderdeel aanklikken. Dit kunnen één of meerdere plaatsen zijn. Een vraag waarbij gegevens gekoppeld moeten worden aan de juiste plekken op een afbeelding. De student moet het juiste antwoord op de vraag typen. Dit antwoord is van tevoren gedefinieerd waardoor de vraag automatisch wordt nagekeken. De student moet het juiste antwoord op de vraag typen in de vorm van een getal. Dit getal en een eventuele bandbreedte is van tevoren gedefinieerd waardoor de vraag automatisch wordt nagekeken. De student moet het juiste antwoord op de vraag in meerdere velden typen. Dit kan zowel tekst als numeriek zijn. Alle velden worden automatisch nagekeken. De student moet een (langer) antwoord intypen dat achteraf wordt beoordeeld op basis van een beoordelingsvoorschrift. De lengte van het antwoord is circa (!) tekens, dus bijna onbeperkt. 7

9 ALGEMENE INSTRUCTIE VOOR HET ONTWIKKELEN VAN TOETSVRAGEN NIEUWE VRAAG AANMAKEN Log in en klik op button 'Vragen'. Navigeer naar de folder/map waarin u de vraag wilt maken. Bovenin kunt u in het kruimelpad (de nagivatiestructuur) zien waar u bent. Klik op 'Nieuw' (rechtsonder op het scherm). Kies bij 'Vraagvorm:' de vraagvorm. In dit geval is gekozen voor een een-uit-meer-vraag (een gewone MC-vraag). Klik in het tekstveld van 'Stam' om het te activeren. Type (of plak vanuit Word) de stamtekst van de vraag. Klik op 'Alternatieven'. o Klik op icoon ( ) om antwoordalternatieven toe te voegen. o Klik in het tekstveld van het eerste alternatief om het te activeren. Type (of plak vanuit Word) het alternatief. o Klik in het tekstveld van het tweede alternatief om het te activeren. Type (of plak vanuit Word) het alternatief. o Enz. Selecteer het juiste antwoord. MEDIA TOEVOEGEN; DE MEDIABIBLIOTHEEK U kunt een afbeelding aan het tekstvak toevoegen met de knop. U kunt met de knop Bladeren een afbeelding op uw computer selecteren, of met de knop Mediabibliotheek een afbeelding in de mediabibliotheek kiezen. Als u een nieuw afbeelding gebruikt, kunt u deze direct toevoegen aan de mediabibliotheek. Dan kunnen uw collega s binnen het domein deze ook gebruiken. 8

10 Selecteer in het venster Afbeelding invoegen de optie Meteen toevoegen aan mediabibliotheek Voer in het venster Toevoegen aan mediabibliotheek een snippet naam in en selecteer de map in de mediabibliotheek waar de snippet moet worden opgeslagen Klik op de knop OK. U kunt een afbeelding die u niet meteen heeft toegevoegd aan de mediabibliotheek op een later tijdstip ook toevoegen. Klik op de afbeelding of selecteer de afbeelding (de knop krijgt dan een oranje kader) en klik op de knop Klik in het venster Instellingen afbeelding op de knop Sla de snippet op U kunt ook een stuk tekst in het tekstvak opslaan als snippet in de mediabibliotheek en deze tekst snel invoeren bij een andere vraag. Ook kan er een pdf (bijvoorbeeld een artikel) toegevoegd worden aan de stam van een vraag. Neem hiervoor contact met functioneel beheer. EIGENSCHAPPEN AAN EEN VRAAG TOEKENNEN OF WIJZIGEN Bij elk vraagtype kunt u een aantal belangrijke eigenschappen toevoegen of selecteren. Bijvoorbeeld de manier waarop een vraag in de toets getoond en gescoord moet worden, hoeveel punten een vraag oplevert en welke feedback kandidaten krijgen. Tijdens de toets zien de studenten hoeveel punten kunnen worden behaald voor een vraag. Dit kan zowel bij een digitale afname als bij een afname op papier. Klik op 'Eigenschappen'. Hier kunt u een aantal zaken aangeven: 9

11 o Alternatieven in vaste volgorde (uitvinken van vierkantje). Moeten alternatieven wel of niet in een vaste volgorde staan? Zie voor tips en overwegingen ook bijlage 4 Pro s en con s van randomiseren. o Aantal te behalen punten (1-99). Wees daarbij nauwkeurig! Als de vraag is gebruikt in een toets, kunt u dat voor die toets niet meer wijzigen! o Toevoegen van kenmerken aan de vragen. Klik op het kruisje ( ) om het venster te sluiten. Wijzingen worden dan automatisch opgeslagen. Klik op 'Feedback' (linksonder) om indien gewenst feedback op de vraag in te vullen. Feedback kan gegeven worden voor de vraag als geheel (vraag) of per soort antwoord (goed, fout, gedeeltelijk goed). Als feedback op vraagniveau is ingevuld, ziet een kandidaat alleen deze en niet meer de feedback op antwoordniveau. Als u geen feedback invult, wordt de standaard feedbacktekst van TestVision getoond. Klik op 'Leerstof' (linksonder) om indien gewenst een verwijzing naar leerstof of gebruikte bron in te vullen. Klik op 'Opslaan'. Selecteer eventueel de button met achter Opslaan en kies Opslaan en nieuw als er meerdere vragen achter elkaar worden aangemaakt. Geef de vraag een herkenbare en unieke naam en klik op 'OK'. De vraag wordt met deze naam opgenomen in de vragenmap. Klik op het icoon 'Terug' ( ) linksboven in het venster om terug te keren naar het vraagoverzicht. Klik op 'Preview' (rechtsonder) om de vraag te zien zoals deze eruit komt te zien in de toets. Kies de UMCU skin. Klik op klaar om terug te gaan naar de vraag. Bij knippen en plakken van tekst uit een Word-bestand, haalt TestVision Online alle opmaak (vet, cursief, onderstreept) weg. Controleer hierop uw tekst dus goed! U kunt tekstvakken verwijderen of verplaatsen op de volgende manieren: Klik op de knop van een tekstvak om acties te kunnen uitvoeren op het tekstvak. Klik op de knop om een tekstvak te verwijderen. Klik op de knop of om een tekstvak omhoog of omlaag te verplaatsen. Hanteer bij vraagnamen de volgende structuur: mapnr (evt. submapnr) vraagnr onderwerp bijvoorbeeld kuitbeenfractuur of scheelzien Gebruik voorloopnullen, maar niet teveel! Zie ook bijlage 2 Instructies naamgeving. 10

12 EXTRA TOELICHTING EN TIPS PER VRAAGTYPE De voorgaande werkwijze is de basis voor het ontwikkelen van alle vraagvormen. In de tabel zijn voor alle vraagvormen nog specifieke richtlijnen en tips gegeven. Daarnaast is in de rechterkolom aangegeven welke eigenschappen bij deze vraagvormen zijn in te stellen. Vraagvorm Extra Toelichting In te stellen eigenschappen Een-uit-meer Een juist/onjuist-vraag wordt door TestVision gezien als een-uit-meer vraag. Sla een gemaakte juist/onjuist-vraag op onder een andere naam om deze opnieuw te gebruiken, dan hoeft u alleen de stam te wijzigen. Alternatieven in willekeurige volgorde uitzetten als het een juist/onjuist vraag is, een numerieke reeks betreft of andere logische reeks die in vaste volgorde moet blijven. Meer-uit-meer Selecteer alle juiste antwoorden. Alternatieven in willekeurige volgorde uitzetten als het een numerieke reeks betreft of andere logische reeks die in vaste volgorde moet blijven. Rangschikvraag Gelijke matchvraag Ongelijke matchvraag Hotspotvraag In een rangschikvraag wordt de volgorde van de alternatieven zoals u die aanmaakt automatisch als sleutel gedefinieerd. Aan de kandidaten worden de alternatieven in willekeurige volgorde gepresenteerd. Bij de preview is dat zichtbaar. Elke keer dat u een alternatief toevoegt, wordt er één koppelalternatief en één sleepalternatief tegelijk toegevoegd. In een gelijke matchvraag hoort bij elk koppelalternatief precies één sleepalternatief. In een ongelijke matchvraag kunt u per koppelalternatief als volgt extra sleepalternatieven toevoegen. Selecteer het vak Alternatief waaraan u een sleepalternatief wilt toevoegen. Klik op de knop ( ) om een sleepalternatief toe te voegen. U kunt ook koppelalternatieven invoeren waar geen sleepalternatief bij hoort. Bij een hotspotvraag hoort altijd een afbeelding. Type (of plak vanuit Word) eerst de vraag in het stamvak van de vraag. Selecteer het vak Alternatieven. Klik op de knop om een afbeelding toe te voegen. Gedeeltelijk scoren uitzetten als het belangrijk is dat de student de juiste volgorde geheel goed heeft! Gedeeltelijk scoren uitzetten indien gewenst. Gedeeltelijk scoren uitzetten indien gewenst. Gedeeltelijk scoren uitzetten indien gewenst. Gedeeltelijk scoren uitzetten indien gewenst. Wel of niet alle hotspots vereist aangeven. Een hotspotvraag heeft drie varianten: 11

13 Vraagvorm Extra Toelichting In te stellen eigenschappen Hotmatchvraag Klik op de knop om een hotspotgebied toe te voegen. Een hotspotgebied verschijnt linksboven op de afbeelding. U wordt geadviseerd om dit gebied eerst op de juiste plek op de afbeelding te zetten en de juiste grootte te geven. Hiermee is meteen het juiste antwoord gedefinieerd. U kunt het gebied verplaatsen door het met de muis te verslepen. U kunt het gebied vergroten door de rechter- of onderrand te verslepen, of door het driehoekje rechtsonder in het gebied te verslepen. Bij een vraag met meerdere hotspots bovenstaande handelingen steeds herhalen. Ook bij de hotmatchvraag hoort altijd een afbeelding. Type (of plak vanuit Word) eerst de vraag in het stamvak van de vraag. Selecteer het vak Alternatieven. Klik op de knop om een afbeelding toe te voegen. Klik op de knop om het matchgegeven toe te voegen. In een hotmatchvraag kunt u het best daarna meteen alle bijbehorende matchgegevens invoeren. Op het scherm verschijnen vervolgens linksboven de hotspotgebieden. Ieder gebied sleept u op de juiste plek, daarmee zijn de juiste antwoorden gedefinieerd. Tip: U kunt bij een hotmatchvraag het nummer van het gebied vervangen door een afbeelding. Dit kan door op het nummer voor het tekstalternatief te klikken of op de knop. U moet er wel voor zorgen dat elk tekstalternatief van een andere afbeelding wordt voorzien. Invulvraag Selecteer het vak Alternatieven en type of plak het juiste antwoord. Klik zonodig op de knop om een alternatief toe te voegen. Herhaal dit voor het aantal alternatieven dat u nodig heeft. Op die manier horen bij de vraag dus meerdere invulvakken. Voer voor een invulvraag het juiste antwoord en de alternatieve schrijfwijzen ervan in. De sleutel wordt automatisch gedefinieerd doordat u het antwoord bij de alternatieven 1. een vraag met één hotspotgebied; 2. een vraag met meerdere hotspotgebieden, waarvan slechts één gekozen hoeft te worden (onder eigenschappen Alle hotspots vereist uitvinken. 3. een vraag met meerdere hotspotgebieden die alle gekozen moeten worden. Het gebied dat gedefinieerd is als juist, is altijd een rechthoek! Alternatieven in willekeurige volgorde en gedeeltelijk scoren uitzetten indien gewenst. Een hotmatchvraag is een redelijk complex vraagtype. Neem daarom altijd contact op met een toetsadviseur of de functioneel beheerder voor advies via dootestvision@umcutrecht.nl. Een spatie teveel voor of achter het antwoord wordt niet fout gerekend. Dat geldt ook voor Hoofd/kleine letters. Leestekens moeten juist zijn. Twee spaties tussen twee woorden moeten juist zijn. 12

14 Vraagvorm Extra Toelichting In te stellen eigenschappen Numerieke invulvraag Meervoudige invulvraag heeft ingevoerd. Zie invulvraag. Voer bij het alternatief het exacte antwoord en eventueel de toegestane waardebereiken in. Zie invulvraag. De alternatieven zijn één of meer invulvelden in lopende tekst. Elk invulveld staat voor een door de kandidaat zelf in te vullen antwoord. Een invulveld kan een tekstueel of numeriek veld zijn en is instelbaar zoals bij de andere invulvragen. Open vraag Klik in het tekstveld van 'Stam' om het te activeren. Daarnaast is het ook bij open vragen mogelijk om afbeeldingen op te nemen. Type (of plak vanuit Word) de stamtekst van de vraag. Klik op het tekstveld van Beoordelingsvoorschrift om het te activeren. Type (of plak vanuit Word) het beoordelingsvoorschrift van het antwoord. Kandidaten hebben nu opmaakmogelijkheden bij het beantwoorden van open vragen (o.a. vet, cursief, onderstrepen, kopiëren, plakken en speciale tekens (zie screenshot hieronder)) Bij numerieke vragen kan maximaal één decimaal worden ingegeven. Bij NL een komma, bij ENG een punt. Woordenteller met in te stellen maximum. Overschrijdt de kandidaat dit maximum dan wordt het getal rood. Het maximaal aantal woorden ligt op 1476 woorden van 10 tekens, dus circa tekens. Onder de knop Feedback kunt u het modelantwoord of andere feedback in het tekstvak Vraag kopiëren. Bij digitale inzage zien studenten dan dit antwoord. Feedback geplaatst onder de vakken Fout, Goed, Gedeeltelijk goed worden dan niet getoond. Speciale tekens voor kandidaten 13

15 1. Via de helpknop linksonder op de schermen zijn steeds instructies en tips te vinden. 2. De werkwijze om vragen te maken wordt ook uitgelegd in de video Vragen maken van TestVision Online, zie 3. Maak bij het ontwikkelen van de vragen gebruik van de aanwijzingen uit de Stijlwijzer (zie bijlage 1). Op die manier krijgen de vragen en bijbehorende alternatieven een uniforme uitstraling. Uniform taalgebruik en vormgeving bevorderen de kwaliteit van toetsen in het UMC Utrecht. 4. Bij het ontwikkelen van een vraag is een editor met diverse opmaakmogelijkheden ter beschikking. Ook zijn afbeeldingen, tabellen, pdf-documenten en hyperlinks toe te voegen aan zowel de stam als de antwoordalternatieven. 5. Gebruikt u afbeeldingen/media in vragen? Plaats deze dan in het eerste tekstvak. De bijbehorende tekst en vraagstelling komt in het volgende tekstvak en start met: Bekijk de afbeelding. NB: bij meerdere afbeeldingen bij één vraag: eerst alle afbeeldingen elk in een eigen tekstvak, dan de vraag. Zie ook de Stijlwijzer in bijlage 1 van dit document. 6. Tekstvakken en afbeeldingen zijn ook naast elkaar te plaatsen. Selecteer het tekstvak en plaats de muis geheel rechts op de grijze lijn. Verplaats de muis om het vak kleiner of groter te maken. STATUS VAN VRAGEN Het is mogelijk om zelf statuswaarden voor vragen te definiëren en gebruiken. Dit vormt een uitbreiding op de standaardwaarden Aan, Uit en Afgeschreven. De functioneel beheerder definieert deze waarden, waarna ze in alle domeinen beschikbaar zijn. U kunt deze waarden bijvoorbeeld gebruiken voor uw workflow. EXTRA FUNCTIONALITEITEN Het gebruik van de onderstaande specifieke functionaliteiten kan technische consequenties hebben voor uw toets; wat er op het scherm van uw computer goed uit ziet, kan binnen de beveiligde afnameomgeving ineens niet werken. Overleg daarom altijd eerst met de functioneel beheerders (doo-testvision@umcutrecht.nl). Formule-editor In een vraag kunnen formules worden toegevoegd. Gebruik hiervoor de formule-editor. Via de knop MathML-tekst. in een tekstvak verschijnt een scherm waar u een formule kunt invoeren via 14

16 Voor kandidaten is de formule-editor niet beschikbaar in de antwoordvakken. Extern video- of audiofragment toevoegen Het is mogelijk om youtube- en vimeo-video s en soundcloudaudio te integreren in de stam van vragen of op de introductiepagina s van deelblokken in uw toets. Het kan op twee manieren: via de knop Extern video- of audiofragment invoegen. Daarop klikken levert een pop-up venster waar u het fragment kunt invoegen. Of door in de tekst dat deel te selecteren waarvan u een link wilt maken. Klik op de knop. Kies vervolgens het bestand waarnaar u wilt linken en kies OK. Let op: Als u geluid gebruikt in uw toetsen, vraag dan ook koptelefoons aan. Afbeeldingen in vraagtekst vergroten Afbeeldingen in de vraag kunnen door de student worden vergroot. Dit kan met afbeeldingen in de stamtekst en met afbeeldingen in de antwoordalternatieven bij een-uit-meer-, meeruit-meer- en rangschikvragen. Het kan alleen als de docent-vraagontwikkelaar de mogelijkheid in TestVision heeft aangevinkt bij het uploaden van de afbeelding. selecteer de afbeelding klik op afbeelding invoegen of aanpassen selecteer kandidaat mag afbeelding vergroten 15

17 De student vergroot de afbeelding door erop te klikken. De afbeelding verschijnt in een popup venster dat maximaal zo groot is als het scherm van de pc waarop de toets wordt afgenomen. Met de muis over de afbeelding bewegen, levert een vergrootglas waarin de details van de afbeelding in de oorspronkelijke grootte te zien zijn. Verder inzoomen kan door te scrollen, maar maakt de afbeelding minder scherp. Uiteraard heeft dit alles alleen effect als de oorspronkelijke afbeelding daadwerkelijk groter is dan de afbeelding die in eerste instantie wordt weergegeven! Gebruik van filters Zeker als u veel vragen heeft kan het gebruiken van filters handig zijn. Met een filter kunt u een tijdelijke selectie van vragen maken, gebaseerd op één of meer kenmerken en eigenschappen. Hoe het gebruik van filters werkt, is uitgebreid beschreven onder de helpknop in TestVision Online. Feedback studenten op toetsvragen Studenten kunnen tijdens de toetsafname, direct na toetsafname en tijdens de inzage feedback geven op toetsvragen. Deze optie wordt genoemd in de demotoets die aan het begin van het studiejaar bij de studenten onder de aandacht wordt gebracht. Als docent kunt u deze feedback inzien. U gaat via de Resultaten van de afname naar analyse of aanpassen. De opmerkingen zijn hier op vraagniveau te zien. Ook kunt u in het onderdeel Afnames klikken op resultaten en daarna op downloads en Opmerkingen kandidaten als XML bestand (Excel). Functioneel beheer stuurt de feedback in een excelbestand naar docenten. 16

18 STAP 5: STEL DE TOETS SAMEN Klik op de button Toetsen op het beginscherm. Klik rechtsonder op Nieuw. Klik linksonder op Vragen selecteren. Zoek de juiste map(pen) en voeg de vragen aan de vragenset toe door op de selectie toevoegen -knop boven in beeld te klikken. De selectie verschijnt rechts in de blauwe kolom Vragenset. Klik op Klaar. Er zijn nu twee manieren om de toets samen te stellen: direct een toets samenstellen of een toets samenstellen vanuit een toetsmatrijs. MANIER 1: DIRECT EEN TOETS SAMENSTELLEN Selecteer het aantal vragen in de toets in het tabblad toetsmatrijs. De functie at random samengesteld alléén gebruiken als voor iedere kandidaat een eigen toets uit de vragenset gegenereerd moet worden! Deze optie wordt nooit gebruikt bij toetsen voor een cijfer, maar zou gebruikt kunnen worden bij oefentoetsen. Doordat elke kandidaat een andere set van vragen krijgt, kan er geen analyse gemaakt worden. Indien een kandidaat een at random toets bij herhaalde afname voor de tweede of derde keer maakt, selecteert TestVision een zo uniek mogelijke toets. Klik onder in beeld op toets genereren. Klik op het tabblad toets. De functie Willekeurige vraagvolgorde gebruiken als de vragen voor iedere kandidaat in een andere volgorde moeten verschijnen. Zie ook bijlage 4. Klik op Opslaan en geef de toets een naam. MANIER 2: TOETS SAMENSTELLEN VANUIT EEN TOETSMATRIJS Selecteer het aantal vragen in de toets in het tabblad toetsmatrijs. 17

19 Geef aan hoeveel criteria u wilt gebruiken om vragen te selecteren voor de toets. Selecteer op basis van het criterium Mappen de gewenste combinatie van vragen. U stelt een minimum en een maximaal aantal vragen in dat willekeurig uit elke map moet worden gekozen. Andere criteria zijn taxonomie, vraagniveau en/of vraagvormen. Uiteraard kunt u deze criteria alleen gebruiken als u ze als kenmerk heeft toegevoegd bij het invoeren van de vragen. TVO geeft door middel van een rode balk aan als er iets in de matrijs niet klopt. Onderin het scherm verschijnt de oorzaak. Bijvoorbeeld: Klaar? Klik dan op Toets Genereren. Klik op Opslaan en geef de toets een naam. Hanteer bij toetsnamen de volgende structuur: <MUTAD> <opleidingscluster> <vaknaam> <evt. toevoeging>. MUTAD wil zeggen de datum van achter naar voren, dus jaartal-maanddag. Zo staan toetsen altijd in chronologische volgorde. Bijvoorbeeld GM Kinderen, GM OogHK, BB OntwBio (waarbij GM staat voor Geneeskunde Master en BB voor BMW Bachelor) Let op: Als een toets klaar is voor afname, moet de functioneel beheerder de toets publiceren. Pas daarna kan de toets daadwerkelijk worden afgenomen! Heeft u een toets gegenereerd en wijzigt u daarna nog vragen, dan worden deze wijzigingen direct overgenomen in de toets totdat deze is gepubliceerd door de functioneel beheerder. Wijzigingen na publicatie worden niet automatisch doorgevoerd in de toets. 18

20 TOETS VERDELEN IN DEELBLOKKEN U kunt een toets in blokken verdelen om vragen over bepaalde onderwerpen bijeen te houden en/of om deelscores te kunnen geven. Per blok kunt u vragen in een vaste of willekeurige volgorde zetten en een blokintroductie opstellen. Bij het verlaten van een deelblok ziet de kandidaat direct welke vragen in het deelblok wel en niet (volledig) zijn beantwoord. Selecteer op het tabblad Toets de optie Deelblokken. Boven de vragenlijst verschijnt een balk voor het eerste deelblok van de toets. Deze heeft de standaardnaam Deelblok. Klik op de knop rechts in de balk Deelblok. Nu verschijnt het venster Deelblok. Typ in het venster Deelblok in het veld Naam de naam van het deelblok. Zet de optie Blokintroductie zichtbaar aan of uit. De kandidaat kan de inhoud van een blokintroductiepagina opnieuw opvragen bij een vraag in het deelblok en deze op hetzelfde scherm bekijken. Dit kan bijvoorbeeld handig zijn als de introductiepagina casusinformatie bevat. Zet de optie Willekeurige vraagvolgorde binnen dit deelblok naar wens aan of uit. Voeg eventueel een blokintroductie toe, waarin u de kandidaten informatie geeft over het betreffende blok. Klik hiervoor op de knop in het onderdeel Inhoud blokintroductie om een tekstvak toe te voegen. Bewerk de inhoud van het tekstvak. Sluit het venster Deelblok als u klaar bent met het definiëren van de blokintroductie. Via de + knop achter de optie Deelblokken op het tabblad Toets kunt u meer deelblokken aanmaken. Via de knop voor de titel van het deelblok kunt u een deelblok verplaatsen. 19

21 Via de knop achter een vraag kunt u een vraag verplaatsen tot deze in het gewenste deelblok staat. Meer informatie over het werken met deelblokken vindt u via de helpknop van TestVision. EIGENSCHAPPEN VAN DE TOETS INSTELLEN Onder het tabblad Toets, kunt u indien nodig specifieke instructies toevoegen aan de standaard instructieteksten. o Klik in het tabblad Toets op de knop achter Instructietekst of Resultaattekst. o Klik op de knop Templatetekst toevoegen om de instructietekst uit de gekoppelde template toe te voegen. o Klik op de knop om een tekstvak toe te voegen waarin u uw specifieke informatie kunt weergeven. o Sluit het venster Instructietekst als u klaar bent. Stel via de knop Eigenschappen (rechtsboven) de verdere gegevens van de toets in zoals toetsduur, kansscore meewegen en cesuur. Deze gegevens bepalen ondermeer hoe de scores van studenten vertaald worden in cijfers! De toetsduur is de duur van de toets zonder extra tijd voor dyslectici. Standaard worden de toetseigenschappen ingesteld zoals in de afbeelding hiernaast. Uiteraard is de examinator verantwoordelijk voor de definitieve instelling. Zie voor meer informatie over cijferbepaling bijlage 5 Cijferbepaling in TestVision Online of neem contact op met een toetsadviseur via toetsadviseur@umctrecht.nl. Serietoetsen Het is mogelijk te werken met serietoetsen om zo min mogelijk overlap van vragen tussen toetsen te krijgen. Ga naar Toetsen op het beginscherm. Kies voor nieuw rechts onderin uw scherm. Ga naar eigenschappen recht bovenin uw scherm. U kunt hier twee toetsen kiezen waarmee uw nieuwe toets zo min mogelijk overlap moet vertonen. Kijk voor meer uitleg onder de Help functie bij Eigenschappen bekijken en bewerken. Totaal aantal punten Op het tabblad Toets wordt onderaan het totaal aantal punten van de in de toets opgenomen vragen getoond. 20

22 In de Eigenschappen van een toets kunt u instellen dat de deelblokken en/of vragen in de toets maar één keer aan de kandidaat mogen worden getoond. Kandidaten kunnen hierdoor niet meer terug naar de vorige vraag en de toets alleen lineair doorlopen. Als de toets gereed is voor afname stuurt u een mail naar functioneel beheer met de naam van de toets, datum en tijdstip van de afname en indien van toepassing voor uw opleiding de kandidatenlijst inclusief extra-tijders. Als er open vragen in de toets zijn opgenomen levert u ook de namen en adressen van de beoordelaars aan en geeft u aan of u de kandidaten anoniem wilt kunnen beoordelen. Als een toets klaar is voor afname, kunnen de functioneel beheerders de toets publiceren. Daarna zetten ze de toets klaar voor afname in het systeem en koppelen aan de toets de studentgegevens, zodat de studenten op het gewenste tijdstip de toets kunnen maken. Oefentoetsen kunnen voor een langere periode worden opengesteld. Geef dan duidelijk door aan de functioneel beheerders om welke periode het gaat (van/tot: dag, datum en tijd). De extra tijd voor dyslectische studenten, wordt door de functioneel beheerders ingesteld als de toets wordt klaargezet voor afname. STAP 6: CONTROLEER EN PREVIEW DE TOETS Nadat de toets is samengesteld, kan de toets worden gecontroleerd. TestVision Online biedt daarvoor twee mogelijkheden: via de redactieversie of op het scherm. AFDRUKKEN VAN EEN REDACTIEVERSIE Vanuit het venster met detailinformatie is het mogelijk een pdf-versie van de toets te genereren die alle detailinformatie van de toets en de toetsvragen bevat. Dit document kunt u gebruiken om de toets inhoudelijk op papier te redigeren. Log in en klik op button 'Toetsen' op het beginscherm. Klik op de knop Detailinformatie achter de toets. Klik op button 'Afdrukken'. Kies welke informatie u wilt weergeven in de redactionele versie. De juiste antwoorden (incl. beoordelingsvoorschrift van open vragen) worden automatisch opgenomen. Klik op button Afdrukvoorbeeld Klik op button 'PDF-document genereren' links onderin uw scherm. 21

23 Sla het bestand op in folder 'N:\TestVisionOnline\<eigen cluster>\<eigen domein>\.pdf.redactioneel'. Geef de naam <MUTAD> <cluster> <vak> <toevoeging indien wenselijk>'. Voorbeeld: ' GM Kind blok'. U kunt nu de samengestelde toets controleren op uw scherm of via een afdruk. Noteer de naam van vragen waar iets aangepast moet worden. Deze kunt u later wijzigen via de knop Vragen op het beginscherm op dezelfde manier waar u ze heeft aangemaakt. De wijzigingen die u doorvoert in vragen die in de toets zijn opgenomen, worden automatisch ook in de toets aangepast. PREVIEW VAN DE TOETS OP HET SCHERM Met de previewfunctie ziet u de toets zoals de student ook de toets te zien krijgt. Daardoor is onder andere goed te zien of afbeeldingen wel op de juiste manier worden weergegeven. Zet voor u de toets controleert, eerst de randomisatie van vragen uit als deze aanstaat. Zo kunt u vragen waar nog iets aan veranderd moet worden beter terugvinden. Dubbelklik op de toets die u wilt controleren. Klik op het tabblad toets. Klik de functie Willekeurige vraagvolgorde uit. In de lijst van toetsvragen staan de vragen nu in dezelfde volgorde. Klik op de knop Preview rechts onderin uw scherm en vervolgens op de knop Preview in het pop-up venster. De toets wordt nu geopend zoals dat ook voor studenten gebeurt. U kunt nu de toets controleren door deze zelf te maken. Noteer het nummer van de vraag waar nog iets aan veranderd moet worden. U kunt via deze previewfunctie niet direct wijzigingen doorvoeren, die moeten worden ingevoerd via de knop Vragen, waar de vragen ook ontwikkeld zijn. De wijzigingen die u doorvoert in vragen die in de toets zijn opgenomen, worden daarin automatisch ook aangepast. 22

24 Vergeet niet de Willekeurige vraagvolgorde weer aan te zetten als u de vragen voor de studenten in wisselende volgorde wilt afnemen! Willekeurige vraagvolgorde staat aan, dus de vragen staan in wisselende volgorde Willekeurige vraagvolgorde staat uit, dus de vragen staan in vaste volgorde Geef aan de functioneel beheerder via doo-testvision@umcutrecht.nl door dat u de toets gecontroleerd heeft en dat deze gereed is voor afname. STAP 7: NEEM DE TOETS AF Op het in het rooster afgesproken moment wordt de toets afgenomen. De functioneel beheerder publiceert hiervoor de toets, wijst de toets toe aan kandidaten en zorgt dat alles gereed staat op de pc s of laptops. Indien nodig geeft de functioneel beheerder of de surveillant een korte toelichting aan de studenten over hoe de digitale toets werkt. Ook vertellen zij hoe de student moet inloggen en wat het wachtwoord voor de toets is. Studenten loggen vervolgens in en maken de toets. Als ze alle vragen hebben beantwoord, sluiten de studenten de toets af door op de knop Klaar rechts onderin te klikken en hun keuze om te toets te beëindigen te bevestigen. Direct na het beëindigen van de toets ziet de student zijn voorlopige resultaat. 23

25 Uiteraard zijn de antwoorden op de open vragen hierin nog niet verwerkt, deze worden apart nagekeken door de docent. Het voorlopig resultaat heeft dus alleen betrekking op de gesloten vragen en kan nog wijzigen doordat na de statistische analyse bijvoorbeeld besloten wordt vragen te laten vervallen of bij iedereen goed te rekenen. In de standaard resultaattekst is duidelijk aangegeven dat het een voorlopig resultaat betreft. U kunt studenten daar nog extra op wijzen. Er kunnen zwaarwegende bezwaren zijn om geen voorlopige resultaten te laten zien of om de resultaten niet te vertalen in een cijfer, maar alleen een percentage goed en fout te tonen als resultaat. Dit moet u dan doorgeven aan de functioneel beheerder op het moment dat u aangeeft dat de toets gereed is voor afname. STAP 8: KIJK OPEN VRAGEN NA In TestVision Online worden open vragen op het scherm nagekeken. De domeinbeheerder geeft aan de functioneel beheerders de naam, voornaam en het mailadres door van docenten die moeten worden aangemeld als beoordelaar. Het is dus ook mogelijk om alleen open vragen na te kunnen kijken in TestVision en verder geen rechten te hebben! Via het scherm nakijken betekent ook dat de score meteen wordt ingevoerd en opgeteld bij de resultaten van de gesloten vragen. Op het scherm is het modelantwoord (beoordelingsvoorschrift) steeds in beeld, dus eenvoudig te vergelijken met het door de student ingevulde antwoord. Beoordelen van open vragen gaat als volgt: Kies Beoordelen in het beginscherm en vervolgens op Beoordelaar. Klik op de knop Beoordelen bij de juiste afnamenaam. U ziet nu de kandidatenlijst: klik boven in het scherm op Per vraag beoordelen (Per kandidaat beoordelen is overigens ook mogelijk). Let op! Als er meerdere docenten betrokken zijn bij dit vak kijk dan alleen uw eigen vragen na. 24

26 U ziet nu een lijst met open vragen, klik op beoordelen achter de vraag die u gaat beoordelen. U ziet de vraag, het door de student gegeven antwoord en daaronder het vak waarin u uw beoordeling dient te geven. Vergroot het scherm desgewenst. Vul achter Vraagscore de score van de student in punten in aan de hand van het voorschrift. Het maximale aantal toe te kennen punten staat achter het vak. U kunt decimalen gebruiken, maar geen percentages. Een eventuele toelichting kunt u typen in het vak Feedback. De feedback die u hier geeft is persoonlijke feedback voor deze specifieke student en daardoor ook alleen voor deze student zichtbaar bij een inzage. Klik rechtsonder op Volgende om het antwoord van de volgende student te beoordelen. Klik op Sluiten om af te sluiten en terug te keren naar het overzicht. Selecteer indien nodig de volgende vraag en beoordeel deze op dezelfde manier. Klaar met beoordelen? Klik op Sluiten. 25

27 Klik vervolgens op Vastleggen en bevestig uw keuze met OK. Pas dan wordt de score daadwerkelijk opgeteld bij de score van de gesloten vragen en verwerkt in de statistische analyse. (Let op! Als er meer beoordelaars zijn, is dit recht vaak aan één persoon toegekend, over het algemeen de examinator c.q. coördinator van het vak, degene die verantwoordelijk is voor de uitslag.) Anoniem beoordelen Via functioneel beheer kunt u aanvragen om de open vragen van kandidaten anoniem te beoordelen. Bij niet anoniem beoordelen is de naam van de kandidaat wel zichtbaar. STAP 9 ANALYSEER DE RESULTATEN EN ORGANISEER EEN INZAGE TestVision Online voert automatisch een toets- en itemanalyse uit. Aan de hand van deze analyse kunt u de kwaliteit van de toets en de toetsvragen beoordelen. Er zijn twee manieren waarop u de analyse kunt raadplegen namelijk via een Excelbestand of direct in TestVision Online zelf. ANALYSE VIA EEN EXCEL BESTAND Zodra de analyse beschikbaar is, ontvangt u deze als Excelbestand van de functioneel beheerder. Bij een toets met alleen gesloten vragen, ontvangt u de analyse direct na afloop van de toets of uiterlijk de volgende dag. Als de toets ook open vragen bevat, geeft u de functioneel beheerder door wanneer u deze heeft nagekeken en vastgelegd. U ontvangt dan direct of uiterlijk de volgende dag het analysebestand. Het Excel bestand bestaat uit verschillende tabbladen. 26

28 tabblad Toetsanalyse geeft informatie over de betrouwbaarheid en moeilijkheidsgraad van de toets en over slagingspercentages en gemiddelde cijfers van studenten tabblad Cursistresultaten geeft per student een overzicht van gegeven antwoorden, scores en behaald cijfer tabblad Itemanalyse geeft per vraag informatie over de moeilijkheidsgraad, het onderscheidend vermogen en de kwaliteit van de afleiders. tabblad Frequentieverdeling bevat een grafische weergave van de cijferverdeling In het Excelbestand is elk tabblad twee keer opgenomen; als te bewerken werkblad en als weergave van de oorspronkelijke analyseresultaten. In de werkbladen kunt u direct op basis van de analyse acties ondernemen. Zo kunt u in het werkblad itemanalyse bijvoorbeeld vragen laten vervallen door ze uit te vinken, in het werkblad cursistresultaten een antwoordsleutel aanpassen of in het tabblad toetsanalyse de cesuur aanpassen. Op een later tijdstip (zie ook stap 10) kunt u op basis van de analyse uw vragen aanpassen voor de database. Bijvoorbeeld vragen die te makkelijk of te moeilijk bleken anders formuleren, alternatieven die niet gekozen zijn verwijderen of herformuleren of varianten op vragen bedenken. Nadeel van deze analyse is dat niet voor alle vraagtypen alle psychometrische gegevens worden getoond en dat u niet direct kunt zien over welke vraag het gaat. Deze informatie is wel beschikbaar bij de analyse in TestVision Online zelf. ANALYSE DIRECT IN TESTVISION ONLINE U kunt ook na afloop van de toets in TestVision Online zelf de analyseresultaten raadplegen. Log in en klik op button 'Afnames' op het beginscherm. Klik op Resultaten ( ) achter de toets waarvan u de analyse wilt raadplegen. Selecteer een willekeurige kandidaat die de toets heeft afgelegd Klik vervolgens op de knop Resultaten deze toets in het vak Pogingen. 27

29 Klik op Analyse links onderin het scherm. Vervolgens kunt u ook hier de toetsanalyse en de itemanalyse bekijken en indien nodig aanpassingen doen. De vraag zelf kunt u via een preview bekijken door op het informatie icoontje achter de vraag te klikken. De psychometrische gegevens kunt u ook vastleggen in de database via de knop Vastleggen rechts onderin. Via de button 'Help' links onderin het scherm kunt u meer informatie vinden over het online werken met die analyse. Meer informatie over interpreteren van toetsanalyses komt aan de orde in de docenttraining Toetsing II ( U kunt ook een afspraak maken met de onderwijskundig adviseur toetsing door een mail te sturen naar toetsadviseur@umcutrecht.nl. ORGANISEER EEN INZAGE Conform het Onderwijs en Examenreglement van de diverse opleidingen, hebben studenten na het afleggen van een toets recht op het inzien van hun resultaten. Een inzage van een digitale toets kan op verschillende manieren georganiseerd worden. DIGITALE INZAGE Voordeel hiervan is dat de inzage voor de student hetzelfde is als de daadwerkelijk gemaakte toets. Een digitale inzage kan op drie manieren: 1. Direct na afloop van de toets Studenten kunnen in de resterende (of extra) toetstijd na afronden van de toets direct hun resultaten bekijken en vergelijken met de modelantwoorden. 2. Via geplande plenaire inzage De toets wordt op een ander moment opnieuw klaargezet voor studenten die na aanmelding met een andere inlogcode hun toetsresultaten kunnen inzien en vergelijken met de modelantwoorden. 28

30 3. Via geplande individuele inzage De toets wordt gedurende een afgesproken periode na de afname opnieuw klaargezet. Studenten ontvangen een inlogcode via de mail en kunnen op elke gewenste pc met internet (in het UMC, thuis of elders) gedurende de periode hun toetsresultaten inzien en vergelijken met de modelantwoorden. De kandidaat kan bij inzage per vraag feedback geven. Deze instelling vindt u bij de Afname. De docent kan de feedback oproepen via de resultaten (review/download). INZAGE OP PAPIER Het is mogelijk een door de student gemaakte toets te printen en daarmee een inzage te organiseren. Log in en klik op button 'Afnames' op het beginscherm. Klik op Resultaten achter de toets waarvan u een inzageversie wilt printen. Selecteer de kandidaat voor wie u een pdf-versie van de gemaakte toets wilt printen. Klik vervolgens op de knop Resultaten deze afname achter de kandidaatnaam. Klik in het vak Pogingen op de knop Review. Klik in het reviewvenster op de knop Afdrukvoorbeeld en selecteer de opties die u wilt weergeven. 29

31 Zet de optie Goed beantwoorde vragen afdrukken naar wens aan of uit. Als deze optie uit staat, worden alleen vragen met gedeeltelijk goede en foute antwoorden in het PDF-document opgenomen. Als de optie aan staat, worden alle antwoorden opgenomen. Bij gedeeltelijk goede en foute antwoorden wordt het correcte antwoord ook getoond. Klik op de knop PDF-document genereren. Sla het gedownloade document op de gebruikelijke wijze op. Sluit het venster Het downloaden is voltooid. Klik in het afdrukvoorbeeld op de knop Sluiten. Let op: als de toets open vragen bevat, worden wel de antwoorden die de kandidaat gegeven heeft getoond, maar niet de modelantwoorden (het beoordelingsvoorschrift). U dient dus een aparte print te maken van de toets met goede antwoorden voor het open vragen deel. Meer informatie over de inzage inclusief tips en randvoorwaarden is opgenomen in bijlage 5. U kunt toetsen ook batchgewijs downloaden voor inzages. Klik daarvoor op de button Afnames in het beginscherm. Klik daarna bovenin het scherm op de knop Downloads. U krijgt nu de volgende opties: 30

32 De keuze Resultaten als PDF bestand levert één pdf met daarin de toetsen met alle kandidaten in de betreffende afname. TOETSRESULTATEN AANPASSEN ALS EXAMINATOR Op basis van de analyse of de inzage kan het nodig zijn de toetsresultaten aan te passen. U kunt bijvoorbeeld een vraag laten vervallen of juist voor alle kandidaten goed rekenen. Ook kunt u resultaten van individuele kandidaten aanpassen. Bijvoorbeeld als blijkt dat een fout gerekend antwoord wèl goed gerekend had moeten worden. AANPASSINGEN DOEN OP TOETSNIVEAU Op de volgende manier kunt u aanpassingen doorvoeren op toetsniveau: Log in en klik op button 'Afnames' op het beginscherm. Doorloop de stappen zoals omschreven bij de analyse direct in TestVision Online. Via de knop Aanpassen (linksonder) kunt u gegevens aanpassen: o op toetsniveau via het tabblad Toetsresultaat waarbij tussen haakjes de originele gegevens weergegeven zijn en blijven. 31

33 o op vraagniveau via het tabblad Itemresultaat kunt u vragen laten vervallen of juist bij alle kandidaten goed rekenen via de knop Aanpassingen controleren kunt u direct zien welk effect uw aanpassingen hebben op de psychometrische gegevens van de toets en de resultaten van kandidaten. Juiste antwoord achteraf aanpassen Bij de een-uit-meervraag en meer-uit-meervraag is het mogelijk achteraf een ander alternatief (ook) goed te rekenen. Ga naar Afnames op uw beginscherm. Kies de toets waarvan uw resultaten wilt bewerken en klik op Resultaten. Klik op de pijl achter de toetsnaam in het deel pogingen. Kies Aanpassen rechts onderin uw scherm en vervolgens het tabblad Itemresultaat. Via de knop in de kolom aangepast opent u het venster Sleutel wijzigen. Hier kunt u de sleutel aanpassen als geconstateerd is dat de oorspronkelijke sleutel fout is. AANPASSEN RESULTATEN INDIVIDUELE STUDENT Het is ook mogelijk om resultaten van individuele kandidaten aan te passen. Bijvoorbeeld als bij inzage blijkt dat een fout gerekend antwoord bij een kandidaat wèl goed gerekend had moeten worden. Log in en klik op button 'Afnames' op het beginscherm. Klik op Resultaten achter de toets waar u resultaat wilt aanpassen. Selecteer de kandidaat voor wie u een aanpassing wilt doorvoeren. 32

34 Klik vervolgens op de knop Resultaten deze afname achter de kandidaatnaam. Klik in het vak Pogingen op de knop Aanpassen. Kies vervolgens om een vraag alsnog goed te rekenen of juist niet mee te tellen. De score verandert direct als u iets aan vinkt. Het effect van de wijzigingen op de totale score van de student ziet u via de knop Aanpassingen controleren. STAP 10: COMMUNICEER DE UITSLAG EN ONDERHOUD DE DATABASE Na de toets ontvangt u een statistische analyse in Excel van de functioneel beheerders. Dit Excelbestand is de basis voor de cijferlijst van de studenten. Hiermee communiceert u de definitieve toetsuitslag op de gebruikelijke wijze aan studenten. Let op: als u zelf al wijzigingen hebt doorgevoerd direct in TestVision (bijv. vraag laten vervallen), vraag functioneel beheer dan een nieuw Excelbestand samen te stellen. TRANSPORTEREN VAN CIJFERS NAAR OSIRIS Cijfers uit de statistische analyse overnemen in het bestand voor Osiris kan als volgt. Kies het tabblad Printuitvoer in de SA. Klik op de knop Sorteer. De gegevens worden nu in een apart Excel blad gepresenteerd. Selecteer kolom B Cursistnaam (waarin studentnummer en naam gekoppeld zijn). 33

35 Klik in de bovenbalk van Excel op de tab Gegevens en kies voor Tekst naar kolommen Kies in de Wizard voor Gescheiden en klik op volgende. Kies als scheidingsteken voor overige, vul een koppelteken in en klik op volgende. Klik vervolgens op voltooien. De kolom is nu gesplitst in twee losse kolommen. Selecteer het hele tabblad. Klik in de bovenbalk van Excel bij het tabblad Gegevens op Sorteren. Kies vervolgens sorteren op kolom C en klik op OK. De cijferlijst is nu volledig gesorteerd op studentnaam en kan eenvoudig vergeleken worden met de lijst voor Osiris. Zie bijlage 6 voor meer achtergrondinformatie over de manier waarop de berekening van scores van studenten naar cijfers in TestVision Online verloopt. LET OP: het kan uiteraard voorkomen dat mensen die wel in de Osirislijst staan niet hebben deelgenomen aan de toets. Zij staan dan uiteraard niet in de cijferlijst van TestVision Online. Andersom kan natuurlijk ook: mensen die niet op de Osirislijst staan en wel hebben deelgenomen. Knippen en plakken kan dus fouten opleveren! Controleer daarom zorgvuldig de namenlijst. 34