Onderwijsscenario s digitaal toetsen in TestVision Online. Versie 1.0 april 2017 Programmateam Digitaal Toetsen

Transcriptie

1 Onderwijsscenario s digitaal toetsen in TestVision Online Versie 1.0 april 2017 Programmateam Digitaal Toetsen

2 Inleiding In dit document worden aan de hand van de toetscyclus verschillende onderwijsscenario s uitgewerkt binnen het digitale toetsproces, die in de toetsapplicatie TestVision Online (TVO) aan de orde komen. Dit document is bestemd voor facultaire Contactpersonen Digitaal Toetsen (CDT) en gebruikers van de digitale toetsapplicatie TestVision Online (examinatoren, docenten, toetsorganisaties en andere betrokkenen) en niet voor specifieke rollen in het digitale toetsproces samengesteld. De faculteit kan dit document of delen daarvan naar eigen inzicht inzetten in het digitale toetsproces en per rol een aangepast document samenstellen. Voor het domeinbeheer is een adviesdocument opgesteld: zie het document Richtlijnen en afspraken TestVision Online. De toetscyclus 1. Ontwerpen 2. Construeren 3. Afnemen 4. Nakijken 5. Analyseren 6. Rapporteren 7. Evalueren

3 1. Ontwerpen Het ontwerp van de toets (ook wel toetsspecificatie) gaat over aspecten als te toetsen onderdelen, aantal te stellen vragen, kennis, inzicht of toepassing en hoe wordt de toets vormgegeven en de keuze voor formatief of summatief toetsen. Hier worden dus nog geen toetsitems gemaakt, maar is het goed om alvast zicht te hebben op de verschillende vraagtypen van TVO om de toets vorm te geven. Het ontwerp van een toets wordt meestal niet in de toetssoftware uitgevoerd (bron: Begrippenkader voor digitaal toetsen SURF). Scenario Uitwerking in TVO Vormgeving toets 1. Welke vraagtypen biedt TVO TestVision Online biedt verschillende vraagtypen aan. Voor een overzicht van de vraagtypen en wanneer die het best te gebruiken zijn zie de TVO Gebruikersinstructie Vraagvormen Via Toets bij de Gebruikersinstructie kan je alle mogelijke vraagtypes bekijken.

4 2. Construeren 2.1 Voor de constructie van de items kan gebruik gemaakt worden van de ontwikkelomgeving van TestVision Online. Hierin kunnen items worden ontwikkeld met de gewenste interactie. Ook de antwoorden (in geval van gesloten vragen) en beoordelingscriteria (in geval van open vragen) worden hier opgenomen. De ontwikkelomgeving biedt ook een workflow-ondersteuning, zodat ontwikkelde items in een reviewproces kunnen worden opgenomen. Het reviewen van items draagt bij aan de kwaliteit ervan. Soms wordt ervoor gekozen dat een bevoegd persoon of orgaan (toets- of examencommissie) alle items controleert, voordat deze worden vrijgegeven om te gebruiken in een toets. 2.2 Vervolgens kan een toets worden samengesteld vanuit de verzameling items. Hiervoor wordt meestal een specificatietabel gebruikt, ook wel toetsmatrijs genaamd. Hierin wordt vastgelegd hoeveel items, welke vraagtypen, welke onderwerpen in de toets komen, welke tijdsduur de toets heeft, welke cesuur wordt toegepast etc. 2.3 Als de toets is samengesteld, kan er een toetsmoment worden ingepland voor de daadwerkelijke toetsafname. Hierbij worden ook de studenten aan het toetsmoment gekoppeld. 2.4 In de voorbereiding naar de toetsafname dient in TestVision Online aangegeven te worden welke studenten recht hebben op toetstijdverlenging.

5 2.1 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Vragen (sneltoets 1) en selecteer je de juiste map. Scenario Uitwerking in TVO Vragen ontwikkelen 1. Een toetsvraag ontwikkelen Voor het ontwikkelen van een toetsvraag kan je de instructievideo Vragen maken en Instructievideo Mediabibliotheek bekijken. Let bij het ontwikkelen van een toetsvraag op: - Het selecteren van de juiste map - Een toetsvraag kan alleen gebruikt worden in een toets als de status Approved (Aan) is toegekend 2. Toetsvragen reviewen Bij het reviewen van toetsvragen kunnen er opmerkingen worden toegevoegd en kan de status van de vragen worden aangepast per stap in het workflow reviewproces. Hieronder een mogelijke workflow, ter illustratie: - Toetsvraag ontwikkelen > Status: Concept (Uit) - Toetsvraag ter review aanbieden > Status: Ready for Review (Uit) - Opmerkingen toevoegen aan toetsvragen tijdens de review (Uit) - Toetsvraag is gereviewed en notities zijn toegevoegd > Status: Reviewed (Uit) - Informatie verwerken uit notities en vraag beschikbaar maken voor toetsen > Status: Approved (Aan) - Indien van toepassing, na analyseren van de toetsvraag > Status: Repair (Uit) - Indien van toepassing, toetsvraag niet meer in gebruik of gearchiveerd > Status: Retired (Afgeschreven) 3. Filteren in de itembank Met een filter kun je een tijdelijke selectie van vragen maken, gebaseerd op één of meer kenmerken en eigenschappen van het object. Er kunnen verschillende filters gedefinieerd worden. Elke ontwikkelaar kan zijn eigen filters definiëren. Een andere ontwikkelaar kan dus niet jouw filters gebruiken. Voor meer informatie over hoe een filter gebruikt kan worden binnen TVO klik dan linksonder op de help knop bij het menu vragen.

6 2.2 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Toetsen (sneltoets 2) en selecteer je de juiste map. Scenario Toetsen samenstellen 1. Een toetstemplate samenstellen Uitwerking in TVO Toetstemplates kan je gebruiken om voor diverse toetssoorten (een oefentoets, een diagnostische toets, een examen) een vaste instructie-en resultaatpagina in te stellen. De ontwikkelaar kan dan op toetsniveau een toetstemplate aan de toets koppelen. Er is altijd een toetstemplate als standaard aangewezen. Deze toetstemplate wordt automatisch gekoppeld aan een nieuwe toets. De ontwikkelaar kan een andere template kiezen. Als je een toetstemplate uitzet, kan deze niet worden gebruikt in nieuw te ontwikkelen toetsen. Voor bestaande toetsen blijft de template gewoon beschikbaar. Let op: alleen een domeinbeheerder kan een toetstemplate samenstellen. Zie hiervoor ook de implementatiehandleiding domeinbeheerders en ontwikkelaars en de Help in TVO. Het wijzigen van een toetstemplate heeft invloed op alle toetsen waarbij het template gebruikt wordt; dus ook op actieve toetsen. 2. Een toets samenstellen Voor het samenstellen van een toets kan je de instructievideo Toets samenstellen, Instructievideo Toetsmatrijs en Instructievideo Deelblokken bekijken. Let bij het ontwikkelen van een toets op: - Het selecteren van de juiste map - Het selecteren van de juiste toetstemplate. - Bij het invoeren van een andere instructie-, en resultaattekst, zal de student niet meer de tekst uit de toetstemplate zien. De template tekst kan wel toegevoegd en aangepast worden. - Een toets kan alleen worden ingepland voor afname als deze de status Gepubliceerd heeft. - De status Niet synchroon geeft aan dat sinds de vorige publicatie wijzigingen zijn aangebracht in de toets. Deze wijzigingen zijn alleen beschikbaar voor de studenten na het opnieuw publiceren van de toets.

7 3. Een toets afdrukken voor redactie Vanuit het venster met detailinformatie kun je een PDF-versie van de toets genereren die alle detailinformatie van de toets en de toetsvragen bevat. Dit document kun je bijvoorbeeld gebruiken om de toets inhoudelijk op papier te redigeren.

8 2.3 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en selecteer je de juiste map. Scenario Uitwerking in TVO Inplannen toetsmoment 1. Een standaard toetsmoment inplannen Voor het inplannen van een toetsmoment kan je de instructievideo Kandidaten en afnames, bekijken (vanaf 0:57). Let bij het ontwikkelen van een toets op: - Het selecteren van de juiste map om de afname in te plannen - Het selecteren van de juiste toets en de correcte naamgeving - Het selecteren van de standaard skin en als alternatief 1 de dyslexie skin - Het invoeren van de juiste afname instellingen. Voor de afname instellingen wordt voor een summatieve toets onderstaande geadviseerd: Toegang: A. Controleer de toetsduur; deze is ingesteld bij het onderdeel Toetsen B. Stel de extra tijd voor toetstijdverlengers in. Let hierbij op de eindtijd van je afnameperiode en pas die, indien nodig, ook aan. C. Stel het aantal pogingen in op één; D. Stel de startdatum en tijd en einddatum en tijd in. Toelichting: als voor de afnameperiode is ingesteld: , 08.00u tot , 13.00u kan een student binnen deze afname periode inloggen en de toets maken. Na het verstrijken van de maximale toetsduur of om 13.00u zal voor iedereen de toets afsluiten (ongeacht of de toetstijd van de student erop zit of niet). Controle: A. Stel een afnamewachtwoord in dat gemakkelijk gecommuniceerd kan worden naar de studenten in de toetszaal. B. Stel een locatie in waar getoetst zal worden. In TVO zijn de centrale toetszalen afzonderlijk te selecteren en allemaal in één keer. Resultaat: A. Door Voorlopig resultaat aan te vinken stel je in dat de kandidaat bij het bekijken van zijn resultaat een melding krijgt dat het resultaat voorlopig is, en dus nog niet definitief vaststaat. B. Met de optie Resultaatpagina Tonen bepaalt u of na afloop van de toets het resultaat, zoals ingesteld in de toetstemplate, aan de kandidaat wordt getoond. C. Met de optie Inzage kunt u een periode instellen waarbinnen kandidaten hun toets kunnen inzien. Zie hiervoor scenario 6.1 Inzagemoment plannen.

9 2. Beoordelingsinstellingen toevoegen Voor het instellen van de nakijkverdeling van de correctieronde is de instructievideo Beoordelingsinstellingen (open vragen) beschikbaar en hoofdstuk 12 uit de implementatiehandleiding domeinbeheerders en ontwikkelaars. Daarnaast zijn per onderstaand scenario de beoordelingsinstellingen uitgewerkt. LET OP: - Na het vastleggen van de beoordeling kan de beoordeling niet meer gewijzigd worden; alleen de score kan worden aangepast via Afnames of Kandidaten - Bij een vrije toewijzing kunnen twee of meer docenten dezelfde student nakijken, maar niet dezelfde vraag (er wordt een melding weergegeven dat de vraag in gebruik is). A. Instellen dat 1 docent één of meer vragen na kan kijken (horizontaal nakijken): vb1. docent A kijkt alle antwoorden op vraag 1 na, docent B kijkt alle antwoorden op vraag 2 na. vb2. docent A kijkt alle antwoorden op vraag 1 t/m 4 na, docent B kijkt alleen vraag 5 na. Kies hiervoor een Vrije Toewijzing. Elke ontwikkelaar die aan de afname is gekoppeld kan open vragen beoordelen en/of resultaten vastleggen van alle kandidaatafnames; dit kan zowel horizontaal als verticaal. De coördinator kan geen kandidaten aan ontwikkelaars toewijzen. De beoordelaars dienen onderling afspraken te maken over welke vragen nagekeken worden; specifieke vragen kunnen niet aan een beoordelaar worden toegewezen. Bij het herbeoordelen of opnieuw nakijken (tweede nakijkmoment) wordt het eerste nakijkmoment overschreven. B. Instellen dat 2 of meer docenten één vraag na kunnen kijken (horizontaal nakijken) Vb1. docent A en B kijken samen alle antwoorden op vraag 1 na en de antwoorden van de studenten worden evenredig verdeeld over beide docenten of er wordt gekozen voor een alternatieve verdeling in de werklast. Kies hiervoor een Vrije Toewijzing. Een evenredige verdeling en alternatieve verdeling in de werklast is alleen mogelijk als beoordelaars hier onderlinge afspraken over maken. Elke ontwikkelaar die aan de afname is gekoppeld kan open vragen beoordelen en/of resultaten vastleggen van alle kandidaatafnames; dit kan zowel horizontaal als verticaal. De coördinator kan geen kandidaten aan ontwikkelaars toewijzen. Bij het herbeoordelen of opnieuw nakijken (tweede nakijkmoment) wordt het eerste nakijkmoment overschreven.

10 C. Instellen dat twee of meer docenten twee of meer vragen na kunnen kijken (horizontaal nakijken). Vb1. docent A en B kijken samen alle antwoorden op vragen 1 t/m 3 na en de antwoorden van de studenten worden evenredig verdeeld over beide docenten. Docent A, B en C kijken samen alle antwoorden op vragen 4 t/m 6 na en de antwoorden van de studenten worden evenredig verdeeld over de 3 docenten of er wordt gekozen voor een alternatieve verdeling in de werklast. Kies hiervoor een Vrije Toewijzing. Een evenredige verdeling en alternatieve verdeling in de werklast is alleen mogelijk als beoordelaars hier onderlinge afspraken over maken. Elke ontwikkelaar die aan de afname is gekoppeld kan open vragen beoordelen en/of resultaten vastleggen van alle kandidaatafnames; dit kan zowel horizontaal als verticaal. De coördinator kan geen kandidaten aan ontwikkelaars toewijzen. Bij het herbeoordelen of opnieuw nakijken (tweede nakijkmoment) wordt het eerste nakijkmoment overschreven. D. Instellen dat één of meer docenten een groep studenten kunnen nakijken (verticaal nakijken). Vb1. Docent A kijkt van de 100 studenten, 10 studenten na die in zijn eigen groep zitten. Docent B kijkt 10 andere studenten na, etc... Vb2. Docent A en B kijken van de 100 studenten, 50 studenten na, Docent C en D kijken de andere 50 studenten na. Er kan hier gekozen worden voor een evenredige of alternatieve verdeling. Kies hiervoor een Automatische of Handmatige Toewijzing en stel de werklast per beoordelaar in om een evenredige of alternatieve verdeling te krijgen. Bij automatische toewijzing worden de studenten automatisch toegewezen aan ontwikkelaars op basis van de ingestelde werklast. De coördinator kan deze toewijzingen wijzigen. Bij een handmatige toewijzing moet de coördinator de studenten handmatig aan beoordelaars toewijzen, anders kunnen open vragen niet beoordeeld worden. Bij een Automatische of Handmatige Toewijzing kan er een tweede nakijkmoment of herbeoordeling worden ingesteld. E. Instellen dat één of meer docenten elke student na kunnen kijken die de toets gemaakt heeft (horizontaal of verticaal nakijken). Kies hiervoor een Vrije Toewijzing. Elke ontwikkelaar die aan de afname is gekoppeld kan open vragen beoordelen en/of resultaten vastleggen van alle kandidaatafnames; dit kan zowel horizontaal als verticaal. De coördinator kan geen kandidaten aan ontwikkelaars toewijzen. Bij het herbeoordelen of opnieuw nakijken (tweede nakijkmoment) wordt het eerste nakijkmoment overschreven. F. Instellen van nieuwe beoordelingsinstellingen mocht het fout gaan in bovenstaande beschreven

11 scenario s. Over het algemeen kan worden gezegd dat een wijziging in de beoordelingsinstellingen niet tot onverwachte situaties leidt. Anders krijg je hiervan vooraf een melding. Wijzigingen hebben nooit consequenties voor reeds vastgelegde beoordelingen. - Een andere vorm van toewijzing is gewenst als het nakijken al is gestart en welke consequenties heeft dit: Als je wisselt naar een vrije toewijzing dan worden bestaande toewijzingen verwijderd (dit geldt ook bij wijzigen van de toewijziging als het nakijken nog niet is gestart). Afgeronde eerste beoordelingen blijven ongemoeid. - Wijzigen van werklast als het nakijken al is gestart: Het wijzigen van de werklast bij een automatische toewijzing is na de toetsafname niet mogelijk. Het wijzigen heeft geen consequenties voor het proces van nakijken. Indien het wel gewenst is om een andere werklastverdeling toe te passen, dient een nieuwe toewijzing plaats te vinden. - Beoordelaar/coordinator wijzigen als het nakijken is gestart of het aantal beoordelaars wijzigen als het nakijken reeds is gestart: Het wijzigen van de coördinator heeft geen consequenties voor het proces van nakijken. Als een beoordelaar uit de afname wordt verwijderd, verdwijnen de toewijzingen en niet afgeronde beoordelingen van deze beoordelaar. Het heeft geen consequenties voor reeds afgeronde en vastgelegde beoordelingen. - Type beoordeling (één beoordelaar/twee beoordelaars na elkaar/tegelijk) wijzigen als er reeds gestart is met nakijken. Als het type beoordeling wisselt van twee beoordelaars naar één beoordelaar of een vrije beoordeling heeft dit consequenties voor de toewijzingen en eventueel afgeronde tweede beoordelingen. De consequentie is dat er beoordelingen en toewijzingen kunnen worden verwijderd. Als dit kan optreden wordt er een waarschuwing gegeven; op dat moment kan de wijziging nog ongedaan gemaakt worden. G. Nakijken buiten TestVision Online Kandidaten kunnen als antwoord op een open vraag een bestand inleveren. Je kunt bij de beoordelingsinstellingen van een afname bij Toewijzingen kiezen voor beoordeling Buiten TestVision. De afname komt dan niet in het onderdeel Beoordelen. Dit betekent dat de resultaten nooit in TestVision

12 Online worden verwerkt. 3. Kandidaten toevoegen aan het toetsmoment Via de knop Importeren kan een.csv bestand met kandidaatgegevens aan het toetsmoment gekoppeld worden. Hierbij is het belangrijk om de UvANetIDs en HvA-IDs van de studenten in het importbestand te vermelden; dit is de aanmeldnaam in TVO. Hiermee logt de student ook in in de toetsapplicatie. Het importbestand kan zoals hieronder aangegeven in Excel opgeslagen worden als.csv. Deze informatie is voldoende om de juiste kandidaten te koppelen aan het toetsmoment. LET OP: Vink bij het importeren van de kandidaten de knoppen Bestaande kandidaten verplaatsen en Bestaande kandidaten bewerken UIT. De rechten om kandidaten te bewerken is per ontwikkelaar aan/uit te zetten.

13 4. Ticketed afname inplannen Er wordt geadviseerd om voor elke toetsafname een identieke ticketed afname in te plannen voor studenten die niet kunnen inloggen via SURFconext. Plan, na het doorlopen van scenario 1 t/m 3, hiertoe nogmaals de toets in door een kopie van de afname te maken. Voor de ticketed afname selecteer je Gebruik tickets in plaats van gewone toewijzingen. De afnameperiode is dan niet meer zichtbaar en dient apart ingesteld te worden. Voor een ticketed afname moet de afname periode apart worden ingesteld:

14 2.4 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Kandidaten (sneltoets 4) en selecteer je de juiste map. 1. Vinkje extra tijd bij toetstijdverlengers Om in te stellen of een student recht heeft op extra tijd, dient eenmalig bij de kandidaatgegevens van de student een vinkje bij Extra Tijd geplaatst te worden. Als bij de afnameinstellingen van de toets Extra Tijd wordt toegekend (scenario III.1B Toegang), krijgt een student met het vinkje dit automatisch toegekend tijdens de afname. Zoek de juiste student op en vink Extra tijd aan.

15 3. Afnemen TestVision Online biedt een speciaal daarvoor ingerichte afnameomgeving voor HvA en UvA studenten, voor het afnemen van een digitale toets. De student logt in op de afnameomgeving en de digitale toets kan opgestart worden. Tijdens de toets worden de inloggegevens van de student weergegeven in de applicatie en kunnen deze gecontroleerd worden. Gegeven antwoorden van de studenten worden regelmatig en tijdens het navigeren tussen vragen, opgeslagen. Het afnameproces wordt bij summatieve toetsen omgeven door een aantal veiligheidsmaatregelen om te garanderen dat alleen ingeschreven studenten de toets maken en dat er niet vanaf een andere dan de gewenste locatie getoetst kan worden. Bij een toetsafname kunnen de volgende scenario s zich voordoen: 3.1 Toetsbeveiling voor het toetsmoment controleren en/of aanpassen in TestVision Online 3.2 Een student kan niet inloggen in TestVision Online met zijn/haar UvANet/HvA-ID 3.3 Een student is ingelogd in TestVision Online, maar ziet geen toets staan 3.4 Extra tijd toekennen 3.5 Zichtbaarheid van de resultaten controleren en/of aanpassen 3.6 Overig

16 3.1 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en zoek je de juiste toets op. Scenario Toetsbeveiliging Uitwerking in TVO Ga naar de afname instellingen door op het potloodicoontje te klikken van de desbetreffende toets. 1. De toets is niet zichtbaar in de toetszaal 2. Het afnamewachtwoord wijzigen na opstart van de toets Controleer of de juiste locatie is geselecteerd. Selecteer, indien nodig, de juiste locatie. Let op: vink altijd de locatie IP-controle aan Advies: wijzig na opstart van het tentamen als de kandidaten reeds zijn ingelogd het wachtwoord. Dit is een extra veiligheidsmaatregel. Naast het feit dat het systeem een melding geeft als een student een tweede keer wil inloggen, zal een student dit dus nooit ongemerkt kunnen doen. De student zal een surveillant of docent moeten vragen naar het nieuwe wachtwoord (geef het gewijzigde wachtwoord dus niet aan de hele zaal door). Hierbij kan meteen gecontroleerd worden wat er precies aan de hand is en waarom de student opnieuw probeert in te loggen.

17 3.2 Voor het uitwerken van deze scenario s in TVO ga je in het hoofdmenu naar Kandidaten (sneltoets 4) en selecteer de Topmap. Scenario Inloggen in de applicatie Uitwerking in TVO 1. Een student kan niet inloggen met zijn UvANet/HvA-ID in TVO. Controleer eerst of de student in TVO staat. Zoek in de Topmap de betreffende student op, d.m.v. UvANet/HvA-ID [mocht dit geen resultaten opleveren, zoek nogmaals op studentnummer en/of achternaam]. A. De student staat correct in TVO, dan is naar alle waarschijnlijkheid zijn UvA of HvA account geblokkeerd of de student is zijn wachtwoord vergeten. Als de student alsnog zijn toets mag maken, kan hij inloggen met een ticket op een ticketed afname (Zie voor het genereren van een ticket scenario Ticketed afname inplannen) In de toetszaal plaatst de WerkPlekOndersteuner (WPO) de ticket afname URL voor de student op het bureaublad. De CDT, examinator of surveillant geeft het ticket aan de student. De student logt in met het ticketnummer en wachtwoord. B. De student staat niet als kandidaat in TVO. Maak een nieuwe kandidaat aan. Hiervoor geldt: - Maak de kandidaat als volgt aan in de Top map: Aanmeldnaam = HvA-ID of UvANet-ID Weergavenaam = Achternaam, Voorletters, Studentnummer Wachtwoord = zelf gegeneerd wachtwoord; de student logt in via SURFconext met zijn/haar eigen wachtwoord. - Voeg vervolgens de kandidaat ook toe aan het toetsmoment en, indien nodig, de ticketed afname

18 3.3 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en zoek je de juiste toets op. Scenario Problemen bij start van de toets 1. De student is ingelogd, maar ziet geen toets staan. Uitwerking in TVO A. De student is nog niet toegevoegd aan het toetsmoment. Voeg de student alsnog toe aan het toetsmoment. Ga hiervoor naar de juiste Afname > Bewerken (potloodicoontje) > Onderaan de pagina klik je op Selecteren > Via de zoekfunctie zoek je vanuit de Topmap de student op en voeg je hem toe aan de afname > Klik op Opslaan. Als de student de pagina ververst (F5) is de toets zichtbaar en kan de student starten. Let op: voeg, indien nodig, de student ook toe aan de ticketed afname. B. Er is een onjuiste IP-filter actief. Zie scenario 3.1 Toetsbeveiliging C. Kenmerk actief (beschikbaar vanaf studiejaar 2017/2018)

19 3.4 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en zoek je de juiste toets op. Scenario Extra tijd toekennen Uitwerking in TVO Ga naar de afname instellingen door op het potloodicoontje te klikken van de desbetreffende toets. 1. Wegens een verstoring van de toets hebben alle studenten recht op extra tijd 2. Extra tijd van de TTVers is niet (correct) ingesteld 3. De afnameperiode is niet correct ingesteld Stel de verlengingsfactor groter in; de toetstijd zal per stap met een factor 0,1 van de totale toetstijd toenemen. Let hierbij op de eindtijd van je afnameperiode en pas die, indien nodig, ook aan. Stel de extra tijd in. Let hierbij op de eindtijd van je afnameperiode en pas die, indien nodig, ook aan. Pas de startdatum en tijd en einddatum en tijd aan. Toelichting: als voor de afnameperiode is ingesteld: , 08.00u tot , 13.00u kan een student binnen deze afname periode inloggen en de toets maken. Om 13.00u zal voor iedereen de toets afsluiten (ongeacht of de toetstijd van de student erop zit of niet).

20 3.5 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en zoek je de juiste toets op. Scenario Zichtbaarheid resultaten Uitwerking in TVO Ga naar de afname instellingen door op het potloodicoontje te klikken van de desbetreffende toets. 1. De zichtbaarheid van de resultaatpagina aan of uitzetten Vink Resultaatpagina tonen desgewenst aan of uit. Dit kan ook gelden voor andere toetsen die op het moment van afname op de resultatenpagina zichtbaar zijn. Let op: het betreft hier het onderdeel Resultaten bekijken in het menu scherm van de kandidaat. Door het aanzetten van de optie Voorlopig resultaat wordt ingesteld dat een kandidaat bij het bekijken van zijn resultaat een melding krijgt dat het resultaat voorlopig is, en dus nog niet definitief vaststaat. Advies: Zet van alle voor de kandidaat beschikbare toetsen tijdens een toetsafname de resultaatpagina uit. Dit om te voorkomen dat studenten de vragen, correcte antwoorden en mogelijke feedback kunnen inzien. 2. De na de toets zichtbare resultaatonderdelen aanpassen Als Resultaatpagina tonen is aangezet, krijgt de student na afronden van de toets de informatie te zien zoals die is ingesteld in de toetstemplate. Voor het aanpassen van deze informatie, dient dus de toetstemplate te worden aangepast. Zie hiervoor scenario Toetstemplate samenstellen

21 3.6 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5) en zoek je de juiste toets op. Scenario Monitoren van een toetsafname Uitwerking in TVO Via het scherm Resultaten per Afname kan de voortgang van kandidaten die met de afname bezig zijn gemonitord worden. Klik op de knop Monitoring onderin het scherm om het venster Monitoring te openen. In dit venster is de volgende informatie zichtbaar: - Een vinkje indien een kandidaat zich heeft aangemeld bij TestVision Online - Status: hier ziet u waar de kandidaat in de toets is - IP-adres: hier ziet u het IP-adres waarvandaan de kandidaat zich heeft aangemeld - Locatie: hier ziet u de locatie die bij het IP-adres hoort (indien door de applicatiebeheerder ingesteld)!!!: indien dit staat vermeld bij een kandidaat, zijn er bijzonderheden gedetecteerd - : hier kan de afnamehistorie van de kandidaat worden bekeken In de afnamehistorie zijn de bijzonderheden oranje gemarkeerd. Dit betreft het meer dan eens starten van dezelfde toets of het starten van de afname vanaf een ander IP-adres dan eerder bij dezelfde afname. Problemen bij toetsvoortgang 1. Een student sluit de browser af, tijdens het maken van zijn toets 2. Een student sluit (per ongeluk) vroegtijdig de toets af Als de student de browser weer opstart kan hij opnieuw inloggen; alle gegeven antwoord zijn bewaard gebleven. In het monitoring scherm verschijnt een melding (!!!). Als het afnamewachtwoord is gewijzigd, zal de surveillant of docent het nieuwe wachtwoord moeten invoeren voor de student. De afgesloten toets kan niet meer open worden gezet. De student kan wel helemaal opnieuw starten. Maak eerst de individuele afname van de kandidaat ongeldig (deze blijft overigens gewoon beschikbaar om in te zien) en voeg de kandidaat opnieuw toe aan het toetsmoment. Dit geldt ook voor een ticketed afname. Let op: Om bij een toets met open vragen het resultaat ongeldig te maken, moet de ontwikkelaar vastlegrechten hebben op de betreffende afname. Een resultaat moet namelijk

22 eerst worden vastgelegd, voordat het ongeldig kan worden gemaakt. Voeg de student vervolgens opnieuw toe aan het toetsmoment: Afname > Bewerken (potloodicoontje) > Onderaan de pagina klik je op Selecteren > Via de zoekfunctie zoek je vanuit de Topmap de student op en voeg je hem toe aan de afname > Klik op Opslaan. Als de student de pagina ververst (F5) is de toets zichtbaar en kan de student starten. Het is een nieuwe afname dus alle antwoorden moeten opnieuw worden ingevuld. 3. Een toets van een student handmatig afsluiten Onder Afname kan je bij de Resultaten van het juiste toetsmoment de status bekijken. Klik op de betreffende kandidaat > In het menu rechts onder Pogingen kan je de toets beëindigen. 4. Contoleren of de toets van een student correct is afgesloten Via het scherm Resultaten per Afname of Monitoring kan de voortgang van kandidaten gecontroleerd worden.

23 4. Nakijken Het nakijken van de toets hangt af van de gekozen vraagtypen. Bij digitale toetsen wordt vaak gekozen voor gesloten vragen en dan kan de toetssoftware het antwoord van de student vergelijken met het door de docent ingegeven correcte antwoord. In deze situatie is de toets na de afname in feite direct nagekeken. Open vragen moeten worden nagekeken in de toetsapplicatie TestVision Online. Daarnaast biedt TestVision Online ook de mogelijkheid om door de student geüploade bestanden in bulk te downloaden en buiten het systeem na te kijken. 4.1 Beoordelingsproces coördineren 4.2 Beoordelen open vragen

24 4.1 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Beoordelen (sneltoets 6 ) en kies je de juiste afname. Scenario Het coördineren van een beoordelingsproces Uitwerking in TVO De toegewezen coördinator kan het beoordelingsproces na de afname instellen of wijzigen. Zie hiervoor de TVO Instructievideo Beoordelingproces Coördineren (open vragen) Voor het wijzigen van beoordelingsinstelling zie scenario Wijzigen beoordelingsinstellingen. Let op dat er onderling goede afspraken gemaakt worden bij de gekozen nakijkverdeling. Een domeinbeheerder kan tevens de vooraf toegewezen coördinator op elk moment wijzigen. Advies: Voor het vastleggen van resultaten krijgt idealiter één docent deze rechten. Dit om te voorkomen dat beoordelingen te vroeg of onjuist worden vastgelegd; na het vastleggen is het niet meer mogelijk om beoordelingen aan te passen uiteraard kan het resultaat (score) van de student nog wel worden aangepast.

25 4.2 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Beoordelen (sneltoets 6 ) en kies je de juiste afname. Beoordelen open vragen 1. Open vragen beoordelen in TVO Voor het beoordelen van open vragen zie de Instructievideo Beoordelen (open vragen) of: Klik in het hoofdmenu op Beoordelen Klik vervolgens op het tabblad Beoordelaar op de knop Beoordelen achter de juiste afname. Het venster Afname-beoordelingsoverzicht verschijnt. Afhankelijk van de beoordelingsinstellingen verschijnt hier alleen het tabblad Per kandidaat beoordelen of ook het tabblad Per vraag beoordelen. Bij Per kandidaat beoordelen worden alle antwoorden van één kandidaat beoordeeld, bij Per vraag beoordelen alle antwoorden op één bepaalde vraag. Het beoordelen gebeurt in beide gevallen op dezelfde manier. Daarnaast zijn in dit venster de kolommen B1, B2, HB en EB zichtbaar. Deze afkortingen staan respectievelijk voor Beoordelaar 1, Beoordelaar 2, Herbeoordelaar en Eindbeoordeling. Of een kolom actief is, is afhankelijk van de beoordelingsinstellingen. Klik op de knop Beoordelen achter een kandidaat of vraag De eerst beschikbare open vraag wordt getoond in een nieuw venster, met het door de kandidaat ingevoerde antwoord. Onderin het scherm staat het beoordelingsvoorschrift. Voer in het vak Vraagscore de passende score in en voer indien gewenst in het vak Feedback de feedback in voor de kandidaat.

26 Met de knop Wis beoordeling kan een beoordeling gewist en daarna opnieuw ingevoerd worden. De eventueel ingevoerde feedback wordt dan ook gewist! Met de knop Volgende wordt genavigeerd naar de volgende te beoordelen vraag, met de knop Vorige wordt genavigeerd naar de vorige vraag. Via de knop Overzicht is een overzicht van beschikbare open vragen op te vragen en kan naar de eerste nog niet beoordeelde open vraag genavigeerd worden. Klik op de knop Sluiten als u klaar bent met het beoordelen van open vragen 2. TVO als inleverbox Studenten kunnen als antwoord op een open vraag een bestand inleveren. Voor het beoordelen kunnen de bestanden bij de Resultaten van een afname via de knop Downloads worden gecollect dit kan ook als coördinator van de beoordeling van een afname via Toewijzingen.

27 5. Analyseren Na het nakijken is de toetsanalyse aan de orde. Deze analyse is gericht op het opsporen van items die van onvoldoende kwaliteit zijn (bijvoorbeeld omdat ze te gemakkelijk, te moeilijk of ambigu blijken te zijn).

28 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Gepubliceerde Toetsen (sneltoets 3 ), klik op Resultaten bij de juiste toets. Scenario Bekijken toets en itemanalyse in TVO Uitwerking in TVO Selecteer de juiste afname(s) van deze toets en met de knop Analyse onder in het scherm kan de statistische analyse van een toets opgevraagd worden. Het venster Statistische analyse heeft twee tabbladen: Toetsanalyse en Itemanalyse. Een statistische analyse kan per hoofdversie van een toets uitgevoerd worden (1.x, 2.x etc.). De hoofdversie van een toets wordt bijvoorbeeld gewijzigd als de samenstelling van de vragen in de toets is gewijzigd, of als een vraag in een toets een andere sleutel heeft gekregen. In het vak Versie, boven in het venster, kan de gewenste hoofdversie geselecteerd worden. Let op: bij een toets met open vragen dienen de nagekeken vragen eerst te worden vastgelegd, alvorens de analyse kan worden uitgevoerd. Op het tabblad Toetsanalyse staan links de kenmerken van de toets, rechts staan de analysegegevens van de toets. Op het tabblad Itemanalyse staan in de eerste kolom van de itemanalyse kleurcoderingen die een indicatie van de kwaliteit van de vraag geven. Aanpassen itemresultaat De toets en itemanalyse kunnen geëxporteerd worden naar Excel via de knop Download CSV. Met de knop Vastleggen worden de analysegegevens van de toets en de toetsvragen toegevoegd aan de detailinformatie van de vragen en de toets. Individueel niveau: Selecteer de juist afname en klik onder Afnamedetails op de pijl in onderstaande afbeelding om voor een individuele student het resultaat aan te passen. Selecteer in het volgende scherm Resultaten per Afname de juiste student en klik onder de juiste poging op Aanpassen. De volgende aanpassingen zijn mogelijk: een vraag goed rekenen, een vraag niet meetellen, of de toegekende score op een open vraag wijzigen met

29 het potloodicoontje achter het resultaat Let op: Als er wordt gekozen voor de optie Niet meetellen, kan de score van de kandidaat lager uitvallen. Toetsniveau: Selecteer de juist afname, klik op Aanpassen en kies het tabje Itemresultaat. De volgende aanpassingen zijn mogelijk: een vraag goed rekenen, een vraag niet meetellen of voor een één uit meer vraag de antwoordsleutel aanpassen door te klikken op het potloodicoontje. Door het aanvinken van de optie Hoogste resultaat kunt u zorgen dat zowel de oorspronkelijke als de aangepaste sleutel goed gerekend worden. Aanpassen toetsresultaat Exporteren van ruwe resultaten Standaard toetsanalyse in Excel Selecteer de juist afname en klik op Aanpassen. Op het tabblad Toetsresultaat kunnen de cesuurmethode, het cesuurpercentage en de cijferbepaling gewijzigd worden. Achter elk item staat de oorspronkelijke instelling tussen haakjes vermeld. Het exporteren van ruwe resultaten (gegeven antwoorden van de student per vraag) van een toets is alleen mogelijk voor één-uit-meer (meerkeuze) vragen. Voor een toets bestaande uit open en één-uit-meer (meerkeuze) vragen, dienen de open vragen eerst te worden nagekeken voordat de ruwe resultaten van de één-uit-meer vragen gegenereerd kunnen worden. Zie de standaard toetsanalyse in Excel. Voor andere gesloten en open vragen is het (nog) niet mogelijk de ruwe resultaten voor alle studenten in Excel te genereren. Er is een aparte statistische analysemodule ontwikkeld voor gebruikers die meer informatie willen hebben. Deze macro s zijn te downloaden via de volgende URLs ; kopieer en plak deze in de browser. voor een vast samengetelde toets voor een at random samengetelde toets Een Excelsjabloon met macro s wordt gegenereerd, waarin analysegegevens kunnen worden geïmporteerd. Deze analysegegevens kan een ontwikkelaar zelf downloaden via de analyse van een gepubliceerde toets: Selecteer de juiste afname en klik op analyse. Houd vervolgens de SHIFT-toets ingedrukt en klik op de knop Download CSV.

30 6. Rapporteren Het rapporteren volgt op de toetsanalyse, vaak in de vorm van een cijfer op een tienpuntschaal. Het vaststellen en bekend maken van de cijfers vindt meestal buiten de toetssoftware plaats. Om de resultaten van een gemaakte toets door te voeren in SIS of andere systemen dienen de resultaten uit TVO gehaald te worden d.m.v. een export (bron: Begrippenkader voor digitaal toetsen SURF). Zie onderstaande scenario s voor de export mogelijkheden binnen TVO.

31 6. 1 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Afnames (sneltoets 5). Scenario Toetsresultaten genereren Gemaakte toets genereren Inzagemoment plannen Uitwerking in TVO Klik op de knop resultaten bij de juiste afname. Klik vervolgens bovenaan het scherm op de knop downloads. De toetsresultaten kunnen als CSV bestand of als PDF bestand gedownload worden. Zie voor de cijferbepalingsmethode die in TVO wordt gehanteerd wordt het document Cijferbepaling in TestVision. Houd er rekening mee dat de TVO cijferbepaling mogelijk afwijkt van de door de faculteit gehanteerde cijferbepalingsmethode. Klik op de knop resultaten bij de juiste afname. Klik vervolgens bovenaan het scherm op de knop downloads. Om de gemaakte toets inclusief antwoorden van de studenten te downloaden als één PDF-bestand, of als een verzameling PDF-bestanden per student (ZIPbestand) klik op de knoppen Reviews als PDF bestand of Reviews als individuele PDF's in ZIP bestand. Vanuit de schermen Resultaten per afname en Resultaten per kandidaat kan een PDFdocument gedownload worden. Klik bij de betreffende student in het vak Pogingen op de knop Review van de toets die u wilt downloaden. Klik vervolgens op de knop PDF-document genereren. Om de studenten de mogelijkheid te bieden om hun gemaakte toets in te zien kan er een inzageperiode ingesteld worden door op het potloodicoontje van de desbetreffende afname te klikken. Dit kan zowel voor als na de toetsafname. Bij de afname instellingen onder het tabblad resultaat kan de inzage worden ingepland. De instellingen die vervolgens geselecteerd kunnen worden, komen in de plaats van de instellingen van de gekoppelde toetstemplate bij latere inzage van resultaten. U kunt de volgende inzage-instellingen kiezen: - Inzagewachtwoord: dit wachtwoord moet elke kandidaat invoeren om de resultaten te kunnen bekijken. - Inzageperiode: Klik op de datum- en tijdselector om het tijdstip in te vullen voor de periode waarbinnen een toets ingezien mag worden. - Er zijn een aantal opties die getoond kunnen worden aan de kandidaat tijdens de inzage. Per optie kan aangegeven worden of deze wel of niet zichtbaar is tijdens de inzage.

32 Voor het uitwerken van onderstaande scenario s in TVO ga je in het hoofdmenu naar Learning Analytics (sneltoets 7). Learning Analytics genereren Via Learning Analytics kunnen door het opgeven van selectiecriteria verschillende dwarsdoorsnedes van de data gedownload worden. De data kan geëxporteerd worden naar XML of CSV en zelfstandig verder bewerkt worden. Er is een uitgebreide gebruikersinstructie Learning Analytics beschikbaar op de documentatiepagina van TVO.

33 7. Evalueren De evaluatie is erop gericht de toets een volgende keer beter te construeren, bijvoorbeeld door de erg moeilijke en erg gemakkelijke vragen te bekijken, hiervan te leren en desgewenst voor hergebruik aan te passen. De zeer goede vragen (dit blijkt uit de psychometrische analyse) kunnen wellicht op een later moment worden hergebruikt (bron: Begrippenkader voor digitaal toetsen SURF).

34 8. Help-functie TVO heeft een zeer uitgebreide Help-functie die passende informatie geeft over het onderdeel van de applicatie waar men zich op dat moment in bevindt. Op deze manier is direct de juiste informatie beschikbaar bij vragen en onduidelijkheid in de applicatie. De Help-knop is in elk menu (behalve het startmenu) linksonder in het scherm te vinden. Naast bovengenoemde Help-functie is er ook een documentenpagina in TVO waarin alle handleidingen en instructies te vinden zijn. Klik op Help in het startmenu, zie hierbeneden, en daarna op documentatie. Tevens staan hier ook de meest recente nieuwe functionaliteiten en wijzigingen in TVO alsmede een link naar de instructievideo s waar vaak naar wordt verwezen in de in dit document beschreven onderwijsscenario s.