HANDBOEK COE Centraal Ontwikkelde Examens Nederlandse taal en rekenen MBO 2F/3F Pilotjaar 2012-2013 Versie 2, oktober 2012
Inhoudsopgave 1 Leeswijzer... 3 2 Inleiding... 4 2.1 Fasering implementatietraject... 4 2.2 Wat is anders in 2012-2013?... 5 2.2.1 ExamenTester 2.10... 5 2.2.2 Portal-accountbeheerder, een nieuwe rol... 5 2.2.3 Distributie via Cito Portal... 6 2.2.4 Systeemcheck en terugkoppeling FT-aantallen... 6 2.2.5 Final Check in plaats van Proef op de Som... 6 2.2.6 Niveau 1... 6 2.2.7 Geen aanmelding voor mbo-2, mbo-3 en mbo-4... 6 2.2.8 Aanpassingen voor kandidaten met een beperking... 6 2.2.9 Toegestane hulpmiddelen bij het examen... 7 2.2.10 Rekenmachine... 7 2.2.11 Publicatie voorbeeldexamens... 7 3 Activiteiten tot aan de digitale afname... 9 3.1 Voorlichting aan contactpersonen... 9 3.2 Portal-account(s))... 9 3.2.1 Portal-accountbeheerder(s)... 9 3.2.2 Toetsleiders... 10 3.3 Aanmelding voor deelname... 11 3.3.1 Deelnemen aan pilotexamens in 2012-2013... 11 3.4 Voorbereiding van de afname... 12 3.5 Verplichte systeemcheck... 13 3.5.1 Doel en randvoorwaarden... 13 3.5.2 Verloop... 14 3.5.3 Tijdpad systeemcheck... 15 3.5.4 Problemen met de systeemcheck, wat nu?... 16 3.6 Final Check... 19 3.6.1 Doel Final Check... 19 3.6.2 Uitvoering Final Check... 19 3.7 Invoer kandidaten... 20 3.8 Downloaden packages... 20 3.9 Planning van afname... 20 3.9.1 Aantal perioden per cursusjaar... 20 3.9.2 Programmering in een dakpan-model... 20 3.9.3 Aangewezen tijdvakken voor 2012-2013... 21 3.9.4 Programmering tijdens een afnameperiode... 21 3.10 Technische ondersteuning... 21 4 De afname... 23 4.1 Status van de afname... 23 4.2 De organisatie van de afname... 23 4.3 Storingen tijdens een afname... 24 4.3.1 Technische problemen tijdens de afname... 24 4.3.2 Onoplosbare problemen tijdens een afname... 24 4.3.3 Typen... 24 4.3.4 Escalatieprocedure bij ongeldigheidsverklaring... 25 4.4 Geheimhouding... 26 4.5 COE examenlijn... 26 4.6 JOB examenlijn... 26 4.7 Kandidaten met een beperking... 26 Handboek COE 2012-2013, versie 2, oktober 2012 1
4.7.1 Kandidaten met dyslexie... 26 4.7.2 Kandidaten met een auditieve beperking... 27 4.7.3 Kandidaten met een visuele beperking... 27 4.7.4 Kandidaten met een zeer zware beperking... 27 4.7.5 Overige beperkingen... 28 4.7.6 Hulpmiddelen en beperkingen... 28 4.8 Hulpmiddelen... 28 4.8.1 Toelichting op gebruik woordenboek... 28 4.8.2 Gebruik eigen rekenmachine... 29 4.9 Enquêtes... 29 5 De resultaten... 30 5.1 Vaststelling cijfer... 30 5.2 Evaluatie van pilot... 30 6 Bijlagen... 31 6.1 Concept-protocol voor afname... 31 6.2 Kandidaten informeren en motiveren... 37 Handboek COE 2012-2013, versie 2, oktober 2012 2
1 Leeswijzer Dit handboek beschrijft de gang van zaken bij de afname van de pilotexamens taal en rekenen 3F voor mbo 4 en 2F voor mbo 1, 2 en 3 tijdens het cursusjaar 2012-2013. Deze informatie is van belang voor allen die betrokken zijn bij de (organisatie van de) afname van de centraal ontwikkelde examens binnen de onderwijsinstellingen voor mbo. Hier treffen de betrokkenen binnen de instelling informatie aan die nodig is om de afname te kunnen organiseren en uitvoeren. Daarnaast bevat dit handboek ook teksten die vallen onder de regelgeving waarvoor het College voor Examens verantwoordelijk is, zoals beschreven in het Examenbesluit beroepsopleidingen WEB (2 juli 2010). Daarmee is dit handboek niet alleen informerend maar ook voorschrijvend. Dat geldt met name voor het protocol van afname dat als bijlage toegevoegd is aan dit handboek en voor paragraaf 4.7 Kandidaten met een beperking. Voor zover er sprake is van voorschriften, moet in ogenschouw genomen worden dat er bij de afname in de pilotfase nog steeds sprake is van beproeving van toekomstige regelgeving. Naast dit handboek is een bijbehorende Activiteitenplanning beschikbaar, die een overzicht biedt van de vermelde activiteiten met de bijbehorende tijdsplanning. Ook het handboek bevindt zich in een pilotfase. De deelnemende onderwijsinstellingen zullen dan ook zo nodig op een bepaald moment een nieuwe versie ontvangen van dit handboek. Op http://coe.cito.nl staat altijd de meest actuele versie van zowel het handboek als de activiteitenplanning. Voor zover het de activiteiten betreft die uitgevoerd moeten worden binnen de toetsprogrammatuur ExamenTester, is de aanduiding in dit handboek summier. Voor meer uitleg bij deze handelingen, verwijzen wij naar de Gebruikershandleidingen. Deze bestaan voor verschillende gebruikers (IT deskundige, toetsleider) en zijn te vinden via; http://coe.cito.nl. De informatie in dit handboek is geordend volgens de volgorde die zich aandient bij de organisatie van de examinering. Deze versie die gedateerd is op oktober 20102 bevat enkele wijzigingen ten opzichte van de eerste versie van september 2012. Deze wijzigingen zijn met geel gemarkeerd in de tekst. Handboek COE 2012-2013, versie 2, oktober 2012 3
2 Inleiding De afname van centraal ontwikkelde examens taal en rekenen 2F en 3F in dit pilotjaar zijn stappen op weg naar centraal ontwikkelde examens Nederlandse taal en rekenen voor mbo conform het Examenbesluit beroepsopleidingen WEB (d.d. 2 juli 2010, publicatie in Staatsblad 2010, nr. 294) en Besluit tot wijziging van het Examen- en kwalificatiebesluit beroepsopleidingen WEB (d.d. 23 april 2012, publicatie in Staatsblad 2012, nr. 217). Het hele traject van implementatie is gefaseerd opgebouwd. 2.1 Fasering implementatietraject Referentieniveau 3F: mbo 4 schooljaar wanneer activiteit 2009-2010 maart 2010 prototype beschikbaar (via Steunpunt) 2010-2011 december 2010 syllabus beschikbaar (via Steunpunt) 2011 2012 1 e pilotjaar 2012 2013 2 e pilotjaar februari 2011 vanaf maart 2011 jan/feb 2012 juni 2012 nov/dec 2012 jan/feb 2013 mrt/apr 2013 pre-pilot op beperkt aantal instellingen oefenen met voorbeeldexamens op alle onderwijsinstellingen 1 e periode afname pilotexamens op alle onderwijsinstellingen (substantieel aantal studenten) 2 e periode afname pilotexamens op alle onderwijsinstellingen (substantieel aantal studenten) 1 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) 2 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) 3 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) 2013-2014 nov/dec 2013 1 e periode verplichte afname COE s voor alle studenten mbo- 4 Referentieniveau 2F: mbo 2 en 3 schooljaar wanneer activiteit 2010-2011 december prototype beschikbaar (via Steunpunt) 2010 2011-2012 december 2011 syllabus beschikbaar (via Steunpunt) 2012 2013 1 e pilotjaar 2013 2014 2 e pilotjaar januari 2012 vanaf maart 2012 nov/dec 2012 jan/feb 2013 mrt/apr 2013 nov/dec 2013 jan/feb 2014 pre-pilot oefenen met voorbeeldexamens op alle onderwijsinstellingen 1 e periode afname pilotexamens op onderwijsinstellingen (substantieel aantal studenten) 2 e periode afname pilotexamens op onderwijsinstellingen (substantieel aantal studenten) 3 e periode afname pilotexamens op onderwijsinstellingen (substantieel aantal studenten) 1 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) 2 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) Handboek COE 2012-2013, versie 2, oktober 2012 4
mrt/apr 2014 3 e periode pilotexamens op alle onderwijsinstellingen (met in principe alle studenten) 2014-2015 nov/dec 2014 1 e periode verplichte afname COE s voor alle studenten mbo- 2 en mbo-3 Het doel van de pilots is enerzijds ervaring opdoen met de logistiek en de organisatie van deze examens en empirische gegevens verkrijgen hoe de kandidaten uit de doelgroep scoren op deze examens. De afname in de pilots gebeurt dan ook zoveel mogelijk op de wijze zoals dat straks ook zal gebeuren als de afname verplicht is. Anderzijds worden op het gebied van organisatie en logistiek bepaalde opties en scenario s uitgeprobeerd om op basis van de opgedane ervaringen gefundeerde keuzes te maken voor het vervolg. 2.2 Wat is anders in 2012-2013? De evaluatie van de afname van de (pre-)pilotexamens in 2011-2012 heeft enkele inzichten opgeleverd die geleid hebben tot bijstellingen. In deze paragraaf volgt een beknopte weergave van de belangrijkste wijzigingen. 2.2.1 ExamenTester 2.10 In het cursusjaar 2012-2013 wordt gewerkt met ExamenTester 2.10. Dit is een nieuwe versie van ExamenTester, waarin bekende fouten (bugs) zijn opgelost. Een externe partij heeft in opdracht van CvE een audit uitgevoerd op zowel het product (ExamenTester 2.10) als op de testprocedures om uit te sluiten dat het product generieke fouten bevat. Generieke fouten zijn in de audit niet naar voren gekomen. In versie 2.10 is ook een aantal functionele aanpassingen gerealiseerd: de rekenmachine is sneller gemaakt; de importfunctie van leerlingen en groepen is verbeterd; er kan een scorerapportage opgevraagd worden in TestManager zonder een N-term in te voeren. (Zie hiervoor de verkorte handleiding voor de toetsleider). het maken en beheren van afnameplanningen is verbeterd; De pilotexamens in 2012-2013 kunnen uitsluitend met versie 2.10 worden afgenomen. Voor afname van deze pilotexamens is het dus noodzakelijk versie 2.10 te installeren en een systeemcheck uit te voeren. ExamenTester 2.10 wordt in september 2012 beschikbaar gesteld. 2.2.2 Portal-accountbeheerder, een nieuwe rol In 2011-2012 is de rol van toetsleider geïntroduceerd, naast de bestaande rol van contactpersoon. De toetsleider werd de functionaris die alle bestanden en documenten van Cito ontving én verantwoordelijk was voor de uitvoering van de examens binnen een portal-account. Uit een evaluatiebijeenkomst met de contactpersonen bleek dat deze rol verwarring oproept. De praktijk in de instellingen is dat er vaak meerdere toetsleiders binnen een portal-account werkzaam zijn en dat aantal zal komende jaren waarschijnlijk toenemen vanwege de opschaling. Voor Cito en CvE is het echter belangrijk dat er slechts 1 aanspreekpunt per portal account is. Daarom wordt nu een extra rol benoemd; die van portal-accountbeheerder. Per portal-account moet een portal-accountbeheerder worden aangewezen door de contactpersoon. Deze portal-accountbeheerder ontvangt de bestanden, wachtwoorden, documenten etc. en is verantwoordelijk voor de inrichting van ExamenTester (Local Server) voor het betreffende portal-account. Het begrip portal-account en de daarmee samenhangende verschillende rollen worden in paragraaf 3.2 nader toegelicht. Handboek COE 2012-2013, versie 2, oktober 2012 5
2.2.3 Distributie via Cito Portal Op termijn zullen al het materiaal en alle bestanden die nodig zijn voor de examinering gedistribueerd worden via Cito Portal. Dat betekent dat er voor de COE geen postpakketten met dvd s meer verstuurd zullen worden naar de onderwijsinstellingen vanuit Cito. Voor de afname periode in november/december zal als eerste gebruik gemaakt worden van de Cito Portal om de packages met examenbestanden te distribueren. Dit wordt nader toegelicht in paragraaf 3.8. 2.2.4 Systeemcheck en terugkoppeling FT-aantallen Naar aanleiding van vragen van instellingen en een analyse van meldingen bij de ICTexamenhelpdesk is besloten een extra toelichting te ontwikkelen met betrekking tot de systeemcheck in de vorm van een Service Document. Dit document wordt beschikbaar gesteld via de website van Cito. Het FT-examen is aangepast. Het is nu minimaal net zo zwaar als een examen Nederlandse taal, dat zware bestanden bevat vanwege de beeld- en geluidfragmenten. Na de uitrol van ExamenTester 2.10 in september vindt er wekelijks terugkoppeling plaats van de FT-aantallen. Dit biedt de instellingen veel meer mogelijkheden voor het inplannen, uitvoeren en zo nodig herhalen van de systeemcheck. De procedure voor de terugkoppeling is verbeterd. De portal-accountbeheerder ontvangt de terugkoppeling van de FT-aantallen, de contactpersoon ontvangt hiervan een cc. Met de oplevering van ExamenTester 2.10 worden niet langer uitsluitend de hoogste aantallen teruggekoppeld, maar FT-aantallen van alle ontvangen dataretour op FT-toetsen met versie 2.10. 2.2.5 Final Check in plaats van Proef op de Som Met ingang van 2012-2013 spreken we van een Final Check in plaats van Proef op de Som. Doel en aanpak hiervan wordt nader uitgewerkt in hoofdstuk 3. 2.2.6 Niveau 1 Het College voor Examens stelt in 2012-2013 deelname aan de pilotexamens 2F open voor mbo-1 studenten. Onderwijsinstellingen kunnen - op vrijwillige basis - een door hen te bepalen deel van de mbo-1 studenten aanmelden voor deelname aan pilotexamens 2F. Het College voor Examens evalueert de opgedane ervaringen bij docenten en deelnemers. Daarnaast onderzoekt OCW in 2012-2013 wat de ervaringen zijn met het gebruik van andere vormen van toetsing in niveau 1. Bij dit onderzoek worden de MBO Raad en het Platform Entreeopleidingen betrokken. Kandidaten van een mbo-1 opleiding die deelnemen aan een COE moeten wel vooraf worden aangemeld via Cito (http:// coe.cito.nl ->2F Pilot). 2.2.7 Geen aanmelding voor mbo-2, mbo-3 en mbo-4 Voor kandidaten van een mbo-2, mbo-3 of mbo-4 opleiding is aanmelding vooraf bij Cito niet meer nodig. Welke kandidaten deel mogen nemen is vermeld in paragraaf 3.3.1. 2.2.8 Aanpassingen voor kandidaten met een beperking De instructie ten aanzien van deelnemers met een beperking in paragraaf 4.7 is uitgebreid. In 2012-2013 kunnen voor studenten met een beperking de volgende aangepaste examens worden ingezet: Voor dyslectische kandidaten een examen (dyslexieversie) Nederlandse taal en rekenen waaraan (kunstmatige) spraak is toegevoegd. Deze versie (in ExamenTester) wordt standaard aan alle instellingen geleverd, naast het reguliere examen. Deze versies bestaan zowel voor 2F als voor 3F. Voor kandidaten met een auditieve beperking: een aangepast examen Nederlandse taal en rekenen waarin het luistergedeelte is vervangen door gelijkwaardige andere opdrachten. Deze versie (in ExamenTester) wordt uitsluitend op speciale bestelling geleverd. Handboek COE 2012-2013, versie 2, oktober 2012 6
Voor kandidaten met een visuele beperking: een aangepast examen Nederlandse taal en rekenen, geschikt voor kandidaten met deze beperking en de door deze kandidaten gebruikte hulpmiddelen zoals brailleleesregel en audio. Daarnaast zijn met name bij rekenen opgaven met een sterk visueel karakter aangepast. Deze versie wordt uitsluitend op bestelling geleverd. Het examen wordt niet in ExamenTester afgelegd. Vanwege de grote varieteit in visuele beperkingen zal maatwerk nodig zijn. Dat kan leiden tot beperkingen in afnamemomenten, andere regels ten aanzien van geheimhouding, en dergelijke. Voor kandidaten met dyscalculie wordt in 2012-2013 geen aangepast examen geleverd. In onderzoek is nog in hoeverre het mogelijk is het COE rekenen zo aan te passen dat recht gedaan wordt aan de exameneisen en tegelijkertijd wordt tegemoetgekomen aan de beperking van de kandidaat. Zie paragraaf 4.7.5. 2.2.9 Toegestane hulpmiddelen bij het examen Met ingang van het studiejaar 2012-2013 is, naast het gebruik van pen/potlood en kladpapier, het gebruik van een verklarend Nederlands woordenboek als hulpmiddel bij de COE s Nederlandse taal en rekenen toegestaan. Het taalgebruik van de examens zal niet anders zijn dan in 2011-2012; bij de ontwikkeling van de examens blijft het uitgangspunt dat de kandidaat geen woordenboek hoeft te gebruiken. Zie paragraaf 4.8. 2.2.10 Rekenmachine Bij de afname van de rekenexamens in januari/februari 2012 is gebleken dat op sommige instellingen de rekenmachine die opgenomen is in ExamenTester, hapert of storingen vertoont. Dit probleem is opgelost in ExamenTester 2.10. Als er toch nog storingen zijn met de rekenmachine is het toegestaan dat kandidaten tijdens het rekenexamen gebruik maken van een rekenmachine buiten ExamenTester om. De daarbij te hanteren werkwijze wordt uiteengezet in paragraaf 4.8.2. 2.2.11 Publicatie voorbeeldexamens Voorbeelden van de pilotexamens zijn er in verschillende vormen. Afhankelijk van het doel dat de instelling beoogt, kan de meest geschikte vorm gekozen worden om het voorbeeldexamen in te zetten. Als een instelling de kandidaten een proefexamen af wil laten leggen waarbij er ook een score en uitslag gegeven wordt (het behaalde cijfer op basis van deze score), moet men het voorbeeldexamen in ExamenTester (oefentoets) met geplande afname gebruiken. Voor situaties waarin men een beeld wil krijgen van de inhoud en de vorm, lenen zich ook andere vormen van het voorbeeldexamen, zoals het inzetten van een oefentoets zonder geplande afname of de html-versie. Zie verder het schema hieronder. De voorbeeldexamens van 2012 2F en 3F die in april 2012 aan de instellingen verzonden zijn, zijn niet af te nemen met ExamenTester 2.10. Voor de voorbeeldexamens van 2012 zullen daarom nieuwe versies naar de instellingen verzonden worden die af te nemen zijn met ExamenTester 2.10. Dit betreft dan één versie van het voorbeeldexamen die zowel gebruikt kan worden als oefentoets met geplande afname en als een oefentoets zonder geplande afname. Van de voorbeeldexamens 3F is ook een dyslexie-versie beschikbaar. In bijgaand overzicht wordt per versie aangegeven voor welk doel en welke doelgroep deze bedoeld is en wanneer de versie beschikbaar is. Handboek COE 2012-2013, versie 2, oktober 2012 7
Handboek COE 2012-2013, versie 2, oktober 2012 8
3 Activiteiten tot aan de digitale afname 3.1 Voorlichting aan contactpersonen Het aanspreekpunt voor het CvE bij de communicatie over de pilot is de contactpersoon 1 van de instelling. De contactpersonen van de onderwijsinstellingen worden ook in 2012 weer uitgenodigd voor een voorlichtingsbijeenkomst waarin de activiteiten ter voorbereiding op de pilotafnames 2F en 3F en de activiteiten tijdens en na afloop van de afnames toegelicht worden. De voorlichtingsbijeenkomsten worden gehouden in september 2012. Data staan vermeld in de activiteitenplanning. 3.2 Portal-account(s)) Instellingen hebben de vrijheid om de installatie en het beheer van ExamenTester aan te laten sluiten bij de eigen organisatiestructuur. Zij kunnen er bijvoorbeeld voor kiezen dat opleidingen of locaties onafhankelijk van elkaar de examinering gaan uitvoeren. In dat geval krijgt elke opleiding of locatie een eigen registratiecode van Cito die hoort bij ExamenTester, een zogenoemd portalaccount. Er kunnen naast organisatorische ook logistieke of technische redenen (bijvoorbeeld op het gebied van de performance) zijn om te kiezen voor meerdere portal-accounts. Een portal-account betekent dus een gescheiden systeem waarin de kandidaten geregistreerd worden en waarin de resultaten opgeslagen worden. Een eigen ExamenTester installatie waar alle resultaten en overige data in verzameld worden, ook voor zover het dataverkeer tussen de instelling en Cito betreft. Ook de rapportages over de resultaten worden per portal-account door Cito aangeleverd. Aan ieder portal-account moet een eigen Local Server worden gekoppeld. Er zijn voor- en nadelen verbonden aan de keuze voor één of meerdere portals (zie voor nadere toelichting: Installatiescenario s ExamenTester 2.10 te vinden via http://coe.cito.nl -> ICTexamenhelpdesk). Wanneer binnen de instelling een besluit genomen is over het aantal afzonderlijke onderdelen waarbinnen geëxamineerd gaat worden in 2012-2013, vraagt de contactpersoon voor dat aantal onderdelen bij Cito een portal-account aan. Als de instelling besluit met hetzelfde aantal portalaccounts te blijven werken als in 2011-2012, hoeft geen nieuwe aanvraag gedaan te worden. Het voor ExamenTester 2.9 uitgereikte portal-account wordt ook gebruikt bij de nieuwe versie van ExamenTester 2.10. De aanvraag van extra portal-accounts en opgave van de daarbij behorende portalaccountbeheerders gebeurt door de contactpersoon via een e-mail aan: coe@cito.nl (zie ook http;//coe.cito.nl onder ICT-examenhelpdesk het document Installatiescenario s ExamenTester MBO 2.10) 3.2.1 Portal-accountbeheerder(s) De portal-accountbeheerder is voor Cito het aanspreekpunt in de contacten over de techniek en de logistiek van de examinering voor het betreffende portal-account. Deze portal-accountbeheerder ontvangt rechtstreeks van Cito het benodigde materiaal voor de examinering, zoals: software, wachtwoorden, examenbestanden en rapportages. Deze portal-accountbeheerder ontvangt dus ook de gebruikersnaam en het wachtwoord voor de eigen omgeving, gekoppeld aan dit portal-account binnen Cito Portal. Met deze gegevens kan de portal-accountbeheerder de packages downloaden voor een bepaalde afnameperiode. Ook andere verantwoordelijke personen (zoals IT-deskundigen) kunnen via deze toegangscode de bestanden downloaden via Cito Portal. Van alle communicatie tussen Cito en de portal-accountbeheerder ontvangt de contactpersoon van de desbetreffende instelling een cc. Natuurlijk blijft het ook mogelijk voor de contactpersoon om 1 Bedoeld worden de contactpersonen COE die door het bevoegd gezag van de onderwijsinstelling opgegeven zijn bij het Steunpunt taal en rekenen mbo. Handboek COE 2012-2013, versie 2, oktober 2012 9
zelf aanspreekpunt voor Cito te blijven voor alle of een gedeelte van de portal-accounts voor de instelling. In dit geval is dus de contactpersoon tevens portal-accountbeheerder. De contactpersoon COE blijft voor CvE en Steunpunt het aanspreekpunt voor de implementatie van de centraal ontwikkelde examens binnen de instelling. 3.2.2 Toetsleiders Naast de contactpersoon en portal-accountbeheerder(s) wordt de rol van toetsleider onderscheiden. De toetsleider is de persoon die zich daadwerkelijk bezig houdt met het beheer van gegevens in TestManager; die examenplanningen aanmaakt, kandidaten invoert of importeert, versies toewijst etc. Per portal-account kunnen meerdere toetsleiders actief zijn. Zo nodig kunnen instellingen besluiten nog andere interne rollen voor de examinering te onderscheiden, zoals afnameleiders of surveillanten. Contactpersoon COE: Portalaccountbeheerder: Toetsleider: Centraal aanspreekpunt voor CvE en Steunpunt voor implementatie COE s binnen een instelling. Aanspreekpunt voor Cito voor een portalaccount. Ontvangt bestanden en documenten. Beheert gegevens in TestManager. Voorbeelden van keuzemogelijkheden voor het invullen van de verschillende rollen: Voorbeeld A: 1 portal-account portal-account contactpersoon portalaccountbeheerder toetsleider 1 Peters Peters Peters portal-account contactpersoon portalaccountbeheerder toetsleider 1 Peters Peters Koning portal-account contactpersoon portalaccountbeheerder toetsleider 1 Peters Fernandez Fernandez + Jansen De contactpersoon kan dus zelf de portal-accountbeheerder en toetsleider zijn, maar dat hoeft niet. Handboek COE 2012-2013, versie 2, oktober 2012 10
Voorbeeld B: 5 portal-accounts portal-account contactpersoon Portalaccountbeheerder 3 Nokhai Peters Toetsleider(s) 1 Peters Peters en diverse andere toetsleiders 2 Peters diverse toetsleiders Nokhai en diverse andere toetsleiders 4 Koning Koning, Nokhai en diverse andere toetsleiders 5 Fernandez Diverse toetsleiders De contactpersoon kan zelf dus ook portal-accountbeheerder en toetsleider zijn, maar dat hoeft niet. Eén functionaris kan bovendien portal-accountbeheerder of toetsleider zijn van meerdere portal-accounts. 3.3 Aanmelding voor deelname Voor kandidaten van een mbo-2, mbo-3 of mbo-4 opleiding is aanmelding vooraf bij Cito niet nodig. Kandidaten vanuit een mbo-1 opleiding die deel willen nemen aan een pilotexamen 2F moeten wel vooraf aangemeld worden via Cito. Aanmelding van kandidaten vanuit mbo-1 gaat via Cito (http://coe.cito.nl -> 2F Pilot Nederlandse taal en rekenen). Er is geen limiet aan het aantal deelnemers per instelling of opleiding. Het is wel belangrijk dat er aan het aantal deelnemers een plan van opschaling binnen de instelling ten grondslag ligt. Het is immers van belang dat de instellingen gericht ervaring opdoen om zich voor te bereiden op de situatie dat deelname aan de COE s verplicht is met de aantallen van kandidaten die dan geëxamineerd moeten worden. 3.3.1 Deelnemen aan pilotexamens in 2012-2013 Aan de pilotexamens van het studiejaar 2012-2013 mogen de kandidaten aan een mbo opleiding deelnemen die: gestart zijn met hun mbo-opleiding op of na 1 augustus 2010 (of studeren volgens een kwalificatiedossier van 2010-2011 of later), en die de helft van hun opleidingsduur achter zich hebben (bij een opleidingsduur van twee jaar of korter geldt dat ze zich in de laatste 12 maanden van hun opleiding bevinden), en in 2012-2013 of in 2013-2104 hun opleiding afronden. Voorbeeld van de in aanmerking komende studenten mbo-4: Cohort mbo-4 vierjarig mbo-4 driejarig mbo-4 tweejarig 2010 derdejaars derdejaars 2011 - tweedejaars (vanaf P3) tweedejaars mbo-4 eenjarig 2012 eerstejaars Voorbeeld van de in aanmerking komende studenten mbo-2 en mbo-3 (indien zij gestart zijn in augustus van het betreffende studiejaar): Handboek COE 2012-2013, versie 2, oktober 2012 11
Cohort mbo-3 driejarig 2010 derdejaars 2011 tweedejaars (vanaf P3) mbo-3 tweejarig tweedejaars mbo-3 eenjarig mbo-2 tweejarig tweedejaars mbo-2 eenjarig 2012 eerstejaars eerstejaars Daarnaast gelden bij deelname aan de pilotexamens in 2012-2013 de volgende regels: 1. In overleg met het ministerie van OCW is besloten dat voor studenten die een driejarige mbo- 4 of mbo-3 opleiding zijn gestart in augustus 2011, de afnameperiode in januari/februari 2013 (P3) beschouwd wordt als een periode die valt in de tweede helft van de opleiding. 2. Studenten die in 2013-2014 hun mbo-4 opleiding afronden, krijgen bij een cijfer van een zes of hoger op het pilotexamen van 2012-2013, vrijstelling voor het in studiejaar 2013-2014 af te leggen centraal examen. N.B. Zie ook de Wijziging Examen- en kwalificatiebesluit beroepsopleidingen WEB van 23 april 20102 (samenvatting van Steunpunt, pagina 5, punt 18): Deelname aan een pilotexamen in het laatste pilotjaar voorafgaand aan het eerste jaar van centrale examinering levert voor Nederlandse taal en rekenen een vrijstelling van uitsluitend het centraal examen op als: - het pilotexamen heeft plaatsgevonden nadat de helft van de voor de deelnemer geldende studieduur is verstreken; - voor het betreffende pilotexamen een waardering van ten minste een zes is behaald. 3. Bij afronding van de mbo-4 opleiding in studiejaar 2013-2014 is deelname aan de centrale examens Nederlandse taal en rekenen verplicht en tellen de resultaten mee voor diplomering volgens de slaag- zakregeling zoals vastgelegd in het Examen- en kwalificatiebesluit beroepsopleidingen WEB. Bij het behalen van het mbo-4 diploma vóór 1 oktober 2013 geldt voornoemde nog niet. In dit geval kan een diploma uitgereikt worden indien de student een pilotexamen of uitsluitend een instellingsexamen voor de onderdelen Nederlandse taal en rekenen heeft afgelegd en heeft de waardering ervan met een cijfer lager dan een 6 dan wel met onvoldoende geen gevolgen voor het behalen van het diploma. 4. Onderwijsinstellingen kunnen de pilotexamens 2F en 3F in 2012-2013 inzetten als instellingsexamen. 5. Onderwijsinstellingen kunnen in pilotjaar 2012-2013 kandidaten 2F en 3F de mogelijkheid voor herkansing aanbieden (in een volgende periode). 3.4 Voorbereiding van de afname In september 2012 krijgt de portal-accountbeheerder de nieuwe versie van ExamenTester met serienummer 2.10. Deze software moet geïnstalleerd worden op het netwerk dat gebruikt gaat worden voor de examinering. Het is van belang de vorige versie van ExamenTester te de-installeren. De instelling krijgt hiervoor aanwijzingen bij de ontvangst van de nieuwe software. Eerder ingevoerde kandidaatgegevens die gebruikt werden in vorige versies van ExamenTester verdwijnen hiermee. NB Omdat de pilotexamens in 2012-2013 uitsluitend uit computerscoorbare vragen bestaan hoeft de module CorrectionManager niet geïnstalleerd te worden. Handboek COE 2012-2013, versie 2, oktober 2012 12
Na installatie van ExamenTester 2.10 is het van belang dat er een systeemcheck wordt uitgevoerd en dat kort voor de afname van de pilotexamens een zogenaamde Final Check wordt gedaan. Beide onderdelen worden hierna nader toegelicht. Installeren ExamenTester 2.10 Systeemcheck Final check afname COE s Instellingen die nog niet eerder ervaring opgedaan hebben met de afname van de pilotexamens moeten hun ICT-infrastructuur hiervoor gereed maken. Zoals genoemd vereist ieder portal-account een eigen Local Server. Raadpleeg verder de Systeemeisen en de Gebruikershandleiding voor de systeembeheerder. 3.5 Verplichte systeemcheck Voordat een school examens mag afnemen in ExamenTester, moet eerst een systeemcheck worden gedaan. Als een school meedoet aan meerdere examens in ExamenTester kan met één systeemcheck worden volstaan. Naar aanleiding van vragen van scholen en een analyse van meldingen bij de ICT-examenhelpdesk is een extra toelichting ontwikkeld op de systeemcheck in de vorm van het Servicedocument ExamenTester MBO 2.10. Dit document kunt u vinden op de website van Cito: http://coe.cito.nl onder ICT-examenhelpdesk. 3.5.1 Doel en randvoorwaarden Voor een controle op een juiste werking van ExamenTester op de computers die bij de afname gebruikt zullen worden, is het noodzakelijk dat er een zogenoemde systeemcheck wordt uitgevoerd. Met de systeemcheck wordt de onderwijsinstelling in staat gesteld binnen de eigen ITinfrastructuur te onderzoeken met hoeveel computers tegelijk een digitale afname met Examen- Tester succesvol uitgevoerd kan worden. De systeemcheck dient onder dezelfde omstandigheden en condities als de echte afnames plaats te vinden. Dit houdt in dat gedurende de echte afnames dezelfde IT-infrastructuur gebruikt dient te worden als gebruikt is tijdens de systeemcheck. De systeemcheck dient uitgevoerd te worden met het Functionaliteiten Test examen (FT-examen). Het FT-examen is een speciaal examen waarin naast beeld- en geluidsfragmenten, alle mogelijke typen van vragen verwerkt zijn die tijdens een echte afname kunnen voorkomen. Er is één algemeen FT-examen, want het gaat bij het FT-examen niet om de inhoud maar om de techniek. Gebruik gedurende de systeemcheck minimaal het aantal computers, dat door de kandidaten ook tegelijk gebruikt moet gaan worden tijdens de daadwerkelijke afnames. Bepaal het maximum aantal computers voor afname plus 10% reserve dat tijdens een echte afnamesessie gebruikt gaat worden. Denkt u hierbij ook aan bepaalde afhankelijkheden die mogelijk van invloed kunnen zijn, zoals: - afnames vinden plaats op bepaalde dagen en bepaalde tijdstippen. - afnames vinden plaats verspreid over meerdere lokalen of zelfs locaties. Handboek COE 2012-2013, versie 2, oktober 2012 13
- een bepaald systeem dat invloed kan hebben op de IT-infrastructuur op een bepaalde dag en tijdstip, Denk hierbij bijvoorbeeld aan: o een administratief pakket, o een backup die draait en die een negatieve invloed kan uitoefenen op de ITinfrastructuur en dus misschien op de afnames. - indien meerdere LocalServers centraal beheerd worden voor meerdere locaties. Zorg in dat geval dat de belasting binnen de centrale IT-infrastructuur voldoende capaciteit heeft, als meerdere locaties op hetzelfde tijdstip aan de slag gaan. Door tijdens de systeemcheck rekening te houden met afhankelijkheden, die van invloed zouden kunnen zijn tijdens digitale afnames, krijgt u meer inzicht in de werking van ExamenTester in combinatie met uw IT-infrastructuur. Hoe meer overeenkomende situatie(s) met de echte afnames kunnen worden nagebootst, des te beter. Het is ook belangrijk de duur van de afname mee te nemen tijdens een systeemcheck. Het advies is om tijdens de periode van de systeemcheck, naast het FT-examen, ook te gaan testen met in ieder geval het grootste voorbeeldexamen. Het voorbeeldexamen 3F dyslexie is het grootste examen wat betreft de omvang van de bestanden dat binnen de IT-infrastructuur wordt gebruikt. Met een FT-examen en een voorbeeldexamen kan een echte afname nagebootst worden waardoor ook de duur van een afname beoordeeld kan worden. Mocht een daadwerkelijke afname mislukken, dan wordt bij het onderzoeken van de oorzaak ook altijd gecontroleerd hoe de systeemcheck op de onderwijsinstelling is verlopen. Voor ExamenTester 2.10 is een nieuw FT-examen ontwikkeld dat minimaal net zo zwaar is als een examen Nederlandse taal. 3.5.2 Verloop Nadat ExamenTester op een juiste manier geïnstalleerd is (zie hiervoor de handleiding Examen- Tester MBO systeembeheerder), kunt u de volgende stappen hanteren als basis voor de systeemcheck: Voorbereiding: 1. Bepaal de afhankelijkheden (aantal afnames, dagen, tijdstippen, aantal lokalen, aantal locaties). 2. Bepaal het maximaal aantal computers plus 10% reserve dat tijdens één echte afnamesessie gebruikt gaat worden. Installatie en planning: 3. Installeer het FT-examen in TestManager. 4. Voer leerlingen in in TestManager. Dit kunnen verzonnen namen zijn om verwarringen te voorkomen, maar de toetsleider kan er ook voor kiezen om in deze fase al de echte namen van de deelnemers in ExamenTester te importeren. In dit laatste geval is het raadzaam om na dataretour en vóór de daadwerkelijke afname de afnameplanning van het FT-examen te verwijderen. 5. Plan de afnames in TestManager. FT-examen inladen en starten: 6. Start TestCenter op het aantal computers dat bepaald is in stap 2. 7. Laad het FT-examen op alle computers zoals u tijdens een echte afname ook gaat doen (laad alle computers tegelijk of in groepjes). Handboek COE 2012-2013, versie 2, oktober 2012 14
8. Start, na het inladen, het FT-examen tegelijk op alle computer door te klikken op de knop Start toets. Gemeten wordt op hoeveel computers de eerste vraag van de FT-toets binnen 10 minuten op het scherm is getoond, na het klikken op de knop Start toets. FT-examen afnemen: 9. Het FT-examen wordt gemaakt op de computer. a. Neem de tijd voor het maken van het FT-examen, net als een echte afname. b. Laat alle beeld- en geluidsfragmenten in het FT-examen volledig afspelen. c. Controleer de werking van de rekenmachine. 10. Lever de afnames in. Dataretour: 11. Stuur de FT-afnames in TestManager via de functie Dataretour naar Cito. Het is bij de systeemcheck van groot belang de afnameresultaten via de functie Dataretour naar Cito te verzenden. Zonder dataretour ontvangt Cito onvoldoende gegevens over de systeemcheck en kan Cito u geen terugkoppeling geven. Om u goed voor te bereiden op de echte afnames, wijzen wij u er nogmaals op dat het belangrijk is dat de afnamecondities van de systeemcheck zoveel mogelijk overeenkomen met de afnamecondities tijdens de echte afnames. Wij verzoeken u de systeemcheck te beschouwen als een periode van echte afname, waarvoor u, zoals tijdens de echte afname, de ICT-examenhelpdesk zou bellen. Een (ver)storing tijdens de afnames bij de systeemcheck kan ook tijdens de echte afnames optreden. Tijdens de systeemcheck kunnen de systeembeheerder en de toetsleider de hulp inroepen van de ICT-examenhelpdesk van Cito. 3.5.3 Tijdpad systeemcheck De portal-accountbeheerder krijgt terugkoppeling van Cito van het per portal-account geregistreerde aantal computers waarop binnen 10 minuten het FT-examen is gestart. Meting aantal FT-computers Van iedere FT-afname waarvan de afnameresultaten met de functie Data retour naar Cito zijn verzonden, meet Cito op hoeveel computers de eerste vraag van het FT-examen binnen 10 minuten op het scherm is getoond na indrukken van de knop Start toets. Op de terugkoppeldatum ontvangt de portal-accountbeheerder bericht over het resultaat. Met ingang van 2012-2013 wordt een terugkoppeling gegeven van elke FT-afname waarvan de resultaten via Data retour bij Cito zijn ontvangen. NB Er vindt alleen FT-terugkoppeling plaats van dataretour met de laatste uitgerolde software versie (ExamenTester 2.10). Cito doet deze metingen in 2012 op de volgende data 2 : Meetdatum Cito terugkoppeldatum vrijdag 21 september 2012 dinsdag 25 september 2012 vrijdag 28 september 2012 dinsdag 2 oktober 2012 vrijdag 5 oktober 2012 dinsdag 9 oktober 2012 vrijdag 12 oktober 2012 Dinsdag16 oktober 2012 2 Bij wijze van voorbeeld: dit betekent dat als een instelling een systeemcheck met het FT-examen afneemt op 20 september 2012 (dus voor 21 september), er op 25 september 2012 een terugkoppeling plaats vindt. Handboek COE 2012-2013, versie 2, oktober 2012 15
vrijdag 19 oktober 2012 dinsdag 23 oktober 2012 vrijdag 26 oktober 2012 dinsdag 30 oktober 2012 vrijdag 2 november 2012 dinsdag 6 november 2012 vrijdag 9 november 2012 dinsdag 13 november 2012 vrijdag 16 november 2012 dinsdag 20 november 2012 vrijdag 23 november 2012 Dinsdag 27 november 2012 vrijdag 30 november 2012 dinsdag 4 december 2012 vrijdag 7 december 2012 dinsdag 11 december 2012 vrijdag 14 december 2012 dinsdag 18 december 2012 In de loop van dit studiejaar zal Cito Portal gebruikt worden als communicatieplatform over de resultaten van de systeemcheck. Vanaf dat moment zal de terugkoppeling niet meer via email gebeuren. Bij de meting hanteert Cito de volgende uitgangspunten: - Er wordt uitsluitend gekeken naar FT-afnames waarvan de afnameresultaten via de optie Data retour in TestManager naar Cito zijn verzonden. - Bij het registreren van de FT-computers wordt gemeten op hoeveel computers binnen 10 minuten na indrukken van de knop Start toets de eerste vraag van het FT-examen op het scherm is verschenen. - Er wordt automatisch gezocht naar het 10-minuten-interval waarbij dit aantal FT-computers het grootst is. - Het maakt niet uit of een FT-afname in één of meer computerlokalen heeft plaatsgevonden. - Het maakt niet uit of FT-afnames die op een bepaald moment plaatsvinden, deel uitmaken van één of meer afnameplanningen. - Van elke FT-afname wordt een terugkoppeling gegeven. Het is niet verantwoord een groter aantal computers in te zetten in één examenzitting dan het aantal dat Cito terugkoppelt in de laatste meting die voorafgaat aan de afname. Als het aantal door Cito gemeten FT-computers lager is dan gewenst, is het van belang om nogmaals een systeemcheck uit te voeren met een groter aantal deelnemerscomputers. Ook als er nog aanpassingen in het netwerk of op de computers worden doorgevoerd, moet de onderwijsinstelling nogmaals een systeemcheck organiseren. Uiteraard moet de systeemcheck uiteindelijk zonder onregelmatigheden verlopen. Wanneer de systeemcheck niet het gewenste resultaat oplevert, moeten tijdig maatregelen worden getroffen. Zie paragraaf 3.5.4. 3.5.4 Problemen met de systeemcheck, wat nu? ExamenTester 2.10 die in september 2012 wordt uitgerold is uitvoerig getest. Ook een onderzoek naar de gevolgde testprocedure heeft aangetoond dat deze versie naar verwachting stabiel is. Toch leert de ervaring dat er stabiliteitsproblemen kunnen optreden door interactie tussen ExamenTester en de systeeminstellingen op de afname locatie. Deze stabiliteitsproblemen moeten aan het licht komen in de testprocedure op de afnamelocatie die loopt vanaf de systeemcheck tot en met de final check. Wanneer de systeemcheck niet het gewenste resultaat oplevert, moeten maatregelen worden getroffen. In onderstaand stappenplan worden de verschillende mogelijkheden weergegeven (aangeduid met letters) en deze worden daaronder kort toegelicht. Handboek COE 2012-2013, versie 2, oktober 2012 16
Handboek COE 2012-2013, versie 2, oktober 2012 17
a. Wanneer de systeemcheck niet het gewenste resultaat oplevert, kan dat te wijten zijn aan de wijze waarop deze is uitgevoerd, aan de procedure dus. Daarom is een Servicedocument (zie: http://coe.cito.nl onder ICT-examenheldesk) ontwikkeld met een heldere instructie en tips voor de uitvoering. Het is dus belangrijk om met behulp van dit Servicedocument te analyseren of de systeemcheck op de juiste wijze is uitgevoerd. Zo nodig kan een nieuwe systeemcheck worden uitgevoerd. Als de systeemcheck juist is uitgevoerd, maar het resultaat toch te wensen overlaat, moeten andere maatregelen worden getroffen. Er kunnen aanpassingen in de ICT-infrastructuur nodig zijn. Denk aan het vervangen van de server of switch en aan het gebruik van bekabelde clients in plaats van draadloze. Raadpleeg ook de systeemeisen (Zie http://coe.cito.nl onder ICT examenhelpdesk). Om problemen op te sporen kunnen metingen worden verricht tijdens het testen; metingen op zowel het netwerk als op de serverbelasting (zie Servicedocument). Het is van belang hiervoor de diverse ICT-specialismen bij elkaar te brengen. Wanneer de oorzaak van de problemen niet gevonden wordt, kan een geïsoleerde afnameomgeving worden ingericht; niet als doel op zich, maar als middel om de oorzaak van de problemen te achterhalen. Problemen met ExamenTester kunnen namelijk veroorzaakt worden door de interactie van ExamenTester met de infrastructuur van de instelling. We spreken van een geïsoleerde afnameomgeving wanneer er sprake is van een fysieke omgeving (examenlokaal) en een technische netwerkomgeving die volledig los staat van de normale infrastructuur. Door een dergelijke dedicated ExamenTester configuratie wordt de complexiteit kleiner en de kans op een storingsvrije werking neemt toe Een andere mogelijkheid om de oorzaak van problemen te traceren, is het laten uitvoeren van een technische check door een externe partij. Er vindt dan een grondige technische analyse plaats van alle lagen van het systeem op de instelling. Een dergelijke check kan nuttig zijn bij onvoldoende interne deskundigheid of om de risico s van de eigen infrastructuur in kaart te brengen. Het is echter ingrijpend en kostbaar. b. Wanneer de problemen met ExamenTester niet oplosbaar blijken met bovengenoemde opties, is het zinvol te experimenteren met een andere afname-omgeving binnen de eigen instelling; een examenlokaal in een ander gebouw bijvoorbeeld, waar de kwaliteit van het netwerk beter is. Er zijn ook voorbeelden bekend van instellingen waarbij het vervangen van een virtuele server door een fysieke en omgekeerd leidde tot een oplossing van het stabiliteitsprobleem. Om in kaart te kunnen brengen waar de oorzaak van problemen ligt, is het belangrijk om de verschillende disciplines binnen ICT met elkaar te laten samenwerken en verschillende opstellingen binnen de ICT-infrastructuur te laten monitoren. Hoewel niet significant aangetoond (en uitzonderingen bevestigen de regel) lijkt ook groepsomvang van invloed op de performance. c. Onderzocht kan worden of de pilotexamens elders, bij een nabij gelegen onderwijsinstelling afgenomen kunnen worden. Zeker voor kleine instellingen met een gering aantal kandidaten lijkt dat een geschikte optie. Ook op vo-scholen wordt gewerkt met ExamenTester. In het vo is ExamenTester al vele jaren in gebruik en veel ICT-afdelingen van vo-onderwijs hebben dan ook veel kennis van ExamenTester in huis, waar gebruik van gemaakt kan worden. d. Tot slot is er de mogelijkheid van out-sourcing van de afname. Zie hiervoor de verkenning van sambo-ict Uitbesteding examinering rekenen en taal in het mbo. U kunt het downloaden via www.coedossier.nl. Hierin wordt zorgvuldig uitgewerkt welke onderdelen wel en niet kunnen worden ge-outsourced en wat de voor- en nadelen zijn. Diverse commerciële partijen onderzoeken op dit moment de mogelijkheden om de pilotexamens af te kunnen nemen. Het is belangrijk te realiseren dat de instelling (de examencommissie) verantwoordelijk blijft voor de examinering. Handboek COE 2012-2013, versie 2, oktober 2012 18
3.6 Final Check 3.6.1 Doel Final Check Het doel van de Final Check is om zeer kort voor elke examenperiode te testen of het systeem in orde is voor afname van de pilotexamens. In de periode tussen systeemcheck en afname kunnen er immers activiteiten en wijzigingen in de ICT-infrastructuur plaatsvinden die van invloed zijn op de examensystemen. Het is daarom van belang zeer kort voor de afname nogmaals het systeem te testen in een Final Check. Naast het testen van de techniek, biedt de Final Check ook de gelegenheid het organisatorische en logistieke proces te testen. Het kan gebruikt worden voor de puntjes op de i van een eventueel draaiboek en kan worden beschouwd als een generale repetitie voor de pilot-examens. Idealiter wordt de Final Check uitgevoerd met zowel een voorbeeldexamen Nederlands als met een voorbeeldexamen Rekenen. Een voorbeeldexamen Nederlands is een zwaar bestand en is daardoor zeer geschikt om de belastbaarheid van het systeem te testen. Met een voorbeeldexamen Rekenen kan met name de rekenmachine worden getest. Eventueel kan de Final Check met het FT-examen worden uitgevoerd. Als de Final Check met de het FT examen gedaan wordt vervalt de stap van het data-retour zenden. Dat is immers al eerder gedaan bij de systeemcheck en daarover heeft al terugkoppeling plaats gevonden. De Final Check vervangt de eerdere Proef op de Som (PODS). De bestanden voor de Proef op de Som waren licht en vormden daarmee geen representatieve test voor het systeem. NB De PODS toetsen zijn nog steeds beschikbaar om in te zetten om de kandidaten kennis te laten maken en te laten oefenen met de afname programmatuur en de navigatie binnen het examen. 3.6.2 Uitvoering Final Check Tijdens de Final Check voert de toetsleider de volgende handelingen uit: - De namen invoeren van de kandidaten in ExamenTester, als dit bij de systeemcheck nog niet gedaan is; - De betreffende toets (voorbeeldexamen of FT examen) installeren in ExamenTester; - Een afnameplanning maken op de wijze zoals beschreven in de handleiding voor de toetsleider; - De toets afnemen; Adviezen aan de toetsleider voor de Final Check: Organiseer de afname van de toetsen tijdens de Final Check op exact dezelfde manier als de echte pilotexamens (zelfde computers, zelfde aantal afnamestations). Laat minimaal één groep (kandidaten of een beperkt aantal medewerkers) oefenen met een voorbeeldexamen. Zorg ervoor dat ook met de dyslexie-versie geoefend wordt. Organiseer de Final Check kort voor de eerste echte afname. Zo mogelijk vergrendelt u daarna het examenlokaal tot de afname van de pilotexamens. Organiseer de Final Check op een gewoon tijdstip; het examenlokaal is wellicht eenvoudig leeg te roosteren voor een final check na 17.00 uur, maar op dat tijdstip is het netwerk waarschijnlijk minder belast dan tijdens kantooruren. Gebruik de Final Check om een eventueel draaiboek en procedures te testen. Instrueer de betrokkenen alsof het een echte afname betreft. Het is de bedoeling dat u tijdens de Final Check contact opneemt met de ICTexamenhelpdesk in die situaties waarbij u dat tijdens de echte afname ook zou doen. Denkt u niet Het is de Final Check maar, maar bedenk dat een storing tijdens de Final Check ook tijdens de echte afname kan optreden. Uiteraard is het ook van belang de ICTondersteuning van de eigen instelling bij de afnames op adequate wijze te organiseren. Handboek COE 2012-2013, versie 2, oktober 2012 19
3.7 Invoer kandidaten Voor de afname moet er een afnameplanning gemaakt worden, dit geldt ook bij de afnames die onderdeel uitmaken van de testprocedure (Systeemcheck en Final Check). Een afnameplanning in ExamenTester betekent de koppeling van kandidaten aan een versie van een examen en (eventueel) een examenmoment. Zie hiervoor de Verkorte Gebruikershandleiding voor de toetsleider ExamenTester mbo 2.10 van Cito (zie http://coe.cito.nl -> ICT Examenhelpdesk). NB Bij de invoer van de kandidaten die het examen af zullen leggen is het van groot belang dat de gevraagde gegevens (jnvoervelden) zoals CREBO-nummer van de kandidaat, leerweg etc. ook daadwerkelijk ingevuld worden! Cito heeft deze gegevens nodig om de resultaten van de afname te kunnen analyseren! 3.8 Downloaden packages Voor het distribueren van de packages (de examenbestanden die de verschillende versies van het examen bevatten die in een afnameperiode ingezet kunnen worden), maakt Cito dit jaar voor het eerst gebruik van Cito Portal. Elk portal-account krijgt, via de portal-accountbeheerder, een gebruikersnaam en wachtwoord per aangetekende brief. Met deze gegevens kan de portalaccountbeheerder of de persoon binnen de instelling die hij/zij daartoe gemachtigd heeft, het Cito Portal account activeren. De examenpackages zijn te downloaden via de Cito Portal. Via een e- mail krijgen de portal-accountbeheerders bericht in welke periode de packages te downloaden zijn. 3.9 Planning van afname 3.9.1 Aantal perioden per cursusjaar Voor het cursusjaar 2012-2013 en het cursusjaar 2013/2014 zijn drie perioden aangewezen, zie het schema hieronder. Voor het cursusjaar 2014/2015 streeft het CvE ernaar om vier periodes aan te wijzen. De volgende stap is dan vijf aangewezen perioden. Er zijn daarom in principe 5 periodes per cursusjaar aangewezen waarin de COE s afgenomen zullen worden volgens een zogenoemd dakpan-model. Dit betekent echter niet dat al deze periodes ook meteen gebruikt zullen worden. Schooljaar P1 P2 P3 P4 P5 2012/2013 Nov/dec Jan/febr Mrt/apr 2013/2014 Nov/dec Jan/febr Mrt/apr Opschaling stap 1: 4 periodes per jaar Nov/dec Jan/febr Mrt/apr Mei/juni Opschaling stap 2: 5 periodes per jaar Sept/okt Nov/dec Jan/febr Mrt/apr Mei/juni 3.9.2 Programmering in een dakpan-model In overleg met de instellingen is gekozen voor programmering in een dakpan -model van 6 weken; de examens worden elke periode in dezelfde volgorde gepland. Week 1 Week 2 Week 3 Week 4 Week 5 Week 6 Taal 2F Rekenen 2F Rekenen 3F Taal 3F Handboek COE 2012-2013, versie 2, oktober 2012 20
3.9.3 Aangewezen tijdvakken voor 2012-2013 Voor het cursusjaar 2012/2013 zijn de volgende weken aangewezen voor de COE s: Periode 2 (vanaf 29-10-2012 t/m 8-12-2012) Week 44 Week 45 Week 46 Week 47 Week 48 Week 49 2F Taal 2F Taal 2F Rekenen 2F Rekenen 3F Rekenen 3F Rekenen 3F Taal 3F Taal Periode 3 (vanaf 7-1-2013 t/m 16-2-2013) Week 2 Week 3 Week 4 Week 5 Week 6 Week 7 2F Taal 2F Taal 2F Rekenen 2F Rekenen 3F Rekenen 3F Rekenen 3F Taal 3F Taal Periode 4 (vanaf 11-3-2014 t/m 20-4-2014) Week 11 Week 12 Week 13 Week 14 Week 15 Week 16 2F Taal 2F Taal 2F Rekenen 2F Rekenen 3F Rekenen 3F Rekenen 3F Taal 3F Taal 3.9.4 Programmering tijdens een afnameperiode Voor de COE s taal en rekenen zijn er voor elk examen per afnameperiode 10 varianten beschikbaar. Dit feit mag niet gemeld worden aan de kandidaten. De instelling maakt naar eigen inzicht een rooster voor de afname van het examen voor Nederlandse taal en voor rekenen binnen de daarvoor aangewezen perioden, zoals hiervoor genoemd. De afnameperiode voor elk examen is dus steeds maximaal twee weken. De toetsleider kiest volgens het binnen de onderwijsinstelling gemaakte rooster welke kandidaat op welk moment welke variant van het examen maakt. De examenduur van het COE Nederlandse taal 3F en het COE rekenen 3F is voor elk 120 minuten. De COE s taal en rekenen 2F hebben een examenduur van 90 minuten elk. NB Zorg voor spreiding zodat alle varianten evenveel ingezet worden tijdens de afnameperiode! Er zijn voor 2F en 3F taal en rekenen speciale d-versies die uitsluitend bedoeld zijn voor dyslectische deelnemers (zie 4.7.1). 3.10 Technische ondersteuning Bij problemen met ExamenTester kunnen drie hulpacties achtereenvolgens ondernomen worden. Actie 1: Op de website van Cito is een lijst van veelgestelde vragen beschikbaar ('http://coe.cito.nl'), kies: ICT-examenhelpdesk. Hier worden meldingen gemaakt van problemen en oplossingen zoals die bij onderwijsinstellingen zijn voorgekomen. Handboek COE 2012-2013, versie 2, oktober 2012 21