Overall Architectuur. Computerexamensysteem

Transcriptie

1 Overall Architectuur Computerexamensysteem Versie februari 2010

2 Document Revisie Historie Revisie Datum Door Opmerkingen Concept Conceptversie Concept Publicatie website CvE Definitief Publicatie website CvE Versie 1.0 Publicatiedatum: Pagina 2

3 Inhoudsopgave 1 Inleiding architectuur Wat is architectuur? Structuur van het document Principes en uitgangspunten Principes Aspectgebieden Het model Het computerexamensysteem Globale opzet Organisatie Diensten en producten Processen Medewerkers en applicaties Berichten en gegevens Informatie-uitwisseling Technische componenten Gegevensopslag Netwerk Ontwikkeling Van architectuur naar ontwerp Overzicht verantwoordelijkheid van de componenten Eisen gesteld aan de functionele documentatie Eisen gesteld aan de technische (code)componenten Release management Release-examen QTI Lifecycle Operationeel beheer Ketenmonitoring Performancekarakteristieken Ondersteuningsmodel Beveiliging Autorisatie op gegevensobjecten Authenticatiemechanismen Securitydomeinen Bijlagen Afkortingen Begrippen en definities Acceptatiefasering computerexamensysteem ArchiMate Versie 1.0 Publicatiedatum: Pagina 3

4 1 Inleiding architectuur Het is als zelfstandig bestuursorgaan verantwoordelijk voor de centrale en staatsexamens in het voortgezet onderwijs (vo), de examens Taal en Rekenen in het (middelbaar) beroepsonderwijs (mbo) en de staatsexamens Nederlands als tweede taal (NT2). Een groot aantal centrale en staatsexamens wordt digitaal afgenomen. Het is daarvoor nodig om de huidige examensoftware te vervangen door nieuwe examensoftware. De Dienst Uitvoering Onderwijs (DUO) van het Ministerie van OCW zal de nieuwe examensoftware in beheer nemen vanuit hun primaire verantwoordelijkheid. De voorliggende architectuur is opgesteld om de context en samenhang van de nieuw te realiseren examensoftware te schetsen en te verduidelijken. Hierbij worden alle aspecten die van toepassing zijn op de nieuwe examensoftware, benoemd en met elkaar in verband gebracht. We spreken hier vooral over het nieuwe digitale computerexamensysteem, aangezien het meer omvat dan alleen nieuwe examensoftware. Het computerexamensysteem dient de centrale en/of staatsexamens in het voortgezet onderwijs, de centraal ontwikkelde examens in het middelbaar beroepsonderwijs (Taal en Rekenen) en de staatexamens Nederlands als tweede taal te ondersteunen. Meer specifiek nog de CBT 1 -examens die in opdracht van het CvE worden aangeboden. 1.1 Wat is architectuur? Een architectuur dient als verbinding tussen business en ICT, tussen informatie en systemen, tussen functies en processen. Zodat we de consequenties van ICT-beslissingen vooraf beter kunnen overzien, in plaats van achteraf moeten herstellen. Een architectuur legt verbinding, niet alleen inhoudelijk maar ook relationeel. Inhoudelijk legt het verbindingen tussen ambitie en het hier en nu, tussen business en ICT, tussen behoeften en technologie. Net zo belangrijk als de inhoudelijke verbinding ontstaat er door architectuur ook een relationele binding tussen business en ICT, tussen gebruikers en leveranciers, tussen architecten en... Een architectuur biedt overzicht over de processen, de systemen en de gegevensverzamelingen. Door dit overzicht zijn we beter in staat de consequenties van keuzes te overzien, wat betekent het als Een architectuur is een leidraad voor de inrichting van de organisatie, systemen, informatie, enzovoort. Zij is leidend bij het nemen van beslissingen. Bron: Twynstra Gudde ( 1.2 Structuur van het document Het document is grofweg in vier segmenten te verdelen, te weten: Principes De principes en uitgangspunten van het systeem zijn beschreven hoofdstuk 2 Principes en uitgangspunten. Het systeem Het computerexamensysteem is conform de NORA beschreven in hoofdstuk 4 Het computerexamensysteem. Aspecten van het systeem De aspecten die randvoorwaardelijk zijn voor de goede werking van het systeem, zijn beschreven in de hoofdstukken 5 Ontwikkeling, 6 Release management, 7 Operationeel beheer en 8 Beveiliging. Bijlagen De acceptatiefasering en de lijsten met afkortingen, definities en symbolen die in dit document gehanteerd worden zijn beschreven in hoofdstuk 9 Bijlagen. 1 CBT = Computer Based Testing. Bij een CBT-examen worden alle opgaven van een examen op het scherm getoond, worden de antwoorden op de computer ingegeven en vindt ook de correctie op de computer plaats. Versie 1.0 Publicatiedatum: Pagina 4

5 2 Principes en uitgangspunten 2.1 Principes Principes vormen de basis van een architectuur en zijn veelal domeinoverstijgende en richtinggevende afspraken die als uitgangspunt dienen voor het vormgeven van de doelsituatie. De hieronder beschreven principes gelden als randvoorwaardelijk en zijn ontleend via destillatie aan het programma van eisen en het vergaren van additionele eisen en afspraken van de opdrachtgever en de ketenpartners Architectuurprincipes [Principe 01] Het computerexamensysteem conformeert zich aan de NORA en ROSA. Achtergrond Implicatie De overheid, en meer specifiek de onderwijssector binnen de overheid, schrijft een tweetal referentiearchitecturen voor, te weten de Nederlandse Overheid Referentie Architectuur (NORA) en de Referentie Onderwijs Sector Architectuur (ROSA). Deze domeinarchitectuur afstemmen met de NORA en ROSA. [Principe 02] De ontwikkeling van het computerexamensysteem wordt opgesplitst in de tijd. Achtergrond Gezien de behoefte aan nieuwe functionaliteit, de complexiteit van het nieuwe computerexamensysteem en de huidige uitfasering van bestaande oplossingen is besloten een splitsing te maken in de op te leveren functionaliteit van het computerexamensysteem. Implicatie Het computerexamensysteem wordt opgeleverd conform paragraaf 9.3 Acceptatiefasering computerexamensysteem Bedrijfsprincipes [Principe 03] Alle exameninformatie moet centraal beschikbaar zijn binnen de bestaande infrastructuur van DUO. Achtergrond Implicatie Op ministerieel niveau is besloten dat de Dienst Uitvoering Onderwijs (DUO) de gegevensbeheerder is van alle exameninformatie. Alle gegevens die duurzaam vastgelegd moeten worden binnen het computerexamensysteem, worden conform de (beveiligings)eisen, procedures en technieken van DUO opgeslagen. [Principe 04] Voor het computerexamensysteem en de gegevensopslag geldt de Wet Bescherming Persoonsgegevens. Achtergrond Implicatie Bij wet is geregeld dat alle organisaties zich moeten conformeren aan de Wet Bescherming Persoonsgegevens. Het computerexamensysteem en de gegevens daarvan moeten conform de richtlijnen van Achtergrondstudies en Verkenningen 23 (AV-23) worden ontworpen en ontwikkeld. Het AV-23 is beschikbaar gesteld door het College voor Persoonsbescherming (CPB) [Ref. 01] [Principe 05] Voor het computerexamensysteem en de gegevensopslag geldt de Archiefwet Achtergrond Implicatie Bij wet is geregeld dat overheidsorganisaties zich moeten conformeren aan de archiefwet van Het computerexamensysteem en de gegevens daarvan moeten zich conformeren aan de archiefwet Daar de gegevens worden beheerd door DUO, zal het computerexamensysteem volgens dezelfde procedures en richtlijnen worden ingericht als het BRON systeem. Versie 1.0 Publicatiedatum: Pagina 5

6 [Principe 06] Het nieuwe computerexamensysteem vereist een minimale beheerlast op de examenlocatie. Achtergrond Implicatie Om de acceptatie van het computerexamensysteem niet in gevaar te brengen is een minimale beheerlast voor examenlocaties een belangrijk streven. De beheerlast moet gelijk of liefst nog kleiner zijn in vergelijking met het huidige computerexamensysteem. Op de examenlocatie wordt enkel gebruik gemaakt van eenvoudig te installeren producten, waarbij er geen of minimale modificatie vereist is aan de bestaande infrastructuur van de examenlocatie. De producten zelf blinken uit in eenvoudige ondubbelzinnige gebruikersinterfaces waarbij configuratiehandelingen teruggebracht zijn tot het minimum. [Principe 07] Het beheer en de ondersteuning van het computerexamensysteem worden volledig uitgevoerd door (of in opdracht van) DUO. Achtergrond Implicatie Op ministerieel niveau is besloten dat de Dienst Uitvoering Onderwijs (DUO) de uitvoerder is van het computerexamensysteem. De centrale infrastructuur is een verantwoordelijkheid van DUO, waarbij het computerexamensysteem rekening houdt met: tijdelijke en permanente inhuur van externe infrastructuren onafhankelijkheid van het landschap waarop geëxploiteerd wordt interactie die alleen plaatsvindt via asynchrone uitwisseling horizontale schaalbare software voor snelle uitbreiding capaciteit De lokale infrastructuur is een verantwoordelijkheid van de examenlocatie. Het lokale deel van het systeem wordt als een doe-het-zelf - pakket aangeboden. Het beheer en de ondersteuning van het gehele computerexamensysteem zijn een verantwoordelijkheid van DUO. [Principe 08] Een erratum moet tot 48 uur voor afname elektronisch kunnen worden aangebracht op een bestaand examen, in alle andere gevallen wordt dit procedureel opgelost waarbij het computerexamensysteem een melding dient te geven. Achtergrond Implicatie Na vaststelling van een examen kunnen fouten of onvolkomenheden worden geconstateerd. Deze fouten of onvolkomenheden leiden tot een erratum op een examen (veelal in de vorm van een nieuwe versie van het examen) of een aanvulling op het correctievoorschrift. Stelregel is dat indien een examen nog niet is afgenomen, het examen aangepast dient te worden en alle voorgaande versies vervangt. Een nieuwe versie van het examen moet in ieder geval 48 uur voor afname kunnen worden vervangen. In alle andere gevallen zal het erratum procedureel worden opgelost, waarbij het computerexamensysteem melding dient te maken van de aanwezigheid van dit erratum. Het computerexamensysteem en de bijbehorende infrastructuur hebben voorzieningen getroffen om snel een nieuwe versie van het examen beschikbaar te stellen, waarbij aangenomen wordt dat de examenlocatie zorg draagt voor een werkende (internet)verbinding met DUO in geval van een offline examen. [Principe 09] De afname geschiedt online als het kan en offline als het moet. Achtergrond Implicatie Per examen ligt de keuze tussen een online of offline afname bij het CvE. Het CvE kan besluiten dat de keuze aan de examenlocatie wordt gelaten. Het computerexamensysteem voorziet in een hybride oplossing waarbij zowel decentraal (lokaal) als ook centraal gebruik gemaakt wordt van de systeemprogrammatuur. In geval van een offline afname dient er voorafgaand aan de afname zelf de decentrale omgeving gesynchroniseerd te worden met de centrale omgeving, hierbij dient rekening gehouden te worden met eventuele nieuwe versies van het examen. Versie 1.0 Publicatiedatum: Pagina 6

7 2.1.3 Applicatieprincipes [Principe 10] Het computerexamensysteem moet met open standaarden gerealiseerd worden, conform de regel pas toe of leg uit. Achtergrond Open standaarden bevorderen de digitale uitwisseling van informatie, oftewel interoperabiliteit. Met behulp van open standaarden wordt de communicatie tussen (semi-)overheden onderling en tussen overheid, bedrijven en burgers eenvoudiger. Ook vergroot het gebruik van open standaarden de onafhankelijkheid van softwareleveranciers. [Ref. 02] Implicatie Bij het maken van een technologiekeuze en productkeuze is het gebruik van open standaarden doorslaggevend. [Principe 11] Alle software van het computerexamensysteem moet zonder beperkingen met betrekking tot distributie en hergebruik worden opgeleverd. Achtergrond Implicatie Om in de toekomst uitwisseling van kennis en softwarefunctionaliteit met andere instanties en belanghebbenden (zoals de gemeenschap) niet uit te sluiten, moet de software vrij van beperkende maatregelen worden opgeleverd. Dit kan geschieden door het CvE het auteursrecht op de software te verschaffen, door de software te leveren onder een licentie die voldoet aan de beginselen van het Open Source Initiative, of door de software te leveren onder een andere licentie, mits deze licentie geen van de bedoelde beperkingen met zich meebrengt. (Het Open Source Initiative (OSI) heeft een rijk scala aan licenties geselecteerd en geaccordeerd die de vrije uitwisseling van software niet in de weg staan.) De voorwaarden waaronder alle softwarecomponenten die exclusief toebehoren aan het computerexamensysteem en geen onderdeel uitmaken van de generieke DUO-functionaliteit, moeten hergebruik en distributie niet in de weg staan. [Ref. 03] [Principe 12] Het computerexamensysteem hergebruikt bestaande componenten waar mogelijk. Achtergrond Implicatie Een van de belangrijkste speerpunten is het hergebruik van onderwijsgegevens en bestaande functionaliteit. Het computerexamensysteem maakt gebruik van de volgende bestaande diensten en/of oplossingen: het Basisregister Onderwijs (BRON) het Examen Organisatie Systeem (EOS) met gegevens over staatsexamens autorisatie en authenticatie via het Zakelijk Portaal DUO het sectoraal gegevenswoordenboek belegd bij het schakelpunt OCW. [Ref. 04] [Principe 13] Het computerexamensysteem moet service georiënteerd opgezet worden. Achtergrond Implicatie Conform de NORA, het herbruikbaarheidsprincipe en de diverse architecturen binnen DUO dient het computerexamensysteem servicegeoriënteerd opgezet te worden. [Ref. 05] Het computerexamensysteem moet primair services ondersteunen en service georiënteerd opgezet zijn. Deze opzet voorziet in modulariteit waardoor delen van het computerexamensysteem makkelijker vervangbaar zijn door alternatieven. Versie 1.0 Publicatiedatum: Pagina 7

8 [Principe 14] Het computerexamensysteem moet de verwachte belasting aankunnen zonder performancedegradatie. Achtergrond Implicatie De beschikbaarheid van het computerexamensysteem tijdens een examen is van cruciaal belang en wordt als bedrijfsrisico gezien. Het systeem moet de principes van horizontale schaling ondersteunen. [Principe 15] Het digitale examen moet in alle omgevingen exact hetzelfde worden weergegeven. Achtergrond Implicatie Examenleveranciers ontwikkelen in opdracht van het CvE examens voor de centrale en staatsexamens in het vo, de examens Taal en Rekenen in het mbo en de staatsexamens NT2. Het computerexamensysteem dient deze geconstrueerde examens te tonen ongeacht het OS en de context (afname, inzage, correctie, etc.) zoals beoogt door de leverancier. Examens zullen bij sterke voorkeur gebaseerd zijn op (open) standaarden en duidelijke afspraken voor nu en in de toekomst. Examens worden beschreven volgens de QTI+ standaard. Ook gebruikte interactiviteit en media dienen open standaarden te volgen. [Principe 16] Het computerexamensysteem moet waar mogelijk aangepast kunnen worden zonder downtime. Achtergrond Implicatie Vooral gedurende de examenperiode en de voorbereiding hierop is het onacceptabel dat het systeem niet beschikbaar is. Onderhoud aan het systeem vindt enkel plaats binnen vooraf gedefinieerde onderhoudsschema s. Aanvullend moet worden voorzien in faciliteiten die ervoor zorgen dat in het geval van uitval van (een deel van) het systeem dit geen verstrekkende gevolgen heeft voor de werking van het gehele systeem. [Principe 17] JEE als ontwikkel- en runtimeplatform. Achtergrond Implicatie Om het hergebruik van bestaande diensten en/of producten optimaal te benutten, met inachtneming van de platformonafhankelijkheid en inpassen van het computerexamensysteem in de DUO-omgeving, is het noodzaak een voor alle partijen werkbaar ontwikkel- en runtimeplatform te kiezen. Gekozen is voor een JEE-omgeving, die tevens aansluit bij de ontwikkelstandaarden van DUO. De softwarecomponenten van het computerexamensysteem dienen met Java EE 6 en (minimaal) Java SE 6 gemaakt worden, waarbij: de software op een JEE-applicatieserver geplaatst wordt de software voldoet aan de OSGi specificatie. [Ref. 06] OSGi: [Principe 18] Alle gebruikersinterfaces voldoen aan de grondbeginselen van interfaceontwerpen. Achtergrond Implicatie De (eind)gebruikers van het computerexamensysteem op de examenlocatie zijn van belang voor de acceptatie en de doelmatigheid van het computerexamensysteem. Alle gebruikersinterfaces dienen dan ook intuïtief en gangbaar te zijn en voorzien van een zelfde look-andfeel. Alle gebruikersinterfaces voldoen aan de grondbeginselen van interface ontwerpen. [Ref. 07] De webpagina s dienen te voldoen aan de de 65 ijkpunten van het W3C. De eerste zestien ijkpunten zijn in Nederland beter bekend als het waarmerk drempelvrij de webrichtlijnen van de Nederlandse overheid. [Ref. 08] [Ref. 09] Versie 1.0 Publicatiedatum: Pagina 8

9 [Principe 19] Het computerexamensysteem (incl. rapportages) moet voor de eindgebruikers (examenlocaties) werken in de Nederlandse taal. Achtergrond Implicatie Binnen de overheid wordt Nederlands als standaard gehanteerd voor gebruikersinterfaces. De software die toegepast wordt binnen het computerexamensysteem en die gebruikt wordt door (eind)gebruikers moet een Nederlandstalige gebruikersinterface hebben. Daarbij is het wenselijk om het systeem te voorzien van de mogelijkheid om in de toekomst op een eenvoudige wijze meertalige gebruikersinterfaces aan te kunnen bieden. [Principe 20] Alle acties die leiden tot wijzigingen in informatie en systeem dienen te worden bevestigd door de gebruiker. Achtergrond Implicatie Het per ongeluk wijzigen van informatie die kan leiden tot gegevensverlies dient tot een minimum beperkt te worden. Het systeem moet de gebruiker een terugkoppeling geven over de voorgenomen actie van de gebruiker die leidt tot een wijziging in de informatie of het systeem. Elke terugkoppeling dient voorzien te worden van een bevestiging door de gebruiker. Het systeem moet tevens voorzien in een mogelijkheid tot het ongedaan maken van deze wijziging ( rollback ). Versie 1.0 Publicatiedatum: Pagina 9

10 3 Aspectgebieden 3.1 Het model Naast het computerexamensysteem spelen meerdere aspecten een rol die er gezamenlijk voor zorg dragen dat het systeem conform de wensen en eisen functioneert. De aspecten zijn onderverdeeld in heldere domeinen en vormgegeven volgens onderstaand model. De aspectgebieden zijn: Service omvat het computerexamensysteem en is beschreven in hoofdstuk 4 Het computerexamensysteem. Ontwikkeling omvat de ontwikkelingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 5 Ontwikkeling. Voortbrenging omvat de voortbrengingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 6 Release management. Operationeel beheer omvat de (dagelijkse) beheeraspecten van het computerexamensysteem en is beschreven in hoofdstuk 7 Operationeel beheer. Beveiliging omvat de beveiligingsaspecten van het computerexamensysteem en is beschreven in hoofdstuk 8 Beveiliging. Versie 1.0 Publicatiedatum: Pagina 10

11 4 Het computerexamensysteem Het hoofdstuk Het computerexamensysteem beschrijft het computerexamensysteem. Voor de beschrijving van dit computerexamensysteem wordt het NORA-model gebruikt, conform de richtlijnen van de overheid. Het NORA-model onderkent negen vlakken opgebouwd uit drie lagen en drie kolommen. Deze lagen zijn in veel architecturen min of meer terug te vinden en beschrijven de bedrijfsarchitectuur, informatiearchitectuur en technische architectuur van het computerexamensysteem. De verdeling in de kolommen is gebaseerd op het wie, wat en hoe. Waarbij: Wie: beschrijft de actieve objecten die feitelijk iets doen Wat: beschrijft de passieve objecten die iets ondergaan Hoe: beschrijft de manier hoe de actieve objecten omgaan met de passieve objecten. Organisatie Beschrijft de structuur van de organisatie en afdelingen die nodig zijn om te komen tot een product of een dienst. Onderdeel Organisatie is beschreven in paragraaf 4.2. Diensten en producten Beschrijft vanuit de bedrijfsklaar het product dat geproduceerd of de dienst die aangeboden wordt. Onderdeel Diensten en producten is beschreven in paragraaf 4.3. Processen Beschrijft de (bedrijfs-) processen die nodig zijn om te komen tot een product of een dienst. Onderdeel Processen is beschreven in paragraaf 4.4. Medewerkers en applicaties Beschrijft de applicaties die nodig zijn om de (bedrijfs-) processen te ondersteunen. Onderdeel Medewerkers en applicaties is beschreven in paragraaf 4.5. Berichten en gegevens Beschrijft de (applicatie)data die nodig zijn om de (bedrijfs-) processen te ondersteunen en die verwerkt worden door de verschillende applicaties. Onderdeel Berichten en gegevens is beschreven in paragraaf 4.6. Informatie-uitwisseling Beschrijft de (bedrijfs-) informatie die nodig is om te komen tot een product of een service en die cruciaal is voor de (bedrijfs-) processen. Versie 1.0 Publicatiedatum: Pagina 11

12 Onderdeel Informatie-uitwisseling is beschreven in paragraaf 4.7. Technische componenten Beschrijft de technische componenten die nodig zijn om de applicaties te ondersteunen. Onderdeel Technische componenten is beschreven in paragraaf 4.8. Gegevensopslag Beschrijft de (storage) infrastructuur die nodig is om gestructureerde gegevens te beheren. Onderdeel Gegevensopslag beschreven in paragraaf 4.9. Netwerk Beschrijft de (netwerk) infrastructuur die nodig is om berichten en gegevens te versturen. Onderdeel Netwerk is beschreven in paragraaf Globale opzet Het Computerexamensysteem (CES) faciliteert de gehele procesketen van het digitaal examineren, waaronder het vaststellen van examens, het afnemen van examens, tot het vaststellen en opleveren van de behaalde resultaten. Het gehele systeem wordt web-based aangeboden en ontsloten door middel van HTTPS verkeer. Het systeem is met iedere gangbare webbrowser te gebruiken. Een uitzondering hierop betreft de afnameclient die een speciaal geprepareerde beveiligde web-client kent. Het computerexamensysteem ondersteunt zowel online als offline afnamen. Indien een examenlocatie kiest voor een offline afname wordt op de examenlocatie een virtueel systeem beschikbaar gesteld in een standaard formaat. Onderstaande figuur geeft een conceptueel overzicht van het Computerexamensysteem. Versie 1.0 Publicatiedatum: Pagina 12

13 4.2 Organisatie De organisatie beschrijft alle relevante organisatieonderdelen die nodig zijn voor het functioneren van het computerexamensysteem Ketenpartners CvE (CvE) is een zelfstandig bestuursorgaan (ZBO) verantwoordelijk voor de centrale examens en staatsexamens in het voortgezet onderwijs (vo), de centrale examens rekenen en taal in het middelbaar beroepsonderwijs (mbo) en staatsexamens Nederlands als tweede taal (NT2). CvE is opdrachtnemer voor het nieuwe computerexamensysteem. Verantwoordelijk voor de hele examenketen Verantwoordelijk voor de vorm waarin de examens worden afgenomen Verantwoordelijk voor de inhoud van de examens Ministerie van OCW Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) is de koepelorganisatie waar CvE, DUO en de examenlocaties onder vallen en is opdrachtgever en financier van het nieuwe computerexamensysteem. DUO Dienst Uitvoering Onderwijs (DUO) exploiteert het nieuwe computerexamensysteem. De IB-Groep en CFI vormen vanaf januari 2010 één organisatie: DUO. DUO financiert en informeert onderwijsdeelnemers en onderwijsinstellingen en organiseert examens. Zo maakt DUO onderwijs mogelijk. Verantwoordelijk voor alle informatie als gegevensbewerker Verantwoordelijk voor de distributie van examens Verantwoordelijk voor het beheer en de ondersteuning van het computerexamensysteem Examenlocatie De examenlocatie is afnemer van het computerexamensysteem. Examenlocaties zijn onderwijslocaties in het voortgezet onderwijs (vo), middelbaar beroepsonderwijs (mbo) en staatsexamenlocaties (NT2), waar de examens digitaal worden afgenomen. Verantwoordelijk voor een ongestoorde afname van examens Verantwoordelijk voor de correctie van de afnamerespons (handmatige score opgaven) Verantwoordelijk voor de ingevoerde kandidaatinformatie (leerlingen) Cito Het Centraal instituut voor toetsontwikkeling (Cito) ontwikkelt in opdracht van het CvE examenopgaven. Verantwoordelijk voor de inhoudelijke levering van examens Verantwoordelijk voor de analyse exameninformatie om het CvE te adviseren in de normering Bureau ICE Het Bureau Interculturele Evaluatie (ICE) is actief op het gebied van taalverwerving Nederlands als tweede taal (NT2). Het ontwikkelt toetsinstrumenten voor het NT2-onderwijs in opdracht van CvE. Verantwoordelijk voor de inhoudelijke levering van examens Versie 1.0 Publicatiedatum: Pagina 13

14 Verantwoordelijk voor de analyse van exameninformatie om het CvE te adviseren in de normering Onderwijsinspectie De Inspectie van het Onderwijs is een Nederlands inspectieorgaan en valt organisatorisch onder het Ministerie van Onderwijs, Cultuur en Wetenschap Rollen Bevoegd gezag De rector of directeur van een school in het vo of mbo die het eindcijfer vaststelt. Corrector De corrector is verantwoordelijk voor de correctie van de afgenomen examens. De corrector beoordeelt de antwoorden volgens het correctievoorschrift. 1 e corrector Dit is de eerste corrector die het afgenomen examen corrigeert. (Bepaalde examens hebben maar één corrector) 2 e corrector Dit is de tweede corrector die het afgenomen examen corrigeert. (Bepaalde examens hebben twee correctoren) 3 e corrector Dit is de derde corrector, die in opdracht van de inspectie als onafhankelijke corrector vanuit het CvE wordt aangesteld als de eerste twee correctoren er niet uit komen. Najaarscorrector Dit is een corrector die een audit uitvoert op de eerdere correctie. Deze correctie heeft geen invloed op de al behaalde resultaten. Examenleverancier De examenleverancier krijgt van het CvE opdracht tot het construeren en produceren van examens. Examensecretaris De examensecretaris heeft als hoofdtaak het afnemen van de CBT-examens voor het vo, mbo en NT2. De examensecretaris is verantwoordelijk voor de organisatie rondom de afname van de examens. Hij verzorgt de afnamen door onder andere het inplannen van kandidaten, het afnemen van een examen en het toekennen van correctoren aan deze afname. Veelal begeleidt de examensecretaris zelf ook de afname, al dan niet met behulp van een surveillant. Examinator De examinator verzorgt de afnamen van minitoetsen gedurende de praktijkexamens. Functioneel beheerder rapportage De functioneel beheerder rapportage is verantwoordelijk voor het definiëren van rapportagevormen. Deze rapportagevormen worden als standaardrapportage beschikbaar gesteld aan de ketenpartners. IT Beheerder De IT-Beheerder is verantwoordelijk voor het beheer van de lokale infrastructuur op de examenlocatie. Kandidaat De kandidaat (leerling) is de persoon die een centraal of staatsexamen aflegt binnen het vo, mbo of NT2. Versie 1.0 Publicatiedatum: Pagina 14

15 Onderwijsinspecteur De inspecteur kan een onafhankelijke inspectie uitvoeren naar (een) afname(n) of correctie(s). Hij bepaalt in principe of een afname of examen in aanmerking komt voor een najaarscorrectie. Surveillant De surveillant ondersteunt de examensecretaris bij de afname van de examens. Systeembeheerder De systeembeheerder prepareert de noodzakelijke ITomgeving op de examenlocatie die nodig is voor een afname. Vaksectie Het CvE heeft een vaksectie per examenvak, met als belangrijkste kerntaak de vaststelling van de centrale examens. De vaksectie bestaat uit een deskundig voorzitter uit het naar boven aanpalend onderwijs en twee of drie leden die ruime ervaring hebben in het lesgeven aan examenkandidaten. 4.3 Diensten en producten Het nieuwe computerexamensysteem definieert op hoog niveau zes diensten (services), waarvan één dienst afgenomen wordt door CvE en vijf diensten aangeboden worden door CvE Gedefinieerde diensten Aanbieden van examens Het aanbieden van examens aan examenlocaties; deze dienst wordt door de examenlocaties afgenomen van DUO in opdracht van het CvE. Paragraaf Aanbieden van examens Aanbieden van handmatige correctie Het aanbieden van een handmatige correctie voorziet in de behoefte om open opgaven te scoren. Het scoren van open opgaven gebeurt door middel van correctoren. De gesloten opgaven worden op basis van de QTI-standaard automatisch gescoord. Paragraaf Aanbieden van handmatige correctie Aanbieden van inzage Het aanbieden van inzage in afgenomen examens via examenlocaties of via CvE; deze dienst wordt door de kandidaat afgenomen via de examenlocatie of direct via het CvE. Paragraaf Aanbieden van inzage Aanbieden van oefenexamen Het aanbieden van online oefenexamens; deze dienst wordt door de kandidaat op een willekeurig tijdstip en locatie afgenomen van DUO in opdracht van het CvE. Paragraaf Aanbieden van oefenexamens Aanbieden van rapportages Het aanbieden van rapportages, waarbij de verschillende onderdelen van het computerexamensysteem dienen als bronsysteem. De rapportages worden door de diverse ketenpartners afgenomen van DUO in opdracht van het CvE. Paragraaf Aanbieden van rapportages Produceren van examens Het produceren van examens door examenleveranciers; deze dienst wordt door CvE afgenomen van examenleveranciers. Paragraaf Produceren van examens Versie 1.0 Publicatiedatum: Pagina 15

16 Minitoets FT-examen Oefenexamen Proefexamen Examen Deze diensten leveren de onderstaande gegevensobjecten op. Deze gegevensobjecten zijn op abstract niveau gedefinieerd en benoemen enkel het resultaat (meerwaarde) van de dienst Gedefinieerde gegevensobjecten (producten) Examen Een door het CvE vastgesteld examen of examenvariant. Een examen kent een aantal verschijningsvormen. Examen: Het echte examen dat wordt afgenomen. Dit examen wordt op twee manieren aangeboden, vast of flexibel: - Vaste examens worden op een vooraf vastgesteld vast tijdstip afgenomen; - Flexibele examens worden binnen een vooraf vastgestelde periode afgenomen, waarbij het uiteindelijke tijdstip wordt bepaald door de examenlocatie. Proefexamen: Het examen dat gebruikt wordt bij de Proef op de Som. Dit examen is bedoeld om de kandidaat te laten wennen aan en oefenen met het computerexamensysteem. Ook geldt het proefexamen als een generale repetitie voor de examenlocatie: Het proefexamen doorloopt de gehele keten gelijk een echt examen. Echter de eindscore van een proefexamen wordt niet gebruikt voor cijferbepaling. Oefenexamen: Het examen waarmee de kandidaten zelfstandig kunnen oefenen. De kandidaat kan het examen op een willekeurige locatie en willekeurig tijdstip maken. Het examen bevat opgaven die qua niveau gelijk zijn aan een echt examen. FT-examen: Het examen waarmee een examenlocatie de afnamevoorzieningen functioneel en technisch test. Het FT-examen bevat alle functionaliteit die mogelijk voor zou kunnen komen in de examens van dat examenjaar. Alle examens kunnen ook als minitoets voorkomen: Minitoets: Een verkort flexibel examen dat deel uitmaakt van een praktijkexamen, waarbij: - de afnamen door de examensecretaris gedelegeerd kunnen worden aan een examinator; - een minitoets geen open opgaven kent en direct aan het einde van het examen de eindscore toont; - een minitoets veelal door een enkele kandidaat afgenomen wordt in opdracht van een examinator. Overzicht kenmerken examen Afname op examenlocatie Anoniem Weergeven resultaat Cijferbepalend Volledig automatisch scorebaar Handmatige correctie Versie 1.0 Publicatiedatum: Pagina 16

17 Overzicht omvang van examen afnamen in 2014 (geschat) Vmbo bb algemeen Vmbo kb Frans Vmbo kb algemeen Aantal kandidaten Gemiddelde groep Grootste groep Aantal scholen met groepen > 60 Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Onbekend Vmbo gl/tl Muziek Vmbo gl/tl Dans Vmbo gl/tl Drama Vmbo gl/tl Biologie Vmbo gl/tl Nask Havo Kunst Havo Muziek Havo Duits Havo Aardrijkskunde Vwo Kunst Vwo Muziek Vwo Aardrijkskunde Exameneindscore De eindscore van de kandidaat op een afgenomen examen. Exameneindcijfer Het eindcijfer van de kandidaat op een afgenomen examen. Het vaststellen van het eindcijfer is een verantwoordelijkheid van de examenlocatie. Examenafnamerespons De handelingen, inclusief het ingeven van antwoorden, die een kandidaat heeft uitgevoerd. De examenafnamerespons geeft inzicht in het verloop van een afname. Helderheid kandidaat De gevoelswaarde die een kandidaat overhoudt na het inzien van zijn examen. Oefenresultaat Een eenvoudig overzicht van het resultaat van een oefenexamen. Het oefenresultaat wordt direct na afname van een oefenexamen digitaal weergegeven. Rapportage Een rapport dat voorziet in de informatiebehoefte van een ketenpartner Produceren van examens Versie 1.0 Publicatiedatum: Pagina 17

18 Produceren van examens De dienst die CvE afneemt van examenleveranciers zoals Cito en Bureau ICE. CvE geeft een constructieopdracht aan de examenleverancier (toetsconstructeur) om te komen tot een examen ofwel een erratum op een bestaand examen. Na de productie en de technische acceptatie van het examen zal dit door de vaksectie van CvE worden vastgesteld, waarna het examen in de repository wordt geplaatst en beschikbaar wordt gesteld aan de examenlocaties voor afname. Constructieopdracht CvE geeft opdracht tot het produceren van een examen. Erratum op examen CvE geeft opdracht tot het produceren van een erratum op een bestaand examen. Produceren De examenleverancier produceert het examen in haar eigen omgeving en test het examen in de preview -omgeving van het computerexamensysteem, waarna het examen technisch wordt geaccepteerd en aangeboden aan de vaksectie van CvE voor (inhoudelijke) vaststelling. Paragraaf Hoofdproces: Produceren Vaststellen De vaksectie binnen CvE stelt het examen vast, waarna het examen gepubliceerd wordt. Paragraaf Hoofdproces: Vaststellen Examen Het door CvE vastgestelde examen dat afgenomen mag worden Aanbieden van examens Aanbieden van examens De dienst die aan een examenlocatie wordt aangeboden. Examenlocaties kunnen enkel de door het CvE vastgestelde en beschikbaar gestelde examens afnemen. Afhankelijk van het type examenopgaven zullen de examenantwoorden automatisch dan wel handmatig worden gescoord (proces: corrigeren). Start voorbereiden CvE communiceert en coördineert de start van de voorbereidingen. Voorbereiden De examenlocatie dient zich voor te bereiden op het afnemen van de examens. Hierbij dient een examenlocatie zeker te stellen dat een kandidaat ten tijde van de afname ongestoord en zonder haperingen het examen kan maken. De examenlocatie wordt ingericht tot het afnemen van examens. o Functionaliteiten worden getest d.m.v. het FT-examen o Het proces en de kandidaten worden voorbereid d.m.v. het proefexamen De (hoofd) examenlocatie verzorgt de autorisaties voor de examensecretarissen en de kandidaten. De afnamen worden ingepland. Paragraaf Hoofdproces: Voorbereiden Versie 1.0 Publicatiedatum: Pagina 18

19 Afnemen Op een vooraf gepland moment worden de examens ook afgenomen door de kandidaten op de examenlocatie. De kandidaat wordt in staat gesteld om het juiste examen ongestoord en zonder haperingen te maken. Paragraaf Hoofdproces: Afnemen Afnamerespons De door het computerexamensysteem vastgelegde handelingen die verricht zijn- en antwoorden die gegeven zijn door de kandidaat Aanbieden van handmatige correctie Aanbieden van handmatige correctie De dienst die aan een examenlocatie wordt aangeboden. Examenlocaties kunnen de examenantwoorden handmatig scoren. De eindscore en eventueel het eindcijfer zullen na de afname beschikbaar worden gesteld via de dienst aanbieden van rapportages. Afgerond examen Het afgerond examen wordt door de examensecretaris vrijgegeven voor correctie. Corrigeren Elke afname leidt tot een eindscore. Hiervoor dient de afname gescoord te worden (de correctie). Dit gebeurt in geval van gesloten opgaven door het systeem en in geval van open opgaven door de toegewezen correctoren. De correctiemethodiek wordt per examen bepaald. Het correctievoorschrift dat ten grondslag ligt aan het scoren en corrigeren van de afnamen wordt in het examenbestand meegegeven. Paragraaf Hoofdproces: Corrigeren Normeren Om de behaalde eindscores te vertalen naar eindcijfers wordt de afnamerespons van alle kandidaten geanalyseerd. Deze analyse wordt veelal uitgevoerd door de examenleverancier die de afnamerespons geanonimiseerd ontvangt. De analyse resulteert in een normeringsadvies dat door CvE wordt gebruikt in de vaststelling van de normering. De vastgestelde normering leidt tot een omzettingstabel die geïmporteerd wordt in het computerexamensysteem. Op basis van de omzettingstabel worden de eindscores vertaald naar een eindcijfer. Paragraaf Hoofdproces: Normeren Eindscore De eindscore van het afgenomen examen. Eindcijfer Het eindcijfer van het afgenomen examen. Versie 1.0 Publicatiedatum: Pagina 19

20 4.3.6 Aanbieden van inzage Aanbieden van inzage in afname De dienst die een kandidaat wordt aangeboden. Een kandidaat kan een verzoek doen tot inzage. De examenlocatie of het CvE bepaalt of het verzoek wordt gehonoreerd. De kandidaat heeft een bepaalde periode de gelegenheid tot inzage op de examenlocatie waar het examen is afgenomen. Na deze periode kan de kandidaat zich tot het CvE wenden voor een inzage. Behoefte tot inzage De kandidaat heeft behoefte tot inzage. Dit kan het geval zijn als een kandidaat niet tevreden is met het resultaat en hierover nader uitleg wil hebben. Inzage geven Indien de kandidaat recht heeft op inzage, kan de kandidaat onder begeleiding de afname inzien. Een inzage toont de opgaven, antwoorden, het correctievoorschrift en alleen de eindscore. Paragraaf Hoofdproces: Inzage geven Helderheid kandidaat De gevoelswaarde die een kandidaat overhoudt na het inzien van zijn examen Aanbieden van oefenexamens Aanbieden van oefenexamens De dienst die een kandidaat wordt aangeboden. Kandidaten kunnen op elke willekeurige locatie via het internet een oefenexamen afnemen. Deze oefenexamens worden online aangeboden en geven de kandidaat direct na het maken terugkoppeling in de vorm van een oefenresultaat. Behoefte tot maken oefenexamen De kandidaat heeft behoefte om een examen te oefenen. Oefenen Kandidaat kiest een oefenexamen en maakt dit examen. Paragraaf Hoofdproces: Oefenen Oefenresultaat Het overzicht van het resultaat van een gemaakt oefenexamen dat bestaat uit opgaven, antwoorden, in geval van gesloten opgaven de scores, en in geval van open opgaven de correctievoorschriften. Het overzicht wordt na het beëindigen van de (oefen)sessie direct verwijderd. Versie 1.0 Publicatiedatum: Pagina 20

21 4.3.8 Aanbieden van rapportages Aanbieden van rapportages De dienst aan de ketenpartners die voorziet in hun informatiebehoefte. De rapportageomgeving biedt standaard en veelgebruikte rapporten aan. Het aanbod van rapportages en informatie wordt altijd in overleg met het CvE vastgesteld. Uitgangspunt is dat elke ketenpartner direct en online toegang heeft tot voor hem vastgestelde standaardrapportages. Informatiebehoefte Ketenpartner heeft een informatiebehoefte. Definiëren rapportage Indien de ketenpartner een specifieke informatiebehoefte heeft en deze is niet voorhanden als standaard rapport, dan zal deze samen met de functioneel beheerder rapportage gedefinieerd moeten worden. Als de gewenste rapportagevorm gemaakt en beschikbaar gesteld is, dan kan deze door de ketenpartner geselecteerd worden. Paragraaf Hoofdproces: Definiëren rapportage Genereren rapportage De ketenpartner selecteert op basis van de informatiebehoefte een vooraf gedefinieerde rapportage. Na selectie wordt de rapportage gegenereerd en het resultaat weergegeven in een rapport. Indien gewenst kan het rapport in een aantal vormen beschikbaar worden gesteld, zoals op scherm, print, PDF, CSV of een ander formaat. Paragraaf Hoofdproces: Genereren rapportage Rapport Rapport is het gegenereerde resultaat. 4.4 Processen De paragraaf Diensten en producten beschrijft op globaal niveau de hoofdprocessen, de triggers, het resultaat en de afnemers van de dienst. Deze paragraaf is een verdere uitwerking van de hoofdprocessen en hierin zijn de relevante actoren, processen en applicatieve diensten weergegeven Hoofdproces: Produceren Produceren Dit hoofdproces voorziet in het ontwerpen, construeren en technisch accepteren van een examen. Versie 1.0 Publicatiedatum: Pagina 21

22 Constructieopdracht CvE geeft een constructieopdracht tot het maken van een nieuw examen. Erratum op examen CvE geeft opdracht tot het maken van een erratum op een bestaand examen. Ontwerpen examens De examenleverancier ontwerpt het examen in zijn eigen systeem. Construeren examens De examenleverancier construeert een nieuw examen of errata op het examen. Testen examens Zodra het examen gereed is voor testen, wordt het examen in de repository van het computerexamensysteem geplaatst. Het examen kan vervolgens getest worden in de online preview -omgeving van het computerexamensysteem. Dit is een cyclisch proces tot het moment dat het examen gereed is voor technische acceptatie. Toevoegen kenmerken aan examens De examenleverancier voegt door middel van een beheerinterface kenmerken toe aan het examen en zijn varianten. Technisch accepteren examens De examenleverancier accepteert het examen technisch. Indien het examen is voorzien van softwarematige modules zal DUO deze specifieke component technisch accepteren. Deze technische acceptatie van DUO moet het risico reduceren dat er problemen ontstaan met de beschikbaarheid van het systeem. Zodra de examenleverancier en eventueel DUO het examen hebben geaccepteerd kan deze worden vastgesteld door de vaksectie van CvE. Examen De examenleverancier stelt het examen beschikbaar voor vaststelling door CvE. Het examen wordt als één allesomvattend bestand conform de te realiseren QTI+ standaard opgeleverd. Examenbeheerservice Paragraaf Examenpreviewservice Paragraaf Het onderstaande overzicht geeft een indicatie per week van het aantal previews examenleverancier dat over een jaar wordt afgenomen. De aantallen zijn indicatief Hoofdproces: Vaststellen Vaststellen Dit hoofdproces voorziet in het vaststellen en beschikbaar stellen van het examen. Hiermee heeft het examen de productiestatus verkregen, echter, het is nog niet Versie 1.0 Publicatiedatum: Pagina 22

23 zichtbaar voor examenlocaties voor het inplannen, dit gebeurt tijdens Vrijgeven examen voor planning in het Hoofdproces: Voorbereiden. Technisch geaccepteerd examen CvE ontvangt van de examenleverancier een getest en technisch geaccepteerd examen. Vaststellen kenmerken CvE stelt de instellingen en kenmerken vast van het examen, hierbij kan CvE besluiten om taken te delegeren aan DUO. Stel examen vast CvE-vaksectie stelt het examen vast. Hiermee accepteert de CvEvaksectie het examen inhoudelijk. Examen CvE stelt het vastgestelde examen beschikbaar voor afname op een examenlocatie. Het examen is hiermee nog niet zichtbaar voor de examenlocaties. Examenbeheerservice Paragraaf Examenpreviewservice Paragraaf Het onderstaande overzicht geeft een indicatie per week van het aantal previews CvE dat over een jaar wordt afgenomen. De aantallen zijn indicatief Hoofdproces: Voorbereiden Voorbereiden Dit hoofdproces voorziet in het inplannen van een examen, het koppelen van correctoren aan de afname en het (technisch) inrichten van de examenlocatie. Start voorbereiden Vanuit CvE wordt de start geïnitieerd voor de voorbereidingen voor de komende examenperiode. Toewijzing school tweede correctie De school is geselecteerd om correctoren te leveren voor een tweede correctieronde. Vrijgeven examen voor planning CvE geeft het examen vrij voor planning. Invoeren van kandidaatgegevens De gegevens kunnen van BRON betrokken worden of via het schooladministratiesysteem van school geïmporteerd worden. Tevens moeten de kandidaatgegevens eventueel op ad-hoc basis handmatig ingevoerd kunnen worden. Plannen afname Het systeem onderkent twee type planningen, te weten de reguliere Versie 1.0 Publicatiedatum: Pagina 23

24 planningen voor VO en MBO scholen en de geïmporteerde planningen voor NT2 en staatsexamens. Reguliere planningen Een afname wordt gepland op basis van kandidaten (vakken) met aanvullende kandidaatskenmerken en op een bepaald tijdstip. Een afname kenmerkt zich door een datum, tijd, examen, kandidaat en examenlocatie. Alvorens er door de examensecretaris gepland kan worden, moet er ieder jaar (rondom maart) de poolinggegevens uit EOS worden geïmporteerd. Dit geldt enkel voor VO scholen. o o o De examensecretaris kan filteren en groeperen op basis van: Leerweg; Vak; Kenmerken kandidaat; Tijdstip; Op basis van plandatum vakken kandidaat, waarbij de gebruiker alleen die examens kan selecteren die op die datum afgenomen mogen worden. Op basis van vakken plandatum kandidaat, waarbij de gebruiker de beschikbare examens met de mogelijke afnamemomenten te zien krijgt en op basis hiervan een afname kan plannen. Geïmporteerde planningen Het plannen van NT2- en staatsexamens vindt via een extern systeem binnen DUO plaats. Het computer examen systeem importeert deze planningen inclusief de gegevens van de kandidaten uit EOS. Hierbij worden de volgende import tijdstippen onderkend: o o Vermoedelijk dagelijks importeren van gegevens voor NT2 examens. Op verzoek importeren van gegevens voor staatsexamens. Toewijzen corrector aan afname De examensecretaris wijst een corrector toe aan een afname. Dit kan een 1 e, 2 e, 3 e of een najaarscorrector zijn. Hierbij geldt als uitgangspunt dat de 1 e corrector van de eigen examenlocatie komt, de 2 e van een gepoolde examenlocatie, en de eventuele 3 e corrector een externe corrector is via het CvE. Let wel dat ook andere varianten mogelijk moeten zijn. Denk hierbij aan de najaarscorrectie. Registreren school tweede correctie Indien een tweede correctie voor een afname noodzakelijk is, dan moeten uit een lijst (pooling) met beschikbare scholen (examenlocaties) een of meerdere scholen geselecteerd worden die correctoren levert voor een tweede correctie. De geselecteerde school krijgt een notificatie dat zij geselecteerd zijn voor een tweede correctieronde en wijst vervolgens zelf de correctoren toe aan de afname. De lijst met beschikbare scholen en capaciteitsaantallen komt uit het EOS (pooling) en wordt aangeleverd door DUO. Uitvoeren rechtmatigheidstoets Op een vooraf bepaald tijdstip dient de examensecretaris te controleren of de examenkandidaten examen mogen doen volgens de gestelde rechtmatigheidscriteria. Deze toets controleert of de schoolexamenresultaten in BRON bekend zijn en koppelt de resultaten terug. Controleren afnamegegevens Indien het een offline afname betreft controleert de examensecretaris op een vooraf bepaald tijdstip de beschikbaarheid van deze gegevens op de offline locatie (de lokale infrastructuur). Inrichten infrastructuur Een gescheiden processtap die tot doel heeft om de noodzakelijke infrastructuur op scholen in te richten zodanig dat deze geschikt is voor het afnemen van examens. In deze stap behoort ook het uitvoeren van een FT-examen waarmee de infrastructuur getest wordt op werking van- en de geschiktheid voor het weergeven van een examen. Afnamekalender De afnamekalender is het geheel aan ingeplande afnamen gedurende de dan geldende examenperiode. Afnamebeheerservice Paragraaf Examenafnameservice Paragraaf Versie 1.0 Publicatiedatum: Pagina 24

25 Het onderstaande overzicht geeft een indicatie per week van het aantal FT-examens dat over een jaar wordt afgenomen. Examenbeheerservice Paragraaf Kandidaatbeheerservice Paragraaf De aantallen zijn indicatief Hoofdproces: Afnemen Afnemen Dit hoofdproces voorziet in het afnemen van het echte examen, de minitoets en het proefexamen (Proef op de Som) bij de kandidaat. Dit proces resulteert in een afnamerespons op basis van het afgenomen examen. Afnametijdstip Het afnametijdstip is de datum en het tijdstip van de afname. Vrijgeven afname De examensecretaris (of de examinator, in geval van een minitoets) geeft de afname vrij voor de kandidaten. Met het vrijgeven kan het examen afgenomen worden door de kandidaten. Starten afname De kandidaat start de afname, waarna de kandidaat zich authentiseert. De examensecretaris kan in het geval van een NT2- examen de afnamen centraal starten. Controleren en bewaken afname De examensecretaris, en indien aanwezig de surveillant, controleert of de kandidaat het juiste examen maakt, door een visuele controle uit te voeren. Hierbij wordt gebruikt gemaakt van de getoonde informatie van de kandidaat en het examen op het scherm van de kandidaat en eventuele overzichten te verkrijgen via het afnamedashboard. Aanvullend bewaakt de examensecretaris, en indien aanwezig de surveillant, de voortgang van het examen en faciliteert de kandidaat in geval van een probleem met de examenafname. In geval van een NT2-examen kan de examensecretaris centraal alle examens gelijktijdig starten en/of pauzeren. Beantwoorden opgaven De kandidaat beantwoordt de examenopgaven. Het systeem legt de examenopgaven, karakteristieken en het pad waarin de examenopgaven zijn beantwoord, vast als afnamerespons. Sluiten afname De kandidaat sluit het examen via een presentatie van een overzicht met daarin opgenomen alle beantwoorde, gemarkeerde en/of onbeantwoorde opgaven. Het sluiten van een examen mag enkel geschieden via het overzicht. Een eenmaal afgesloten examen mag niet meer worden heropend. Versie 1.0 Publicatiedatum: Pagina 25

26 Afnamerespons De door het computerexamensysteem vastgelegde handelingen die verricht zijn- en antwoorden die gegeven zijn door de kandidaat. De handelingen bevatten kenmerken zoals navigatiepad en tijd voor iedere examenopgave. Afnamebeheerservice Paragraaf Examenafnameservice Paragraaf Het onderstaande overzicht geeft een indicatie per week van het aantal examens dat over een jaar wordt afgenomen. Afnamedashboardservice De aantallen zijn indicatief Hoofdproces: Corrigeren Corrigeren Dit hoofdproces voorziet in het corrigeren van de afnamerespons. Hierbij worden de gesloten opgaven automatisch gecorrigeerd door het systeem en de open opgaven worden gecorrigeerd via correctoren. Afgerond examen Enkel een afgerond examen kan door de examensecretaris vrijgegeven worden voor correctie. Vrijgeven afname voor correctie De examensecretaris geeft de afname, inclusief afnamerespons, vrij voor correctie. Corrigeren Afnamerespons Op basis van één of meerdere correctieronden wordt de afnamerespons gecorrigeerd door de toegewezen corrector. Het computerexamensysteem ondersteunt op een eenduidige manier alle correctieronden. Open opgaven worden door een corrector gecontroleerd en gescoord. Gesloten opgaven zijn automatisch door het systeem gescoord. Vaststellen scores Indien er sprake is van één correctieronde, dan bepaalt de 1 e corrector de scores. In geval van twee correctieronden (2 e corrector komt vanuit een andere school), dienen de 1 e en 2 e correctoren de scores te overleggen en overeen te komen. In geval van een 3 e correctieronde wordt de score bepaald door de 3 e corrector, waarbij eerdere scores worden genegeerd. In geval van een najaarscorrectie bepaalt de najaarscorrector een nieuwe score, deze score heeft enkel een auditfunctie en heeft geen gevolgen voor de eerder behaalde resultaten. Eindscore De vastgestelde eindscore die als input wordt gebruikt voor analyse, die aan de eindcijferbepaling ten grondslag ligt. Afnamebeheerservice Paragraaf Examencorrectieservice Paragraaf Versie 1.0 Publicatiedatum: Pagina 26

27 Het onderstaande overzicht geeft een indicatie per week van het aantal correcties dat over een jaar wordt uitgevoerd. De aantallen zijn indicatief Hoofdproces: Normeren Normeren Dit hoofdproces voorziet in het analyseren van de afnamerespons en het normeren van het examen, waarna het eindcijfer berekend kan worden. Beëindiging corrigeren Zodra de eerste afnamen van een examen zijn gecorrigeerd, kan er geanalyseerd worden. Bij een representatieve analyse zal er ook een normeringsadvies komen. Analyseren scores De afnamerespons kan door de examenleverancier of een andere partij worden geanalyseerd om te komen tot een normeringsadvies. Dit is echter afhankelijk van het type examen. Normeren examens Op basis van het verkregen normeringsadvies stelt het CvE de definitieve normering vast. Aanbrengen normering De definitieve normering wordt door CvE aangebracht in de vorm van een omzettingstabel. De omzettingstabel is een translatie van eindscore naar een eindcijfer. Exporteren De examensecretaris exporteert de eindscores en/of de eindcijfers uit het computerexamensysteem, en kan de toegepaste normering inzien Exameneindscore De vastgestelde eindscore die als input wordt gebruikt voor analyse en ten grondslag ligt aan de eindcijferbepaling. Exameneindcijfer Het uiteindelijk bepaalde eindcijfer. De officiële bepaling van het eindcijfer is een verantwoordelijkheid van de examenlocatie. Aanbieden van rapportages De examenleverancier genereert, met behulp van de dienst aanbieden rapportages, een rapport met daarin de geanonimiseerde afnamerespons inclusief de scores. Afnamebeheerservice Paragraaf Examenbeheerservice Paragraaf Versie 1.0 Publicatiedatum: Pagina 27

28 4.4.7 Hoofdproces: Inzage geven Inzage geven Dit hoofdproces voorziet in de mogelijkheid om een afname in te zien. De inzage verloopt altijd in het bijzijn van de examensecretaris of een door hem gemachtigd persoon. In een uitzonderlijk geval kan het CvE ook voorzien in een inzage. Behoefte tot inzage Een behoefte tot inzage wordt gehonoreerd. Selecteren afname De examensecretaris of gemachtigde persoon selecteert de afname. Inzage in afname De inzage verloopt alsof het een reguliere afname is, met dien verstande dat de opgaven inclusief de gegeven antwoorden en eindscore niet meer te wijzigen zijn. Afnamebeheerservice Paragraaf Exameninzageservice Paragraaf Hoofdproces: Oefenen Oefenen Dit hoofdproces voorziet in de mogelijkheid voor de kandidaat om online een oefenexamen te maken. Behoefte tot maken van oefenexamen De kandidaat heeft de behoefte om een examen te oefenen. Selecteer oefenexamen De kandidaat selecteert een oefenexamen dat beschikbaar is gesteld door het CvE. Starten oefenexamen De kandidaat start het oefenexamen. Beantwoorden examenopgaven De kandidaat beantwoordt de examenopgaven. Sluiten oefenexamen De kandidaat sluit het examen via een overzicht met daarin opgenomen alle beantwoorde, gemarkeerde en/of onbeantwoorde opgaven. Het sluiten van een examen mag enkel geschieden via het overzicht. Genereren samenvatting Het systeem genereert een examenresultaat op basis van opgaven, gegeven antwoorden, scores en correctievoorschrift. Versie 1.0 Publicatiedatum: Pagina 28

29 Oefenresultaat Een overzicht van de resultaten van het gemaakte oefenexamen, deze resultaten worden niet bewaard. Examen oefenservice Paragraaf Het onderstaande overzicht geeft een indicatie per week van het aantal oefenexamens dat over een jaar wordt gemaakt. De aantallen zijn indicatief Hoofdproces: Definiëren rapportage Definiëren rapportage Dit hoofdproces voorziet in het definiëren en maken van nieuwe, nog niet bestaande rapportages voor een of meerdere ketenpartners. Informatiebehoefte Ketenpartner heeft een informatiebehoefte. Verzamelen brongegevens Afhankelijk van de wensen van de ketenpartner selecteert de functioneel beheerder rapportage de brongegevens. Vaststellen rapportagevorm De functioneel beheerder rapportage definieert de rapportagevorm en stelt deze beschikbaar aan de ketenpartners. Rapportagevorm Standaard beschikbaar gestelde rapportagevorm. Rapportageservice Paragraaf Hoofdproces: Genereren rapportage Genereren rapportage Dit hoofdproces voorziet in de mogelijkheid om (standaard) vooraf gedefinieerde rapportages te genereren. Versie 1.0 Publicatiedatum: Pagina 29

30 Informatiebehoefte De ketenpartner heeft een informatiebehoefte. De rapportagevorm is standaard aanwezig of deze is al gedefinieerd in Hoofdproces: Definiëren rapportage. Selectie maken De ketenpartner selecteert een beschikbare rapportagevorm. Rapport genereren Het systeem verzamelt de gegevens en genereert een rapport en presenteert deze op scherm of in andere gewenste vormen. Rapport Het rapport. Rapportageservice Paragraaf Versie 1.0 Publicatiedatum: Pagina 30

31 4.5 Medewerkers en applicaties In deze laag staan de applicatieve services weergegeven die nodig zijn om het computerexamensysteem te laten werken. Veel van deze componenten moeten worden gebouwd. De overige kunnen als dienst worden afgenomen van DUO Applicatieservices Deze paragraaf beschrijft de applicatieve services die het examineren vorm geven. Een applicatieve service is het samenspel van applicaties en gerelateerde services die gezamenlijk de gebruiker van de service ondersteunen. De beschrijving van de service is dan ook vanuit het oogpunt de gebruiker gebeurd. De gebruiker kan zowel een actor als ook een applicatieve component zijn Afnamebeheerservice Afnamebeheerservice beheert de afnamen van het computerexamensysteem. Plannen afname Het importeren van gegevens uit EOS en het maken van planningen. Functies op service niveau: Importeren van gegevens: Starten Webbrowser Webclient Inloggen functioneel beheerder Zakelijk portaal authenticatie service Importeren gegevens vanuit EOS [ EOS service] Afnamebeheerapplicatie Weergeven importresultaat Afnamebeheerapplicatie Maken planningen: Inloggen van de gebruiker Zakelijk portaal authenticatie service. Maken, bewerkingen en verwijderen van planningen Afnamebeheerapplicatie. Toevoegen corrector aan afname Toevoegen, wijzigen en verwijderen van een 1 ste en eventueel een 2 de corrector aan een afname. De 2 de corrector kan enkel worden toegevoegd indien de examensecretaris een andere school heeft geregistreerd voor een tweede correctie. Mogelijk kan er ook een 3e en/of najaarscorrector worden toegevoegd. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Maken, bewerkingen en verwijderen van koppelingen examenafname aan corrector Afnamebeheerapplicatie. Registreren school tweede correctie Registreren van een school die de 2 de corrector levert. De selectie van een andere school is gebaseerd op poolinggegevens die uit EOS komen. Versie 1.0 Publicatiedatum: Pagina 31

32 Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteer en registreer een school uit lijst van poolinggegevens Afnamebeheerapplicatie. Uitvoeren rechtmatigheidstoets Uitvoeren van een rechtmatigheidstoets op een afname door een kandidaat via BRON te controleren op het mogen deelnemen aan een examen. Het systeem waarschuwt de examensecretaris indien kandidaten niet voldoen aan de rechtmatigheidscriteria. Het systeem controleert enkel de afname waarvan de rechtmatigheid niet is vastgesteld. Functies op service niveau: Uitvoeren rechtmatigheidstoets door systeem: Op basis van gegevens uit BRON [ BRON service] wordt de rechtmatigheid vastgesteld Afnamebeheerapplicatie. Het systeem verstuurt een met het resultaat Afnamebeheerapplicatie. Bekijken rechtmatigheidstoets door examensecretaris: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Per individuele afname wordt de rechtmatigheid weergegeven door middel van een indicatie Afnamebeheerapplicatie. Controleren afnamegegevens Overzichtelijk weergeven van de afnamegegevens. Eventuele uitzonderingen worden door het systeem gerapporteerd. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het weergeven van een overzicht met daarin de afnamen en zijn relevante gegevens Afnamebeheerapplicatie. Vrijgeven afname Vrijgeven van een afname door de examensecretaris op de dag dat de afname plaatsvindt. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het vrijgeven van een of meerdere afnamen Afnamebeheerapplicatie. Vrijgeven afname voor correctie Vrijgeven van de afnamerespons behorende bij een afname voor correctie door de corrector. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het vrijgeven van een of meerdere afnamen voor correctie Afnamebeheerapplicatie. Corrigeren afname Starten van de examencorrectieservice waarbij een examenafnamegroep als input dient. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor correctie Afnamebeheerapplicatie. Het starten van de correctieservice Examencorrectieservice Exporteren Exporteren van de behaalde eindscores en eindcijfers en het tonen van de toegepaste normering. Versie 1.0 Publicatiedatum: Pagina 32

33 Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor het exporteren van de resultaten Afnamebeheerapplicatie. Het tonen van de toegepaste normering Afnamebeheerapplicatie. Het beschikbaar stellen van de geselecteerde afnameresultaten via een bestand Afnamebeheerapplicatie. Exporteren van geselecteerde afnameresultaten naar BRON [ BRON service] Afnamebeheerapplicatie Inzage geven afname Starten van de exameninzageservice waarbij een enkele afname of een examenafnamegroep als input dient. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service. Het selecteren van een of meerdere afnamen voor correctie Afnamebeheerapplicatie. Het starten van de inzageservice Exameninzageservice Afnamedashboardservice Afnamedashboardservice bewaakt real-time de afnamen en beheert op ad-hoc basis de kandidaten en afnamen. Dit is de dashboardfunctionaliteit voor de examensecretaris. Controleren en bewaken afname Aanbieden van een beheerinterface aan de examensecretaris. Vanuit deze beheerinterface kunnen de kandidaten en afnamen op ad-hoc basis beheerd worden en kunnen de afnamen real-time worden bewaakt en bestuurd. Functies op service niveau: Starten Webbrowser Webclient Inloggen van de gebruiker Zakelijk portaal authenticatie service (online afname) of Decentrale authenticatieservice (offline). Beheren kandidaten en afnamen Afnamedashboardapplicatie. Bewaken van de afnamen Afnamedashboardapplicatie BRON service BRON is een basisregistratie die onderwijsinformatie bevat. Op basis van een service georiënteerde koppeling voorziet BRON in het leveren en ontvangen van examen gerelateerde informatie. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding. Versie 1.0 Publicatiedatum: Pagina 33

34 DUO Autorisatie service DUO maakt gebruik van standaard autorisatiediensten binnen de infrastructuur van DUO. Het computerexamensysteem maakt gebruik van deze standaard faciliteiten. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding Decentrale authenticatieservice Onderzoeksopdracht: DUO zal in de komende periode door middel van een onderzoek de mogelijkheden bestuderen voor een decentrale authenticatievorm. Deze decentrale authenticatie is voor examensecretarissen die bij een offline afname toegang willen krijgen tot de afnamedashboardapplicatie EOS service Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding Examenafnameservice De examenafnameservice voorziet in de afname van een examen, inclusief het verwerken van de handelingen en antwoorden door middel van een Afnamerespons. Inrichten infrastructuur Inrichten en toetsen van de lokale infrastructuur op het correct kunnen afspelen van het examen. Functies op service niveau: Starten Examenclient Examenclientapplicatie Inloggen van de gebruiker Examenafnameapplicatie Maken FT-Examen Examenafnameapplicatie Starten afname Authenticatie van de kandidaat, gevolgd door een overzichtsscherm waarin zowel gegevens van het examen als de kandidaat worden getoond. Functies op service niveau: Starten Examenclient Examenclientapplicatie Authentiseren van de kandidaat Examenafnameapplicatie Versie 1.0 Publicatiedatum: Pagina 34

35 Weergeven introductiescherm Examenafnameapplicatie Controleren (systeem)eisen van de afname Examenafnameapplicatie Beantwoorden opgaven Weergeven van de examen opgaven en eventueel hulpmiddelen, en het verwerken van de resultaten in de vorm van antwoorden conform QTI specificatie. Functies op service niveau: Weergeven van een opgave (Item) Examenafnameapplicatie Verwerken van een antwoord (Respons) Examenafnameapplicatie Navigeren door de examenafname Examenafnameapplicatie Aanbieden hulpmiddelen Examenafnameapplicatie Sluiten afname Indien een afname gesloten wordt dient eerst een overzichtsscherm te worden getoond met daarin opgenomen een overzicht van beantwoorde-, gemarkeerde en onbeantwoorde opgaven en de vraag of het examen echt afgesloten moet worden. Indien het een examen betreft waarin de kandidaat direct terugkoppeling dient te krijgen, worden de opgaven automatisch gescoord en verschijnt er na het afsluiten van de afname een overzicht met daarin het behaalde examenresultaat. Functies op service niveau: Weergeven van een overzichtsscherm voorafgaand aan het beëindigen van de afname Examenafnameapplicatie Indien geval van een minitoets met gesloten vragen kan direct een resultaat worden getoond Afnameresultaatapplicatie Examenbeheerservice Examenbeheerservice voorziet in een voorziening om de verschillende versies van examens overzichtelijk te beheren. De service beheert een repository met daarin de examens en hun metagegevens. Testen examens Importeren van een examenbestand en vervolgens het starten van de examenpreviewservice. Functies op service niveau: Starten Previewclient Examenpreviewclientapplicatie. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Importeren van examenbestand Examenbeheerapplicatie. Selecteren examenbestand Examenbeheerapplicatie. Het starten van de examenpreviewservice Examenpreviewservice. Toevoegen kenmerken aan examens Beheren van kenmerken door middel van profielen en deze vervolgens toevoegen aan een examen. Versie 1.0 Publicatiedatum: Pagina 35

36 Functies op service niveau: Starten Webbrowser Webclient. Beheren van profielen met kenmerken en instellingen Examenbeheerapplicatie. Toevoegen van een profiel aan een examen Examenbeheerapplicatie. Technische acceptatie examens Selecteren van een examen voor preview en vervolgens het starten van de examenpreviewservice. Functies op service niveau: Starten Previewclient Examenpreviewclientapplicatie. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteren examenbestand Examenbeheerapplicatie. Het starten van de examenpreviewservice Examenpreviewservice. Wijzig status van examen in acceptatie Examenbeheerapplicatie. Vaststellen kenmerken Selecteren van een examen voor het vaststellen van kenmerken. Voor het gemak zijn de kenmerken vastgelegd in profielen. Functies op service niveau: Starten Previewclient Examenpreviewclientapplicatie. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteren examenbestand Examenbeheerapplicatie. Toevoegen van een profiel met kenmerken aan een examen Examenbeheerapplicatie. Beheren van een profiel Examenbeheerapplicatie. Vaststellen van een examen Selecteren van een examen voor preview en vervolgens het starten van de examenpreviewservice. Na akkoord wordt de status van het examen gewijzigd in productie. Functies op service niveau: Starten Previewclient Examenpreviewclientapplicatie. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteren examenbestand Examenbeheerapplicatie. Het starten van de examenpreviewservice Examenpreviewservice. Kenmerken vaststellen van een examen Examenbeheerapplicatie. Vrijgeven examen voor planning Selecteren en vrijgeven van een examen voor planning. Functies op service niveau: Starten Webbrowser Webclient. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteren examenbestand Examenbeheerapplicatie. Geef examen vrij voor planning Examenbeheerapplicatie. Aanbrengen normering Selecteren van een examenvariant en vervolgens het aanbrengen van een normering. De normering behelst het importeren van de omzettingstabel. Functies op service niveau: Starten Webbrowser Webclient. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Selecteren examenbestand Examenbeheerapplicatie. Aanbrengen normering Examenbeheerapplicatie. Versie 1.0 Publicatiedatum: Pagina 36

37 Examencorrectieservice De examencorrectieservice voorziet in het corrigeren van afnamen en biedt de mogelijkheid tot het aanbrengen van scores en aantekeningen. Corrigeren afnamerespons Bieden van een faciliteit voor de corrector om gemaakte afnamen te corrigeren. Hierbij kan de corrector per kandidaat of per afnamegroep corrigeren. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Corrigeren van afnamen Examencorrectieapplicatie. Vaststellen scores Bieden van een overzicht waarin de eindscore vermeld staat. In geval van een twee correctieronden dient de service te voorzien een functie die een overeengekomen score tussen beide correctoren vastlegt en accordeert. Het vastleggen van de overeengekomen score gebeurt door de tweede corrector en de eerste accordeert de score. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Tonen eindscore van correcties Examencorrectieapplicatie. Vastleggen van de overeengekomen eindscore Examencorrectieapplicatie Exameninzageservice Voorziet in het weergeven van afnamen, correcties en correctievoorschriften, het is niet meer mogelijk om wijzigingen aan te brengen in de afnamen. Inzage geven afname Faciliteit voor de examensecretaris of CvE om een gemaakte en gescoorde afname in te zien. In de afname kunnen geen wijzigingen meer worden aangebracht. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Inzage geven in een afnamen Examencorrectieapplicatie. Versie 1.0 Publicatiedatum: Pagina 37

38 Examen oefenservice Voorziet in de weergave van examenopgaven en het verwerken van de antwoorden ten behoeve van het individueel oefenen van kandidaten. Selecteren van een oefenexamen Selecteren van een oefenexamen door een gebruiker. Functies op service niveau: Starten Webbrowser Webclient. Selecteren van een oefenexamen uit een lijst Examenoefenapplicatie. Starten van oefenexamen Starten van het oefenexamen, tijdens het starten wordt de naam van het examen en de tijdsduur van het examen getoond in een introductiescherm. Functies op service niveau: Weergeven introductiescherm Examenoefenapplicatie. Beantwoorden oefenopgaven Weergeven van de examenopgaven en het verwerken van de resultaten in de vorm van antwoorden conform QTI specificatie. Functies op service niveau: Weergeven van een opgave (Item) Examenoefenapplicatie. Verwerken van een antwoord (Respons) Examenoefenapplicatie. Navigeren door de examenafname Examenoefenapplicatie. Sluiten afname Indien een examen gesloten wordt dient alvorens eerst een overzichtsscherm worden getoond met daarin opgenomen een overzicht van beantwoorde-, gemarkeerde en onbeantwoorde opgaven en de vraag of het examen echt afgesloten moet worden. De kandidaat krijgt direct terugkoppeling over het behaalde oefenexamenresultaat en de opgaven worden automatisch gescoord. Functies op service niveau: Weergeven van een overzichtsscherm voorafgaand aan het beëindigen van de afname Examenoefenapplicatie. Tonen van het resultaat Afnameresultaatapplicatie Examenpreviewservice De examenpreviewservice voorziet in de weergave van examenopgaven met aanvullende gereedschappen voor ontwikkelaars, zoals de mogelijkheid om bijvoorbeeld de broncode in te zien van de examens. Versie 1.0 Publicatiedatum: Pagina 38

39 Testen examens Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Weergeven van een examen Examenpreviewapplicatie. Technisch accepteren examens Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Weergeven van een examen Examenpreviewapplicatie. Vaststellen van een examen Weergeven van het examen zoals deze ook wordt weergegeven tijdens het examen zelf. Hierbij heeft de examenleverancier de mogelijkheid om extra informatie op te vragen of weer te geven. Functies op service niveau: Vaststellen identiteit van de gebruiker Zakelijk portaal authenticatie service. Weergeven van een examen Examenpreviewapplicatie Kandidaatbeheerservice Kandidaatbeheerservice beheert de examenkandidaten van het computerexamensysteem inclusief het importeren van kandidaatgegevens uit Bron en het schooladminstratiesysteem. Invoeren van kandidaatsgegevens De service ondersteunt het proces door het bieden van een importeerfunctie vanuit BRON en de schooladministratiesystemen op basis van een vastgesteld bericht. Aanvullend kunnen de gegevens handmatig ingevoerd en bewerkt worden. Enkel de kandidaatsgegevens die toebehoren aan de examenlocatie mogen worden weergegeven en geïmporteerd. Functies op service niveau: Versie 1.0 Publicatiedatum: Pagina 39

40 Starten Webbrowser Webclient. Inloggen van de gebruiker Zakelijk portaal authenticatie service. Importeren kandidaten uit BRON [ BRON service] Kandidaatbeheerapplicatie. Optioneel importeren kandidaten uit Schooladministratiesysteem. [ Schooladministratiesysteem (SAS)] Kandidaatbeheerapplicatie. Optioneel importeren van Inlognamen Kandidaatbeheerapplicatie. Optioneel opvoeren van kandidaat en inlognaam Kandidaatbeheerapplicatie Rapportageservice Rapportageservice voorziet in de informatiebehoefte van ketenpartners. Vaststellen rapportagevorm De service ondersteunt het proces door het bieden van een beheerinterface aan de beheerder van de rapportageomgeving. Van hieruit kan deze standaard rapportage samenstellen die beschikbaar worden gesteld aan de ketenpartners. Verzamelen brongegevens De service ondersteunt het proces door middel van het verzamelen van de benodigde brongegevens uit de relevante databanken. examensecretaris tijdens het examen kandidaten opvoeren en afnamen plannen. Selectie maken De service ondersteunt het proces door middel van het bieden van een interface voor het selecteren van een rapportagevorm en het definiëren van de reikwijdte van het rapport. Rapport genereren De rapportageservice levert de mogelijkheid om rapportages op te vragen en de resultaten in de gewenste vorm beschikbaar te stellen. Dit zijn onder andere: scherm, PDF, XML. De service ondersteunt het proces door middel van het genereren van een rapport en deze in het gewenst formaat beschikbaar te stellen aan de ketenpartner Zakelijk portaal authenticatie service Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding Applicaties Afnamebeheerapplicatie Bestaat uit een verzameling JEE-componenten die als doel hebben om de afnamen via het computerexamensysteem te beheren. Het systeem voorziet tevens in het importeren van poolinggegevens vanuit EOS. Versie 1.0 Publicatiedatum: Pagina 40

41 Afnamebeheercomponent Paragraaf Afnameresultaatexportcomponent Paragraaf EOS-importcomponent Paragraaf Rechtmatigheidcontrolecomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Afnamedashboardapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om de examensecretaris inzicht te geven in de activiteiten rondom de afnamen en de mogelijk te bieden om op het laatste moment een nieuwe afname in te plannen inclusief het opvoeren van een nieuwe kandidaat. De koppelingen met EOS en BRON ontbreken in deze applicatie, waardoor het niet mogelijk is afname- en kandidaatgegevens te importeren. Afnamebeheercomponent Paragraaf Afnamemonitorcomponent Paragraaf Kandidaatbeheercomponent Paragraaf DUO Abstration layer Paragraaf JEE-service Paragraaf JEE-Service Afnameresultaatapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om de resultaten van een door de kandidaat afgeronde afname die automatisch gescoord is weer te geven. De applicatie draait als zelfstandige applicatie en kan gestart worden vanuit de afnameapplicatie. Afnameresultaatcomponent Afnameresultaatcomponent Versie 1.0 Publicatiedatum: Pagina 41

42 Responsverwerkingscomponent Responsverwerkingcomponent DUO Abstration layer Paragraaf JEE-service JEE-Service Examenbeheerapplicatie Bestaat uit een verzameling JEE-componenten die als doel hebben om de examens te beheren, waarbij de examens worden opgeslagen in een repository. De examenbeheerapplicatie biedt voorzieningen om de (nieuwe versies) examens te uploaden in het computerexamensysteem. Archiveringscomponent Paragraaf Examenbeheercomponent Paragraaf Examenimportcomponent Paragraaf Omzettingstabelimportcomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Kandidaatbeheerapplicatie Bestaat uit een verzameling JEE-componenten die als doel hebben om de gebruikers van het computerexamensysteem te beheren. Het systeem voorziet tevens in het importeren van gebruikers vanuit BRON en het eigen schooladministratiesysteem. Kandidaatbeheercomponent Paragraaf Kandidaatimportcomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Examenafnameapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om examens af te nemen. Versie 1.0 Publicatiedatum: Pagina 42

43 Afnamecontrolecomponent Paragraaf Afnameresponscomponent Paragraaf Afnameschilcomponent Paragraaf Hulpmiddelencomponent Paragraaf QTI Engine component Paragraaf Startschermcomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Examenpreviewapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om voor ontwikkelaars een weergave te geven van het uiteindelijke examen en hen ook de mogelijkheid te bieden om de broncode van het examen in te zien. Afnamecontrolecomponent Paragraaf Afnameresponscomponent Paragraaf Afnameschilcomponent Paragraaf Examenpreviewcomponent Paragraaf Hulpmiddelencomponent Paragraaf QTI Engine component Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Examencorrectieapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om de correcties uit te kunnen voeren op de afnamerespons van de afgenomen examens en om naderhand de afnamerespons inclusief de correcties in te kunnen zien. Versie 1.0 Publicatiedatum: Pagina 43

44 Afnamecorrectiecomponent Paragraaf Eindscorecomponent Paragraaf QTI Engine component Paragraaf Responsverwerkingcomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Examenoefenapplicatie Bestaat uit een verzameling JEE componenten, die als doel hebben om oefenexamens af te nemen. De dienst wordt via het Internet beschikbaar gesteld aan kandidaten. Afnameresponscomponent Paragraaf QTI Engine component Paragraaf Startschermcomponent Paragraaf DUO Abstration layer Paragraaf JEE-Service Paragraaf Examenpreviewclientapplicatie Preview client Voorziet in een client pc waarop een beveiligde webbrowser inclusief maatregelen om het besturingssysteem te beveiligen geïnstalleerd is. De webbrowser dient HTML5 gebaseerde pagina s weer te kunnen geven op basis van de W3C standaarden. De W3C standaard voorziet in afspraken rondom de HTML, CSS, XML en Media Standaarden. Layout engine component Paragraaf Clientservice Stelt een reguliere Windows, Linux of Apple PC beschikbaar. Versie 1.0 Publicatiedatum: Pagina 44

45 Examenclientapplicatie Voorziet in een client pc waarop een beveiligde webbrowser inclusief maatregelen om het besturingssysteem te beveiligen geïnstalleerd is. De webbrowser dient HTML5 gebaseerde pagina s weer te kunnen geven op basis van de W3C standaarden. De W3C standaard voorziet in afspraken rondom de HTML, CSS, XML en Media Standaarden. De extra beveiligingseisen zijn opgesteld omdat tijdens het afnemen van een examen het niet toegestaan is om gebruik te maken van andere applicaties buiten het examen zelf. De client dient afgeschermd te zijn van het Internettoegang en additionele applicaties. De installatie en de-installatie van de examenclientapplicatie moet snel en eenvoudig kunnen geschieden zonder tussenkomst van een beheerder. De installatie mag de werking van de overige onderdelen van de PC niet beïnvloeden. Layout engine component Paragraaf Client lockdowncomponent Paragraaf Clientservice Paragraaf Rapportageapplicatie Bestaat uit een verzameling applicatiecomponenten, die als doel hebben om rapportages samen te stellen, gegevens uit bronsystemen te extraheren en data bewerking uit te voeren. De rapportage applicatie maakt gebruik van de bestaande rapportage voorziening die aanwezig is bij DUO. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding Webclient De webclient vertegenwoordigt een standaard PC met een standaard webbrowser zoals: Firefox, Internet Explorer, Google Chrome of Safari. Web Client voorziet in een reguliere webbrowser. De webbrowser dient HTML5 gebaseerde pagina s weer te kunnen geven op basis van de W3C standaarden. [Ref. 10] Clientservice Stelt een reguliere Windows, Linux of Apple PC besturingssysteem beschikbaar Versie 1.0 Publicatiedatum: Pagina 45

46 Schooladministratiesysteem (SAS) Het schooladministratiesysteem is een systeem dat beheerd wordt door de examenlocatie. Het computerexamensysteem biedt de mogelijkheid om kandidaatgegevens te importen vanuit het schooladministratiesysteem en afnameresultaten te exporteren naar het schooladministratiesysteem DUO Componenten Deze paragraaf beschrijft de individuele componenten die onder verantwoording van DUO gerealiseerd moeten worden Afnamebeheercomponent Voorziet in het beheren en de weergave van de afnamen. Aanvullend voorziet de component in een voorziening om s te creëren waarmee examensecretarissen worden uitgenodigd voor het inplannen van een tweede corrector. Afnameoverzichtsscherm Het overzichtelijk weergeven van alle afnamen die vallen onder verantwoordelijkheid van de Examensecretaris. De lijst kan verder worden gespecificeerd door middel van selecties en filters. De rechtmatigheid van iedere afname [ Examenafname Rechtmatigheidsindicatie] wordt duidelijk weergegeven in het afnameoverzichtscherm indien het examen een rechtmatigheidcontrole heeft [ Examenafname UitvoerenrechtmatigheidControle]. Door middel van signalering dient per afnamegroep inzichtelijk worden gemaakt of aan alle voorwaarden is voldaan voor een goede afname, waarvoor geldt dat: OK: Geen problemen. De afnamen kan normaal plaats vinden. Waarschuwing: Geringe problemen. De afname kan normaal plaats vinden maar er is niet voldaan aan alle (wettelijke) voorwaarden voor een goede afname. Zoals een rechtmatigheidstoets die niet akkoord bevonden is. Probleem: Grote problemen, De afname kan niet plaatsvinden omdat de juiste gegevens niet beschikbaar zijn. Zoals een offline afname die niet gereed staat op de afname locatie of een verkeerde versie van het examen staat gereed op de afname locatie. Selecteren kandidaten Het kunnen selecteren van een of meerdere examenkandidaten [ Examenkandidaat] op basis van een leerweg [ Opleidingniveau] of vak [ Vak]. Aanbrengen Filters De lijst van beschikbare kandidaten kan beperkt worden door filters aan te brengen op kenmerken. Opmerking: Het attribuut kenmerk is nu enkel functioneel benoemd en heeft nog geen definitieve plek gekregen in het examensysteem of het gegevenswoordenboek. Beheren afnamen Koppel de kandidaatgegevens [ Examenkandidaat] aan een examenvariant [ Examenvariant] tot een examenafname [ Examenafname] en groepeer deze afnamen tot een examenafnamegroep. Een examenafnamegroep [ Examenafnamegroep] bestaat uit een of meerdere afnamen met als kenmerk dezelfde examenafnamedatum, examenbegintijd en examenlocatie. Op basis van een tijdstip een valide examenvariant [ Examenvariant BeginGeldigheidsdatum, EindGeldigheidsdatum] inplannen en daar vervolgens de kandidaten [ Examenkandidaat] bij selecteren. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Versie 1.0 Publicatiedatum: Pagina 46

47 Afname- en correctieblokkade De component blokkeert automatisch de afname [ Examenafname] voor het afnemen [ ExamenafnameAfnameblokkade] en de correctie [ ExamenafnameCorrectieblokade]. Opheffen afnameblokkade Vrijgeven [ ExamenafnameAfnameblokkade] van een of meerdere afnamen [ Examenafname] voor een afname. Het vrijgeven van een afname kan pas vanaf instelbaar moment voor het afnametijdstip [ Examenafnamegroep Examenafnamedatum, Examenbegintijd] gebeuren. Opheffen correctieblokkade Vrijgeven [ ExamenafnameCorrectieblokkade] van een of meerdere afnamen [ Examenafname] voor een afname. Het vrijgeven van correcties kan enkel gebeuren indien de gehele afnamegroep de afname heeft afgesloten. Beheren afnamegroep Met het aanmaken van een examenafname en daarmee ook een examenafnamegroep moeten er eigenschappen worden vastgelegd over de examenafnamegroep [ Examenafnamegroep]. De volgende eigenschappen moeten kunnen worden aangepast: De examenafnamedatum [ ExamenafnamegroepExamenafnamedatum], waarvoor geldt dat deze moet liggen tussen [ Examenvariant Begingeldigheiddatum] [ Examenvariant Eindgeldigheiddatum]. Examenbegintijd [ Examenafnamegroep Examenbegintijd] Naam van de examengroep [ ExamenafnamegroepNaamExamengroep] Naam van het examenlokaal [ ExamenafnamegroepNaamExamenlokaal] De component blokkeert automatisch de afname [ Examenafname] voor het afnemen [ Examenafname Afnameblokkade] en correctie [ Examenafname Correctieblokade]. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren corrector Koppel een 1 ste, 2 de of 3 de corrector [ Examenfunctionaris] aan de geselecteerde afnamen [ Examenafname]. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren school Koppel een school [ Onderwijsinstelling] die de 2 de corrector levert voor de 2 de correctieronde aan een afnamegroep [ Examenafnamegroep]. Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Selecteren voor najaarscorrectie Indiceer een of meerdere afnamen [ Examenafname] voor het uitvoeren van een najaarscorrectie [ Examenafname IndicatieNajaarscorrectie] Selecteren najaarscorrector Koppel een (najaars)corrector [ Examenfunctionaris] aan de geselecteerde afnamen [ Examenafname], indien de afname voorzien is van de indicatie Najaarscorrectie [ ExamenafnameIndicatieNajaarscorrectie] Het moet mogelijk zijn om bovenstaande gedefinieerde koppelingen te wijzigen en te verwijderen. Genereren Eenmalig Wachtwoord Het systeem moet automatisch een eenmalig wachtwoord genereren voor zowel een examenafname [ Examenafname EenmaligWachtwoord] alsook voor een examenafnamegroep [ Examenafnamegroep EenmaligWachtwoord]. Het eenmalig wachtwoord is een unieke code die relateren is aan een afname of afnamegroep en biedt een veilige en eenvoudige methode om kandidaten te authentiseren. Starten correctieapplicatie starten van de examencorrectieapplicatie na selectie van een of meerdere afnamen, door middel van de examencorrectieservice [ StartCorrectieParameters] Examencorrectie. Versie 1.0 Publicatiedatum: Pagina 47

48 Beschikbaar stellen examen offline In geval van een offline afname, worden de benodigde examens naar de offline examenserver gekopieerd. Het system moet de examensecretaris kunnen informeren over de beschikbaarheid van het examen op de offline locatie. Versturen bericht Opstellen van een bericht voor de examensecretaris [ ZakelijkGebruiker] van de school die de 2 de corrector levert, met daarin een uitnodiging voor het selecteren van een corrector aan een afname. De wordt verstuurd via de service Afnamemonitorcomponent De afnamemonitorcomponent geeft een actueel inzicht over de kandidaten die het examen afnemen en ook de kandidaten die wel gepland staan maar niet zijn ingelogd. Daarbij kan de afnamemonitor de voortgang van de afnames beïnvloeden en geeft deze alle fouten weer die zich tijdens het afnemen van het examen voordoen. Weergeven overzicht Geef een overzicht van actuele gegevens over de afname. Eindtijd wijzigen Wijzigen van de eindtijd van een afname door het toevoegen van additionele tijd [ Examenafname AdditioneleTijd] Centraal Starten Vanuit de afname dashboard kunnen de afnamen allemaal gelijktijdige gestart worden via het zetten van het [ ExamenafnameStuurgegevens ExamenafnameStarttijdstip]. Als deze functie actief is dan verschijnt er nadat de kandidaat is ingelogd een overzichtsscherm, waarna de kandidaat geblokkeerd wordt tot het moment dat het examen via de dashboard wordt gestart. Centraal Stoppen Vanuit de afnamedashboard kan het examen centraal gestopt worden via het zetten van het [ ExamenafnameStuurgegevens ExamenafnameStoptijdstip], kan automatisch gebeuren indien er een bepaalde tijd verstreken is. Centraal Pauzeren In geval van een korte onderbreking kunnen de afnamen in een bepaalde groep (binnen 1 examenlocatie) tijdelijk gepauzeerd worden via het zetten van het [ ExamenafnameStuurgegevens ExamenafnameStoptijdstip] en [ ExamenafnameStuurgegevens ExamenafnameStarttijdstip]. Hiertoe worden de actieve afnamen geselecteerd, waarna deze gelijktijdig worden gepauzeerd. Deze functie kan op twee manieren worden uitgevoerd: Per vraag, de kandidaat maken gelijktijdig dezelfde vraag, waarna het examen automatisch onderbroken wordt. Centraal op een willekeurig moment. Weergeven van een mededeling Centraal een mededeling versturen naar een of meerdere werkstations, door middel van het plaatsen van een bericht in [ ExamenafnameStuurgegevens ExamenafnameMededeling]. Door een of meerdere kandidaten te selecteren en vervolgens een berichtenscherm te tonen kan het bericht worden opgemaakt en vervolgens worden weergegeven via de examenafnameclient. Centraal Verplaatsen In geval van een calamiteit op een examencliënt kan vanaf de afname dashboard de examensecretaris besluiten om de afname voor de kandidaat tijdelijk te pauzeren, waarna de kandidaat op een ander werkstation het examen kan voortzetten Afnameresultaatexportcomponent Voorziet in exporteren van de examenresultaten naar BRON en het schooladministratiesysteem. Versie 1.0 Publicatiedatum: Pagina 48

49 Export naar SAS Exporteer de afnameresultaten [ Examen Examennaam], [ Examenkandidaat] [Examencorrectie Eindscoreovereengekomen] en [ Exameneindcijfer] naar het School Administratiesysteem via een XML of CSV bestand. Export naar BRON Exporteer de afnameresultaten [ Examen Examennaam], [ Examenkandidaat] [Examencorrectie Eindscoreovereengekomen] en [ Exameneindcijfer] naar BRON. Inzien normering Het op verzoek inzien van de normering [ Omzettingstabel] inclusief de toelichting [ Examenvariant ToelichtingExamenvariant] Archiveringscomponent Voorziet in het archiveren van het examen en zijn gerelateerde gegevensobjecten zoals kandidaten, afnamen en examenresultaten. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding DUO Abstration layer Een abstractielaag die de specifieke koppelingen met externe services en componenten generiek ontsluit voor JEE-componenten. OSGi De Java modulen worden gebouwd conform de specificaties van OSGi. Het OSGi-framework biedt een elegant, compleet en dynamisch componentenmodel. [Ref. 11] DUO-autorisatieservice De DUO-Autorisatieservice wordt via JAAS aangeboden. [Ref. 12] JAAS: Datastoreservice De datastoreservice levert opslagfaciliteiten aan de Java componenten. De componenten maken gebruik van de storageservice door middel van DAO Datastoreservice [Ref. 13] DAO: Monitorservice De monitorservice levert beschikbaarheid informatie over het functioneren van het examensysteem Monitorservice [Ref. 14] JMX: Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding. Versie 1.0 Publicatiedatum: Pagina 49

50 EOS-importcomponent Voorziet in het importeren van de pooling- en planningsgegevens uit het EOS bronsysteem. De staatsexamens worden voorlopig nog gepland in EOS, mogelijk zal deze planningsmodule in EOS worden vervangen door het computerexamensysteem. Import pooling Voeg poolinggegevens toe aan het examensysteem door deze handmatig te importen vanuit EOS EOS service. Import planning NT2 Voeg planningsgegevens toe aan het examensysteem voor NT2-examens door deze handmatig te importeren vanuit EOS EOS service. Import planning staatsexamens Voeg planningsgegevens toe aan het examensysteem voor staatsexamens door deze handmatig te importeren vanuit EOS EOS service Examenbeheercomponent De examenbeheercomponent beheert overzichtelijk de verschillende edities en versies van examens in een repository (depot). De examenbeheercomponent beheert tevens de instellingen die behoren bij het gegevensobjecten examen en examenvariant en kan desgewenst ook aanpassen. Selecteren examens Selecteren van een examen [ Examen] en/of examenvarianten [ Examenvariant] voor bewerking. Beheren examenprofielen Voor het correct zetten van instellingen en kenmerken op examens en examenvarianten wordt gebruik gemaakt van toepassingsprofielen. Profielen worden door het systeem beheerd en kunnen later worden hergebruikt. Aanbrengen van kenmerken De kenmerken en instellingen voor een examen worden aangebracht door middel van een toepassingsprofiel. Met het aanbrengen van het toepassingsprofiel worden alle oude instellingen en kenmerken overschreven. Blokkeren voor planning Blokkeren examen voor planning [ Examen Planningsblokkade]. Vrijgeven voor planning Vrijgeven examen voor planning [ Examen Planningsblokkade]. Veranderen van status Veranderen van de status van het examen [ Examen Examenstatus] in test, acceptatie en productie. Starten previewapplicatie Start een examenpreview door middel van de examenpreviewservice [ StartPreviewParameters] Examenpreview Examenimportcomponent De examenimportcomponent voorziet in het importeren van nieuwe (versies van het) examen door examenleveranciers in de repository. Vanaf het plaatsingsmoment van het examen in de repository wordt deze zichtbaar voor CvE die eigenaar is van het examen. Importeren examenbestand Importeert een examenbestand [ QTI-bestand] en controleert de juistheid en volledigheid door middel van een [ QTI-manifest]. Validatie examenbestand Op basis van het QTI-manifest [ de inhoud van het examenbestand gevalideerd. QTI-manifest] wordt Importeren meta-gegevens Importeert de examennaam, de examenvariantnaam en de leveranciersnaam vanuit het examenbestand [ QTI-bestand] in het examensysteem [ ExamenExamennaam] [ ExamenvariantExamenvariantnaam] [ Examenleverancier NaamExamenleverancier] Versie 1.0 Publicatiedatum: Pagina 50

51 Herplaatsen van resources Indien nodig kan het examenbestand worden uitgepakt en de (media)bestanden een nieuwe door DUO aan te wijzen plek krijgen in het examensysteem. Na het herplaatsen dient het QTI-manifest administratief te worden bijgewerkt met de nieuwe locaties. Administreren versies Iedere versie van het examen wordt uniek geadministreerd in het systeem Kandidaatbeheercomponent De kandidaatbeheercomponent voorziet in het beheren van de kandidaat-gegevens en de weergave van de administratie. De geadministreerde gebruiker gegevens moeten eventueel gewijzigd kunnen worden. Administreren van kandidaten Toevoegen, bewerken en verwijderen van kandidaten [ Examenkandidaat]. Het kenmerk verklankingsindicatie [Examenkandidaat Examenkandidaat] moet kunnen worden aangepast. Selecteren kandidaten Het selecteren van een of meerdere examenkandidaten [ Examenkandidaat] op basis van een vak [ Vak]. Aanbrengen Filters De lijst van beschikbare kandidaten kan beperkt worden door filters aan te brengen op kenmerken. Het attribuut kenmerk is nu enkel functioneel benoemd en heeft nog geen definitieve plek gekregen in het examensysteem of het gegevenswoordenboek Kandidaatimportcomponent Voorziet in het importeren van gebruiker gegevens vanuit diverse bronsystemen, waaronder BRON en het eigen schooladministratiesysteem. De import dient bij voorkeur via een SOAP koppeling te verlopen in geval van BRON en via een XML koppeling of SOAP koppeling in geval van het schooladministratiesysteem. BRON Import Importeren van kandidaatgegevens [ Examenkandidaat] uit BRON BRON service. SAS Import Importeren van kandidaatgegevens [ Examenkandidaat] uit het school administratiesysteem Schooladministratiesysteem (SAS). Inlognaam Import Importeren van namen [ ExamenkandidaatInlognaam] uit het schooladministratiesysteem ten behoeve van inloggen. Validatie gegevens Indien bij een import al bestaande gegevens overschreven worden dient het systeem dit te signaleren. De examensecretaris moet kiezen of de bestaande gegevens overschreven dienen te worden Omzettingstabelimportcomponent Importeert de omzettingstabel door CvE. Selecties Selecteer een examen [ Examen] en bijbehorende de variant [ Examen] voor het aanbrengen van de normering Importeren Importeren van de normering [ Omzettingstabel] in het examensysteem en toevoegen aan een examenvariant [ Examenvariant]. Bewerken toelichting Toevoegen of bijwerken van de toelichting [ Examenvariant ToelichtingExamenvariant] die behoort bij een omzettingstabel. Versie 1.0 Publicatiedatum: Pagina 51

52 Rechtmatigheidcontrolecomponent Voorziet in het uitvoeren van een rechtmatigheidscontrole op basis van gegevens in BRON. De component dient de gegevens te benaderen via een SOAP koppeling. Vaststellen rechtmatigheid Op basis van een instelling [ Examen Uitvoerenrechtmatigheidcontrole] dient automatisch op een vastgesteld tijdstip [ Examen RechtmatigheidscontroleDeadline] de rechtmatigheid [ Examenafname Rechtmatigheidsindicatie] per afname vastgesteld te worden. Via BRON vindt er een controle plaats op het vastgelegde cijfer van het schoolexamen (SE) [ Exameneindcijfer]. Versturen resultaten De resultaten van de rechtmatigheidcontrole wordt via de E- mailservice naar de examensecretaris verstuurd. Hierin mogen niet de namen van de kandidaten staan Startschermcomponent De startschermcomponent toont een welkomscherm waarin de kandidaat zich kan authentiseren. Het systeem onderkent twee typen authenticatie methoden, te weten op afnameniveau en afnamegroeps niveau. Op basis van de authenticatiecode selecteert het systeem het juiste examen. Authentiseren Kandidaat Het examensysteem onderkent twee type authenticatiemechanismen, te weten eenmalig wachtwoord voor een kandidaat of een eenmalig wachtwoord voor de groep: 1. Invoeren van unieke afnamecode [ Examenafname EenmaligWachtwoord] 2. Invoeren gebruikersnaam [ Examenkandidaat Inlognaam] van de kandidaat met een unieke groepscode [ Examenafnamegroep EenmaligWachtwoord] die behoord bij de afnamegroep. Selecteren Examen Op basis van de unieke (groeps)code [ Examenafname EenmaligWachtwoord] of [ Examenafnamegroep EenmaligWachtwoord] selecteert het systeem de examenvariant. Tonen informatiescherm Weergeven van informatiescherm [ Onderwijslocatie] [ Examenkandidaat] [ IdentificatieMens] [ Examen Examennaam] [ Examenvariant Examenvariantnaam] voor aanvang examen Leverancierscomponenten Afnamecontrolecomponent Verzorgt het definiëren van de controle mechanismen die uitgevoerd moeten worden door de examen client. Deze controle mechanismen voorzien in het controleren van de capaciteiten van de examencliënt. Controle Op basis van gegevens in QTI dient de component een controle uit te voeren. Deze controle bestaat uit routinechecks aan client zijde, die aspecten als resolutie en kleurdiepte controleert. Versie 1.0 Publicatiedatum: Pagina 52

53 Afnamecorrectiecomponent Tijdens het corrigeren worden de examens inclusief de antwoorden weergegeven via QTI enginecomponent, echter de corrector heeft de mogelijkheid om aantekeningen toe te voegen aan de antwoorden en hieraan scores toe te kennen. De aantekeningen en scores worden als afgeleide van een afnamerespons opgeslagen. Selecties Selecteren en weergeven van een examenopgave [ QTI-bestand] [ Mediabestanden]. Indien geldt dat er meerdere afnamen zijn geselecteerd voor correctie, dan krijgt de corrector de mogelijkheid om per vraag alle afnames of per afname alle vragen te corrigeren. Corrigeren Corrigeren van een Examenvraag [ QTI-bestand] [ Afnamecorrectie] [ AfnameItemCorrectie] Correctievoorschrift Op verzoek weergeven van correctievoorschrift [ QTIbestand]. Aantekeningen Vastleggen van aantekeningen [ AfnameItemCorrectieToelichting] AfnameItemCorrectie Zichtbaarheid Correcties Op basis van instelling [ Correctieronde ZichtbaarheidHandcorrectie] weergeven score [ KandidaatAntwoordcorrectie] van 1 ste corrector aan de 2 de corrector en vice versa. Inzage geven - Inzage geven in antwoord van een examenvraag [ QTI-bestand] [ Afnamerespons] [ Examencorrectie] [ KandidaatAntwoordcorrectie] en Correctievoorschrift [ QTI-bestand]. Hierbij mag de score per vraag niet getoond worden Afnameresponscomponent Voorziet in het verwerken van de handelingen die verricht zijn- en de antwoorden op de examenopgaven die gegeven zijn door de kandidaat. Deze handelingen worden direct door de applicatie verwerkt (gepersisteerd) en niet in geheugen of cache opgeslagen. Vastleggen handelingen kandidaat - Verwerken van een handeling [ AfnameRespons AfnameResponsdeel] die door de kandidaat is verricht. Dit kan een navigatie door het examen zijn of een antwoord dat is gegeven. Vastleggen plugin informatie Het vastleggen van informatie in de [ AfnameRespons AfnameResponsdeel] die afkomstig is van de Itemselectie plugin QTI Engine component. Automatisch scoren Met het verwerken van een respons wordt direct de gesloten vraag gescoord, waarna deze score in de respons wordt vastgelegd. [ AfnameRespons AfnameResponsdeel]. Tevens wordt de berekende score terug gegeven aan de Itemselectie plugin QTI Engine component. Deze score kan benodigd zijn voor het vaststellen van de volgende item. Herstart functie De afnamerespons is verantwoordelijk voor het correct afspelen van de afnameresponslog in geval van een herstart van de examenclient. De component verwerkt alle al opgeslagen respons alsof de kandidaat het examen maakt en initialiseert eventueel specifieke ItemSelectie plugin QTI Engine component. Versie 1.0 Publicatiedatum: Pagina 53

54 Afnameresultaatcomponent De applicatie geeft terugkoppeling van het gemaakt examen aan de kandidaat door het weergeven van het examenresultaat. Het resultaat kan op verzoek van de kandidaat als PDF/1A document worden gedownload. Weergeven afnameresultaat Weergeven van een rapport met daarin opgenomen: Gegevens kandidaat [ Examenkandidaat Inlognaam] [ NaamgevingMens voornamen] [ NaamgevingMens voorvoegsels] [ NaamgevingMens geslachtsnaam] Voor de oefenexamen alsook voor de minitoets moet een weergavevorm worden vastgesteld in overleg met CvE Enkel in het geval van een oefenexamen en indien er geen gebruik gemaakt wordt van een examenclientapplicatie mag de mogelijkheid worden getoond voor een voor het opslaan van het resultaat in de vorm van een rapport. Opslaan rapport In het geval van een oefenexamen en indien er geen gebruik gemaakt wordt van een examenclientapplicatie kan het afnameresultaat worden gedownload in PDF/1A formaat Afnameschilcomponent Bestaat uit een kader waarbinnen het examen wordt weergegeven, en in het kader zelf staat informatie over kandidaat en het te maken examen. De afnameschil beïnvloedt tevens de voortgang van de afnames, via centraal starten, stoppen en pauzeren van het examen door middel van afnamedashboardservice Weergeven kenmerken Tijdens de duur van een examenafname dient duidelijk de volgende kenmerken getoond te worden: Naam kandidaat [ Examenkandidaat Inlognaam] [ NaamgevingMens voornamen] [ NaamgevingMens voorvoegsels] [ NaamgevingMens geslachtsnaam] Voortgang van de afname. Weergeven tijdsindicaties De component moet tijdsindicaties kunnen weergegeven die gezet zijn in het QTI bestand dat geïnterpreteerd wordt door de QTI Engine component Beïnvloeden afname De component kan de voortgang van de afname sturen. Dit doet de component door periodiek de [ ExamenafnameStuurgegevens] uit te lezen die beheerd wordt door de afnamedashboardservice Op basis van deze instellingen worden de volgende handelingen uitgevoerd: ExamenafnameStarttijdstip Het tijdstip waarop alle kandidaten van een examanafnamegroep de afname kunnen starten of voortzetten. ExamenafnameStoptijdstip Het tijdstip waarop allen kandidaten van een examenafnamegroep de examenafname moeten onderbreken of stoppen. ActueleExamenvraag De actuele vraag die alle kandidaten moeten beantwoorden binnen het gestelde tijdstip. ExamenafnameMededeling Presenteert een mededeling aan alle kandidaten door middel van een popup window. Afsluiten afname Weergeven van gegevens in een overzichtsscherm tijdens het afsluiten van de afname. In ieder geval dienen de volgende gegevens getoond te worden: Naam examen [ Examen Examennaam]. Versie 1.0 Publicatiedatum: Pagina 54

55 Overzicht van alle opgaven en of deze al dan niet beantwoord [ AfnameRespons AfnameResponsdeel] zijn. Benodigde tijd voor het maken van het examen Client lockdowncomponent De clientlockdown voorziet een reguliere Windows, Linux of Apple OS-X systeem van extra beveiligingsmaatregelingen. Deze zijn ter voorkoming van dat de gebruiker, indien de examencliënt actief, andere toepassingen kan starten of op andere wijze het systeem kan beïnvloeden. Afschermen van desktop De clientlockdown deactiveert tijdelijk de desktop. Met andere woorden de kandidaat is niet in staat om andere applicaties te starten en verbinding met andere systemen op te zetten. Elimineren van autostarten De clientlockdown elimineert het autostarten van een applicatie indien er een wijziging optreedt in de aangesloten hardware. Bijvoorbeeld het starten van een applicatie indien er een USB device aan de PC wordt gekoppeld. Effecten van tijdelijke aard Het activeren van de clientlockdown mogen geen blijvende aanpassingen in het systeem tot gevolg hebben. Dit betekent dat enkel gedurende de tijd dat de examenclient actief de beperkingen ten aanzien van het systeem handhaaft. Implementatie van de clientlockdown Er zijn geen aanvullende beperkingen opgelegd ten aanzien van de realisatie van de clientlockdown. Implementatie kan bijvoorbeeld geschieden door het activeren van een kiosk mode of het beschikbaar stellen van een gemodificeerde desktopomgeving waar enkel de examenclient gestart wordt Eindscorecomponent Voorziet in rekenregels voor het bepalen van de eindscore. Weergeven van eindscore Er dient een apart overzicht beschikbaar worden gesteld, die per afname de eindscores laat zien van de 1 ste en 2 de correctieronden. Vaststellen eindscore Op basis van de volgende rekenregels wordt de eindscore bepaald: Indien 1 correctieronde dan berekende scores is eindscore Indien 2 correctieronden dan vergelijken beide correcties, indien beide berekende scores overeenkomen dan is de berekende score de eindscore. Indien beide berekende scores afwijken dan is overeengekomen score de eindscore Examenpreviewcomponent Voorziet in ontwikkelingshulpmiddelen ten behoeve van de examenleverancier zoals; weergeven van broncode (HTML en QTI XML) van het examen. Weergeven QTI codes Het op verzoek weergeven van de codes (meta-data en identificerende QTI codes) die behoren bij van de getoonde QTI Items Weergeven sleutels Het op verzoek weergeven van sleutels van de items, bijvoorbeeld A bij een eenvoudig multiple choice item. Weergeven resultaten Het op verzoek weergeven van het resultaat van verwerking automatische scoringsregels. In het geval van het correct beantwoorden van een multiple choice item dient bijvoorbeeld afgelezen te kunnen worden dat er één ruw scorepunt is toegekend. Weergeven wegingsresultaten Het op verzoek weergeven van het resultaat van de eventuele automatische weging van de items. Versie 1.0 Publicatiedatum: Pagina 55

56 Weergeven broncode Het op verzoek weergeven van de broncode (XML structuren) van het afgespeelde examen. Geforceerd navigeren Geforceerd navigeren door het examen, hierbij wordt de QTI linear beperking genegeerd. Afbreken examen Geforceerd afbreken van een examen, zonder weergave van het overzichtsscherm Hulpmiddelencomponent De Hulpmiddelencomponent Verzorgt de weergave en afhandeling van loepfunctie, letterbakje, calculator, woordenboek en verklanking. Het activeren van een hulpmiddel geschiedt door middel van een instelling die in het QTI bestand staat op Item niveau of door middel van een instelling van uit het computer examen systeem. Verklanking Verklanking dient zodanig te worden ingericht dat teksten door middel van synthetische stemmen worden verklankt. Hierbij kan de kandidaat kiezen tussen een aantal beschikbaar gestelde stemmen. Voor Nederlands zijn 4 stemmen nodig voor vreemde talen 2 stemmen. De volgende eisen worden gesteld aan verklanking: Door de cursor op een bepaalde plaats in de tekst te plaatsen en op een knop te drukken, start de verklanking. Het systeem leest alle tekst voor vanaf de startplek (de plek van de cursor) De startknop moet duidelijk herkenbaar zijn Tijdens het voorlezen moet er een afspeelbalk verschijnen, waarmee de kandidaat de stem kan laten pauzeren/doorgaan en kan vertragen/versnellen. De mate van vertragen en versnellen ligt tussen factor X en factor Y Tijdens het voorlezen moet het duidelijk zijn voor de kandidaat welke tekst wordt voorgelezen, bijvoorbeeld door het highlighten van een woord/zin. Tijdens het examen moet het mogelijk zijn om van stem te wisselen. Als er niet wordt voorgelezen, is alleen de startknop zichtbaar. Alle andere opties (start/stop, stem wisselen etc) zijn alleen zichtbaar op het moment dat de verklanking loopt. Ook tekst in een popup-scherm moet verklankt kunnen worden. Op basis van de instelling [ Examenkandidaat Verklankingsindicatie] krijgt de kandidaat de mogelijkheid om verklanking te activeren. Letterplankje Ten behoeve van diakritische tekens en symbolen dient de applicatie een letterplankje beschikbaar te stellen. De functie ondersteunt knippen en plakken van symbolen in het antwoord of kladblok. Op basis van een QTI instelling die geïnterpreteerd wordt door de QTI Engine component , krijgt de kandidaat de mogelijkheid om het letterplankje te activeren. Calculator De applicatie dient een minimale, basis en wetenschappelijke calculator Versie 1.0 Publicatiedatum: Pagina 56

57 beschikbaar te stellen. De functie ondersteunt knippen en plakken van het resultaat in het antwoord of kladblok. Op basis van een QTI profiel krijgt de kandidaat de mogelijkheid om een calculator te gebruiken. Spellingscontrole De applicatie moet standaard de mogelijkheid bieden tot het doen van spellingscontrole op de ingevoerde teksten. De spellingscontrole moet foutieve woorden markeren en op verzoek suggesties tonen. De spellingscontrole kan op verzoek gedeactiveerd worden. Het systeem moet de mogelijkheid kunnen bieden om meerdere woordenboeken te activeren en te ondersteunen. De spellingscontrole dient aan de volgende eisen voldoen: Spelling: Een woordenlijst voor het Nederlands dient zich volledig aan de voorgeschreven spelling te houden. Normaliter zal dit de Officiële Nederlandse spelling uit 2005 zijn, die voorgeschreven is voor ambtelijk gebruik en onderwijs. Bij voorkeur is de woordenlijst voorzien van het Keurmerk Spelling van de Nederlandse Taalunie ( Lemmata en verbogen vormen: Een woordenlijst dient voor elk opgenomen begrip zowel de lemma-vorm als verbogen vormen te bevatten. Af te dekken domeinen: Naast de algemeen gangbare Nederlandse woorden dienen gangbare eigennamen (zoals plaatsnamen en namen van personen, bedrijven en organisaties) in onverbogen en verbogen vorm opgenomen te zijn in de woordenlijst. Daarnaast dienen voldoende woorden uit specifieke domeinen vertegenwoordigd te zijn (wiskunde, biologie, scheikunde, etc). Bij voorkeur is het eenvoudig de woordenlijst uit te breiden met woorden, namen, etc. die in het eindexamen worden gebruikt. Samenstelbaarheid: De woordenlijst bevat bij voorkeur samenstellingsregels. Door een samenstellingsmechanisme, dat mede gebruik maakt van woordsoortinformatie, is het mogelijk om met een woordenlijst van gemiddelde omvang (ca basiswoorden) een veelvoud van correcte samenstellingen te kunnen herkennen en suggereren. De combinatie van de samenstellingsregels en de bijbehorende software (speller engine) zorgt ervoor dat ook complexere, nog niet eerder verwerkte samenstellingen correct worden geanalyseerd en gesuggereerd. Elk jaar blijkt ca. 75 % van de nieuwe Nederlandse woorden volgens dit mechanisme al afgedekt te zijn door de bestaande spellers. Speller engine: Niet de woordenlijst maar de software (speller engine) bepaalt welke woorden worden herkend en gesuggereerd. Voor herkenning zoekt de software op een slimme manier in de woordenlijst of probeert woorden te vormen volgens de samenstellingsregels. De software moet daarbij in zeer korte tijd grote stukken tekst kunnen analyseren (duizenden woorden per seconde). Een goed spellingcontrole herkent tenminste 90% van de woorden terecht als correct of incorrect (precision > 90%). Op basis van de instelling [ Examen SpellingscontroleIndicatie] krijgt de kandidaat de mogelijkheid om de spellingscontrole te activeren. Loep De applicatie moet standaard de optie weergeven om een loep/vergrootglas te gebruiken. Vergroting moet relatief eenvoudig en bewust te starten en te stoppen zijn door de kandidaat. De loep mag de bladspiegel niet beïnvloeden. Naslagwerken De applicatie moet op verzoek naslagwerken kunnen raadplegen en doorzoeken. Op basis van een QTI profiel dat geïnterpreteerd wordt door de QTI Engine component , krijgt de kandidaat de mogelijkheid om een naslagwerk te raadplegen. Meetlat & GEO-driehoek De applicatie moet op verzoek een meetlat of een GEOdriehoek kunnen tonen en gebruiken. Op basis van een QTI profiel dat geïnterpreteerd wordt door de QTI Engine component , krijgt de kandidaat de mogelijkheid om een meetlat en/of geodriehoek te gebruiken. Versie 1.0 Publicatiedatum: Pagina 57

58 Kladblok De applicatie moet op verzoek basis van een instelling een kladblok functionaliteit tonen. Op basis van de instelling [ Examen GebruikKladbokindicatie] krijgt de kandidaat de mogelijkheid om het kladblok te activeren Layout engine component De layout engine is verantwoordelijk voor het weergeven van webpagina s die door een examenwebservice gegenereerd worden. Dezelfde look-and-feel Alle platformen gebruiken dezelfde layout engine, waarmee een zelfde look-and-feel gewaarborgd wordt. Open Standaarden De component moet de volgende webstandaarden ondersteunen: HTML5, CSS3 en Javascript Platform ondersteuning De component moet de volgende platformen ondersteunen: Windows, Mac OSX en Linux (Ubuntu en Red Hat). Flash ondersteuning Alhoewel het de intentie is om alle interacties (interactieve QTI-items) via Javascript af te handelen dient er voor de oudere examens een mogelijkheid bestaan om interacties op basis van flash te ondersteunen. Hierbij dient het mogelijk te zijn dat de antwoorden die ingegeven zijn in flash, als resultaat wordt aangeboden aan de examenafname applicatie QTI Engine component De QTI enginecomponent is primair verantwoordelijk voor het correct verwerken van een examen dat gebaseerd is op de QTI standaard. Itemselectie plugin Een examen gebaseerd op QTI kent een gelaagde structuur, bestaande uit één of meerdere Test/SectionParts, AssessmentSections en AssessmentItemRefs (ook wel verkort testparts, secties en items genoemd). Het selecteren (trekken) van een item gebeurt binnen QTI op sectie-niveau. De component voorziet in een plugin structuur alwaar kennismodulen kunnen worden toegevoegd met daarin opgesloten algoritmen voor het trekken van Items. Het plugin-raamwerk moet de volgende functies (interfaces) ondersteunen: Initialize(in: sectiedefinitie): voor het laden van een item selectie interface is een sectie-definitie nodig, de invulling hiervan bepaalt het gedrag van de sectie. Het resultaat van het initialiseren zou als resultaat opgeleverd worden (succes, fout, etc.). GetNextitem(uit: itemid): vervolgens wordt het eerste/volgende item opgevraagd, dit gaat door tot de sectie leeg getrokken is, er geen itemid meer geretourneerd wordt; vervolgens wordt de volgende sectie in de hiërarchie (boomstructuur) gestart. SetItemScore(in: itemid, score): na het presenteren van het item aan de kandidaat en het geven van een antwoord wordt dit automatisch gescoord en het (gedichotomiseerde) resultaat doorgegeven aan het item selectie Versie 1.0 Publicatiedatum: Pagina 58

59 algoritme. Het is aan het algoritme hier al dan niet wat mee te doen. ListReports(uit: lijst rapporten): het algoritme kan eigen rapportages hebben, middels deze functie wordt de lijst met beschikbare rapportages opgeleverd. GetReport(in: rapportid, uit: waarde): middels deze functie kan de waarde van de rapportage opgevraagd worden. Finalize(geen parameters): het algoritme dient netjes afgesloten te worden om systeembronnen vrij te kunnen geven, deze functie voorziet hierin. GetRestartInfo (uit: herstartinfo): De component ontvangt informatie van plugin die via Afnamerespons Afnameresponscomponent wordt verwerkt. De informatie bevat instellingen die benodigd zijn in geval van een herstart van de clientapplicatie. Restart(in: herstartinfo):de component ontvangt herstartinformatie van de Afnamerespons Afnameresponscomponent en geeft deze de plugin, die hiermee opnieuw geïnitialiseerd wordt. [Ref. 15] Het system wordt opgeleverd met een sequentiële Itemselectie en random Itemselectie plugin. De adaptieve module zal op termijn in samenwerking worden aangeleverd door Cito. QTI opmaak Het correct weergeven van examenopgaven inclusief mediabestanden [ QTI-bestand] [ Mediabestanden]. De opmaak van een examen wordt bepaald in geval van een web gebaseerd computerexamensysteem door HTML opmaak code en de cascade style sheet (CSS). QTI bevat een aantal opmaak elementen maar deze zijn niet voldoende voor een regulier examen. Daar waar de standaard niet voldoet zal deze door middel van een extensie of afspraak moeten worden uitgebreid in de vorm van de QTI+ standaard. In deze tabel zijn functioneel de opmaakkenmerken beschreven waaraan een examen moet voldoen. Tekstformatering (QTI): Gebruik van vet, cursief, onderstrepen, superscript, subscript, etc. Tabellen en lijsten (QTI): Gebruik van tabellen voor inhoud én uitlijning (bijvoorbeeld tweekoloms opmaak) Popups (QTI+): Voor het toelichten van bronnen, uitvergroten van plaatjes, etc. Toelichting: Op zich met HTML binnen body te regelen. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard. Layout binnen interacties (QTI+): Binnen interacties (bijvoorbeeld een lijst alternatieven) moet het mogelijk zijn om opmaak te specificeren (bijvoorbeeld positionering keuzerondje, alternatieven in kader, etc.) Toelichting: Dit is niet afdoende te regelen in QTI. Er moeten gezamenlijke afspraken gemaakt worden over de manier van vastleggen. [Ref. 16] QTI Interactions De Interactions van een examen vormen de daadwerkelijke opgaven van het examen. Daar waar de standaard niet voldoet zal deze door middel van een extensie of afspraak moeten worden uitgebreid en vastgelegd in de QTI+ standaard. In deze tabel zijn functioneel de interactions beschreven waaraan een examen moet voldoen. Een gedeelte van de interactions is als voorbeeld beschikbaar via de University of Cambridge. [Ref. 17] Matrix vraag (QTI): Standaard matrix vraag op basis van matchinteraction, simpleassociablechoice, simplematchset en gapmatchinteraction. Multiple choice (QTI): Standaard multiple choice vraag op basis van: ChoiceInteraction. Multiple response (QTI): Standaard multiple response Versie 1.0 Publicatiedatum: Pagina 59

60 Open gaten vraag (QTI): Vraag waarbij een of meerdere gaten in een lopende tekst gevuld moeten worden op basis van textentryinteraction en choiceinteraction. Kort antwoord (QTI+): Kort antwoord opgaven met filtering van input (bijvoorbeeld numeriek), geavanceerde scoringsspecificatie, voorbewerkingregels, etc. op basis van TextEntryInteraction. Toelichting: Mogelijkheid automatische uniformeringbewerkingen te doen op Responsevariable zoals diakrieten, hoofdletters en spaties. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard. Essay vraag (QTI+): Lang antwoord vraag met specificatie van opmaak en gedrag van invoerveld (rijen, kolommen, etc.) op basis van extendedtextinteraction. Toelichting: Formaat kan preformatted of XHTML zijn. De breedte van het antwoordveld ontbreekt in QTI, wat in voorkomende geval tot een attribuutextensie zal leiden. Grafisch oriënteren (QTI/QTI+): Het oriënteren van een object op basis van sliderinteraction. Opmerking: Doel is om een object dat zich op een (vaste) positie bevindt daar om een bepaalde as te draaien, sliderinteraction (bijv ), de extensie zal nodig zijn om aan te geven hoe en waar de gebruiker kan draaien. o o Oriënteren: Een object kan om zijn as gedraaid worden Positierange: boog-schaal, evt. gecombineerd met 1- of 2-schaal Grafisch positioneren (QTI): Puntselectie en objectplaatsing op basis van graphicorderinteraction, positionobjectinteraction en selectpointinteraction. Grafisch toewijzen (QTI): Puntselectie of Objectplaatsing op basis van graphicgapmatchinteraction en hotspotinteraction. o o Hotspot: Positiemogelijkheden voor puntselectie of objectplaatsing eventueel voorverkaveld door voor de kandidaat zichtbare vlakken. Positierange: Element uit lijst van hotspots, zoals een rechthoek, cirkel, "knop" of een andere vorm binnen het canvas. Grafisch schalen (QTI+): Positiemogelijkheden voor puntselectie of object(zoals schuif) op waardeschaal of het toepassen bij "schalen" van een object, op basis van sliderinteraction. Toelichting: Doel is om een object te schalen met behoud van zijn (2 dimensionale) verhouding, bijvoorbeeld een cirkelvorm, waarbij de straal schaalt. Eventueel ook zonder behoud van verhouding, dan zijn er 2 schalen. sliderinteraction is een optie, de extensie zal nodig zijn om aan te geven hoe en waar de gebruiker kan schalen (bijvoorbeeld aan het object). Grafisch verbinden (QTI+): Het grafisch verbinden van twee objecten bijvoorbeeld het plaatsen van een verbindingsboog tussen noten op notenbalkop op basis van graphicassociateintercation. Toelichting: Doel is om een relatie te leggen tussen twee "objecten", de extensie zal nodig zijn om aan te geven hoe de gebruiker de verbinding kan leggen: grafisch, uit een lijst, op basis van positie. Grafisch vormen (QTI+): Het grafisch creëren en manipuleren van grafische objecten op basis van drawinginteraction. Toelichting: Doel is om een relatie te leggen tussen twee "objecten", de extensie zal nodig zijn om aan te geven hoe de gebruiker de verbinding kan leggen: grafisch, uit een lijst, op basis van positie. Spraak (QTI+): Het geven van een antwoord op basis van opgenomen spraak op basis van uploadinteraction en custominteraction. Voorbeeld: Kandidaat geeft antwoord door middel van opgenomen spraak. QTI hulpmiddelen Hulpmiddelen vormen ondersteunende functionaliteiten van een examen die niet direct toebehoren aan het examen zelf. Echter vanuit het examen kunnen hulpmiddelen op item niveau worden geactiveerd. Symbolen (QTI): Gebruik van diakritische tekens in de tekst. Versie 1.0 Publicatiedatum: Pagina 60

61 Wiskundige formules (QTI): Beschrijven van wiskundige formules middels MathML. Letterplankje (QTI+): Op basis van een profiel met daarin opgenomen de beschikbare symbolen wordt een Invoerscherm getoond Hulpmiddelencomponent Calculator (QTI+): Op basis van een profiel met daarin opgenomen drie typen calculators wordt een calculator getoond. Het profiel onderscheidt een simpele, basis en een wiskundige calculator Hulpmiddelencomponent Mediabesturing (QTI+): Op basis van QTI instellingen wordt de mediabesturing vastgelegd, zoals; Welke knoppen zichtbaar zijn, hoe vaak iets mag worden afgespeeld, automatisch stoppen/starten/etc. Toelichting: QTI media biedt al een aantal attributen zoals: maxplays. Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard. Meetlat, geodriehoek (QTI+): Op basis van een profiel wordt een meetlat en/of geodriehoek getoond Hulpmiddelencomponent Naslagwerken: Op basis van een QTI profiel moet een hulpbron geraadpleegd kunnen worden (bijvoorbeeld BINAS) Hulpmiddelencomponent Kladblok: Op basis van een QTI profiel moet een kladblok functionaliteit beschikbaar worden gesteld Hulpmiddelencomponent [Ref. 18] QTI systeem Systeem vormt systeemfunctionaliteit ten behoeve van correct kunnen afnemen van een examen. Hierbij valt te denken aan itemselectie en het zetten van tijdslimieten. Navigatiepad (QTI): Op basis van een QTI instelling (linear en non-linear) dient de QTI-engine het navigatiepad te definiëren. Hierbij geldt dat: o o Linear Is gelijk aan forward-only en dwingt de kandidaat om enkel naar een volgende item te gaan na beantwoorden van de vraag. De kandidaat kan op geen enkele wijze terugkeren naar een voorgaande vraag. Non-linear Betekent dat er geen beperkingen zijn opgelegd op de wijze van navigeren door het examen. Dit betekent dat de kandidaat enkele vragen naar voren mag springen en terug mag keren naar een voorgaande vraag. Sequentiële itemselectie (QTI): Op basis van een QTI-instelling op sectieniveau worden de items sequentieel getrokken. Sequentiële itemselectie staat gelijk aan het van voor naar achter doorlopen van een sectie in het examen. Het selecteren van de volgende item gebeurt door de Itemselectie plugin. Random Itemselectie (QTI): Op basis van een QTI-instelling op sectieniveau worden de items willekeurig getrokken. Random itemselectie bestaat uit het op sectieniveau door elkaar husselen van de items en deze vervolgens van voor naar achter te doorlopen. Het selecteren van de volgende item gebeurt door de Itemselectie plugin. Adaptieve Itemselectie (QTI+): Op basis van een QTI-instelling op sectieniveau worden de items op basis van een psychometrische algoritme getrokken. Het selecteren van de volgende item gebeurt door de Itemselectie plugin. Tijdslimieten (QTI+): Op basis van QTI-instellingen worden tijdslimieten gezet op examen, sectie en item niveau. Indien de tijd gezet wordt op examenniveau wordt hiermee ook de beschikbare tijd [ Examen Examenduur] overschreven. Indien de tijdverstreken is wordt de huidige vraag automatisch afgesloten waarbij deze als niet beantwoord wordt beschouwd. Tevens wordt een indicatie weergegeven via de afnameschilcomponent Versie 1.0 Publicatiedatum: Pagina 61

62 Technische vereisten (QTI+): Op basis van instellingen wordt er een controle uitgevoerd door de afnamecontrolecomponent Toelichting: Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard. Waarschuwingen (QTI+): Te tonen teksten voor bevestigen van overgeslagen items, niet volledig gemaakte toets, etc. Toelichting: Er dienen afspraken gemaakt te worden over een uitbreiding van de standaard. ZaaiItem (QTI+): Examen kunnen zaai items bevatten. Zaai items zijn vragen die niet primair bedoeld zijn voor het beoordelen van de kandidaat, maar meer voor onderzoek van de examenleverancier. Op basis van QTIinstellingen worden de zaai items geïdentificeerd Responsverwerkingcomponent Voorziet in het afspelen van de afnamerespons, waarna de al gescoorde vragen overgezet worden in de database en de open vragen door middel van de Afnamecorrectiecomponent gescoord wordt. Afspelen responslog De responslog [ AfnameRespons] wordt opnieuw afgespeeld waarbij de gesloten vragen automatisch worden opgeslagen in de AfnameItemscore [ AfnameItemCorrectie AfnameItemScore]. Open vragen De vragen die nog niet gescoord zijn moeten handmatig gescoord worden. Afhankelijk van of er wel of niet een handmatige correctie wordt uitgevoerd reageert de component als volgt: Handmatige correctie De afnamecorrectiecomponent handelt het handmatig scoren af. Geen handmatige correctie De vraag wordt uitgesloten van een correctie en hiermee ook een score. 4.6 Berichten en gegevens Deze paragraaf is grotendeels gebaseerd op het gegevenswoordenboek Computerexamensysteem dat opgesteld is door DUO. De detailuitwerking van de relevante gegevensobjecten zijn dan ook in dat document beschreven. Examen Een examen is een unieke samenstelling van leerweg [ Opleidingniveau] en Vak [ Vak]. De examenmeta-gegevens bevatten gegevens over houdbaarheid en toepasbaarheid van een examen. Verder bevat het examen een URI verwijzing [ Versie 1.0 Publicatiedatum: Pagina 62

63 Examen Examenbestand] naar het fysieke examenbestand [ QTI-bestand]. Examenvariant Is een variant van een examen. Een variant kan een regulier Examenvariant zijn of een Herkansingvariant. Beide variantentypen worden in hetzelfde QTI-bestand aangeboden. Examenalias Een omzettingstabel die een alternatieve naam genereert voor een examenvariant. Het genereren gebeurt op basis van het BRIN-nummer. Mediabestanden De mediabestanden die onderdeel uitmaken van het examen, zie paragraaf 4.6.1, Mediabestanden voor de uitwerking. Examenafnamegroep Groep van examenafnames met hetzelfde examen op dezelfde plaats en tijd. ExamenafnameStuurgegevens Gegevens die gebruikt worden tijdens de examenafname om centraal te kunnen starten, pauzeren, stoppen, of de getoonde vragen te synchroniseren. Omzettingstabel Tabel waarin per examenscore is aangegeven tot welk examencijfer dit leidt. Examenleverancier Organisatie die het examen produceert en levert. Correctieronden Inrichting van een correctieronde. Examenafname Onderzoek naar de kennis of kundigheden van iemand door ondervraging. Examenkandidaat Een mens dat examen doet. AfnameRespons Het product van het afleggen van een examen. [Ref. 19] Afnamecorrectie Het geheel van gecorrigeerde antwoorden, scores en toelichting door de corrector AfnameItemCorrectie De door een corrector uitgevoerde correctie op een antwoord op een examenitem. Examenfunctionaris Een mens die verbonden is aan een onderwijslocatie en een bepaalde rol heeft met betrekking tot het examen. QTI-bestand Bevat het examenmateriaal dat bestaat uit de opgaven en de structuren voor antwoorden, en is samengevat in de QTI-standaard. De QTIstandaard wordt beheerd door het IMS Global Learning Consortium. Examen Een QTI-bestand bevat één examen. Een examen is een samenstelling van een vak [ Vak] en een leerweg [ Opleidingaanbod]. Een examen is opgebouwd uit 1 of meerdere examenvarianten en/of herkansingsvarianten. Examenvariant Een examenvariant is een QTI-testdescription. Herkansingsvariant Een herkansingsvariant is een QTI-testdescription. Versie 1.0 Publicatiedatum: Pagina 63

64 QTI-test description Een QTI-test description definieert een examenvariant of herkansingsgvariant, en bevat verwijzingen naar QTI- Itembanken, mediabestanden, toetsmodules, en toetsdrivers. QTI manifest Het QTI Manifest is een verwijzingstabel naar alle resources die benodigd zijn voor een examen. De verwijzingen worden door middel van URI notatie vastgelegd. QTI-Itembank Een QTI-Itembank kan bestaan uit meerdere itembanken alwaar een QTI-testdescription Items uit onttrekt. In een itembank zijn de examenvragen opgeslagen en meerdere QTI-testdescription kunnen gebruik maken van dezelfde Itembanken. Mediabestanden Indien een Item (examenvraag) ondersteuning nodig heeft door middel van media (plaatje, beeld en geluid), dan worden deze bestanden gescheiden toegevoegd aan een Examen. De locatie wordt geadministreerd in het QTI-manifest. Toets module De toets module bestaat uit een stuk software die via Itemselectie plugin in de QTI Engine component wordt aangeroepen. De toets module bevat algoritmen om een volgende item te selecteren, door deze functionaliteit kunnen er op eenvoudige wijze adaptieve toetsen worden ontwikkeld. De toetsmodule heeft een sterke relatie met het examen en de toets driver. Toets driver De toets driver bevat in geval van adaptieve toetsen de psychometrische informatie die benodigd is voor het selecteren van een volgende Item via Itemselectie plugin in de QTI Engine component [Ref. 20] Website: [Ref. 21] Content Packaging: Mediabestanden Het beschrijven en selecteren van goede (open) mediabestanden blijft een complexe materie; hierbij spelen patenten die op een aantal mediastandaarden liggen, een grote rol. In essentie kunnen media worden onderverdeeld in drie categorieën; afbeeldingen, audio en video. In deze paragraaf zijn enkel populaire formaten vergeleken die nu of in de nabije toekomst een grote rol spelen bij het weergeven van afbeeldingen, audio en video. Hierbij is het uitgangpunt dat de groen gemarkeerde standaarden primair opgenomen worden in het computerexamensysteem. Versie 1.0 Publicatiedatum: Pagina 64

65 Afbeeldingen Ten aanzien van de afbeeldingen is de keuze eenvoudig, momenteel zijn er drie formaten die als veelgebruikte open standaard aangemerkt kunnen worden: PNG Portable Network Graphics is een niet gepatenteerde open standaard, die zonder kwaliteitsverlies afbeeldingen comprimeert. De bestandsgrootte van dit formaat is groter dan die van het JPEG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. PNG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op pixels en waarvan er (kwaliteits)verlies van gegevens niet is toegestaan voor het examen. JPEG Joint Photographic Experts Group is een gepatenteerde open standaard, die met kwaliteitsverlies afbeeldingen comprimeert. De bestandsgrootte van dit formaat is kleiner dan die van het PNG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. JPEG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op pixels en waarvan er (kwaliteits)verlies van gegevens is toegestaan voor het examen. SVG Scalable Vector Graphics is een niet gepatenteerde open standaard, die met hoge kwaliteit afbeeldingen kan genereren op basis van vectoren. De afbeelding is in XML beschreven. Door gebruik te maken van de vectoren zijn de bestanden van grotere afbeeldingen veelal kleiner dan die van afbeeldingen die gebaseerd zijn op PNG- of JPEG-formaat. Deze standaard is door de overheid aangemerkt als open standaard. SVG wordt als de facto standaard aangemerkt voor afbeeldingen die gebaseerd zijn op vectoren voor het examen Video Ten aanzien van video liggen de mogelijkheden iets complexer, en bestaat er een onderscheid tussen de container en codec. De codec is de compressietechniek die wordt toegepast om beelden te distribueren en weer te geven, en de container bundelt de gescheiden video- en audiocodecs tot een formaat, waarbij de container veelal aanvullende functionaliteit biedt om te zoeken in videobestanden door middel van hoofdstukken en het gebruik van ondertiteling. [Ref. 22] [Ref. 23] [Ref. 24] Mediacontainer AVI Audio Video Interleave is een gepatenteerd en gesloten containerformaat dat in beheer is bij Microsoft. De container is gedateerd en kent vele beperkingen die veelal door middel van de kleine modificaties buiten standaard opgelost worden. AVI biedt geen directe ondersteuning voor hoofdstukken en ondertitelingen en ondersteunt matig de H264-, V8- en OGG-formaten. AVI wordt aangemerkt als ongewenste standaard voor het containerformaat voor het weergeven van video. WEBM WEBM is een niet gepatenteerd en open containerformaat dat onlangs is gedoneerd door Google. De container is gebaseerd op het MKV-formaat en zal in principe enkel ondersteuning bieden aan open audio- en videocodecs, zoals V8 en OGG. WEBM is een potentiële kandidaat om opgenomen te worden als standaard voor de HTML5-standaard. De exacte specificaties zijn vooralsnog onduidelijk. WEBM zal afhankelijk van de ontwikkelingen in de toekomst mogelijk als de facto standaard worden aangemerkt voor het containerformaat voor het weergeven van video. Versie 1.0 Publicatiedatum: Pagina 65

66 MKV Matroska Multimedia Container is een niet gepatenteerd en open containerformaat, dat overweg kan met zo goed als alle vormen audio- en videoformaten. Aangevuld met de ruime mogelijkheden op het gebied van toevoegen van hoofdstukken en ondertiteling is MKV een flexibel en zeer goed containerformaat. MKV wordt als de facto standaard aangemerkt voor het containerformaat voor het weergeven van video. MPEG-4 Moving Picture Experts Group is een gepatenteerd en open containerformaat, dat overweg kan met een ruim aantal audio- en videoformaten. Daarbij biedt MPEG-4 ruime mogelijkheden op het gebied van toevoegen van hoofdstukken en ondertiteling. MPEG-4 wordt als alternatief aangemerkt voor het containerformaat voor het weergeven van video. Flash Flash van Adobe is een gepatenteerd en gesloten containerformaat, dat overweg kan met een beperkt aantal audio- en videoformaten. Daarbij biedt Flash geen ondersteuning op het gebied van toevoegen van hoofdstukken en ondertiteling. Flash wordt als ongewenst beschouwd als containerformaat voor het weergeven van video. Videocodecs H264 / MPEG-4 AVC Advanced Video Coding is een gepatenteerd en open containerformaat dat tegenwoordig veelal wordt toegepast voor het weergeven van videobeelden. De eventuele betalingen voor de patenten zijn in 2010 met vijf jaar uitgesteld. Dit betekent dat de standaard tot en met 2015 zondervergoeding gebruikt mag worden. H264 wordt aangemerkt als de facto standaard voor videocompressie (als codec) voor de korte termijn. VP8 VP8 is een niet gepatenteerd en open containerformaat dat onlangs is vrijgegeven door Google met als doel om te dienen als open videocodec voor HTML5. De VP8-codec maakt een onderdeel uit van de WEBM-standaard. De kwaliteit is iets slechter dan het H264-formaat. VP8 zal afhankelijk van de ontwikkelingen in de toekomst mogelijk als de facto standaard worden aangemerkt voor het containerformaat voor het weergeven van video Audio Audio wordt op vele manieren vastgelegd in digitaal formaat. Allereerst bepaalt de bemonsteringsfrequentie (sampling rate) de kwaliteit van een digitaal fragment. Deze bemonsteringsfrequentie dient voor kwalitatief hoogwaardige audio-opnamen in stereo ten minste 44 KHz te zijn. De tweede bepalende factor is de bitrate die gebruikt wordt voor compressie van audioformaten zoals MP4, MP3 en OGG. Deze bitrate bepaalt vervolgens hoeveel bits per seconde gebruikt mogen worden voor het vastleggen van een digitale geluidsstroom: hoe hoger de waarde, des te dichter benadert het gecomprimeerde audiofragment de originele weergaven. Op dit moment is 192 Kbit/s een gangbare norm voor OGG. AAC / MP4 Advanced Audio Coding is een gepatenteerde open standaard, die met hoge kwaliteit audio kan comprimeren en die tevens als opvolger van MP3 wordt gezien. AAC wordt als alternatief aangemerkt voor audiobestanden. MP3 MPEG-1 of 2 Audio Layer III is een gepatenteerde open standaard, die de grondlegger was van verspreiding van digitale audio via het internet. Ondanks grote ondersteuning in software en hardware heeft de standaard beperkingen ten aanzien van de kwaliteit en wordt steeds meer vervangen door AAC. Versie 1.0 Publicatiedatum: Pagina 66

67 MP3 wordt aangemerkt als ongewenste standaard voor audiobestanden. OGG OGG Vorbis is een niet gepatenteerde open standaard, die met hoge kwaliteit hoge kwaliteit audio kan comprimeren. OGG heeft een betere kwaliteit dan de MP3- standaard, maar de acceptatie van de standaard in hardware verloopt moeizaam. OGG wordt als de facto standaard aangemerkt voor het weergeven van audio voor het examen. 4.7 Informatie-uitwisseling Deze paragraaf beschrijft vooralsnog de berichten die uitgewisseld worden tussen de beheerservices en de QTI specifieke services (te weten; preview, correctie en inzage) services. De examenafnameservice staat op zichzelf en wordt niet gestart via een beheerservice. Als subonderdeel van de QTI standaard is LTI gedefinieerd. Deze Learning Tools Interoperability (LTI) standaard is open en dient de interoperabiliteit te bevorderen tussen de verschillende applicatieve onderdelen die gelieerd zijn aan de QTI standaard. Nader onderzoek moet uitwijzen of deze standaard meerwaarde biedt voor de informatie-uitwisseling tussen services en antwoord geven of deze service past binnen het authenticatiebeleid binnen DUO. [Ref. 25] Uitwerking volgt: Deze en onderliggende paragrafen zullen in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding Examenpreview Het starten van de examenpreviewservice geschiedt via de examenbeheerservice Deze laatste service draagt zorg voor de authenticatie. Na selectie van een examen kan de examenpreviewservice service gestart worden. StartPreviewParameters De examenpreviewservice wordt gestart door middel van een applicatiekoppeling. Hierbij is enkel het examen dat gestart moet worden relevant. Gegevens: Examen Examenid Examencorrectie Het starten van de examencorrectieservice geschiedt via de afnamebeheerservice Deze laatste service draagt zorg voor de authenticatie. Na selectie van een of meerdere afnamen kan de examencorrectieservice gestart worden. Versie 1.0 Publicatiedatum: Pagina 67

68 StartCorrectieParameters De examencorrectieservice wordt gestart door middel van een applicatiekoppeling. Gegevens: Examen Examenid ZakelijkeGebruiker GebruikerID Examenkandidaat KandidaatID Examencorrectie Correctiesoort Exameninzage Het starten van de exameninzageservice geschiedt via de afnamebeheerservice Deze laatste service draagt zorg voor de authenticatie. Na selectie van een afname kan de exameninzageservice gestart worden. StartInzageParameters De exameninzageservice wordt gestart door middel van een applicatiekoppeling. Gegevens: Examen Examenid ZakelijkeGebruiker GebruikerID Examenkandidaat KandidaatID 4.8 Technische componenten Uitwerking volgt: Deze en onderliggende paragrafen geven een conceptuele weergave van de infrastructuur. In samenwerking met DUO zal deze paragrafen verder uitgewerkt worden. Versie 1.0 Publicatiedatum: Pagina 68

69 4.8.1 Algeheel concept De kern van het computerexamensysteem bestaat uit examenservers die onderling informatie uitwisselen en zo gezamenlijk een groot systeem vormen (horizontale schaling). De examenservers worden op zowel de ontwikkelomgeving van de examenleverancier, de examenlocaties (lokaal) als ook bij DUO (centraal) geplaatst. De essentie van het ontwerp is dat de inrichting van de examenservers over alle locaties grotendeels gelijk is. De uiteindelijke inrichting van de servercomponenten wordt tijdens de ontwerpfase vastgesteld Examenleverancier Voor de ontwikkeling van examens wordt een speciaal geprepareerde examenserver geleverd in de vorm van een virtuele systeem, die in Open Virtualization Format (OVF) wordt opgeleverd. Dit systeem bevat alle noodzakelijke componenten om snel en efficiënt een examen inclusief adaptieve componenten te kunnen testen. Daartoe heeft de examenleverancier de noodzakelijke rechten om snel nieuwe versie van het examen toe voegen aan het systeem, om die vervolgens te kunnen testen via de examenpreviewservice Examenlocatie De basis van de lokale serveromgeving wordt gevormd door een virtueel systeem die in Open Virtualization Format (OVF) wordt opgeleverd. Deze OVF kan op willekeurige serverinfrastructuren op de examenlocatie worden geplaatst. Het exploiteren van OVF kan door zowel commerciële als door open-sourceoplossingen gebeuren. Versie 1.0 Publicatiedatum: Pagina 69

70 De ontwikkel- en lokale examenservers bevatten alle voor de examenlocatie noodzakelijke informatie (data), zodat eventueel het systeem zonder problemen kan schakelen tussen een online en offline afname DUO Examenafnameapplicatie De basis van de DUO-examenserver wordt gevormd door grotendeels dezelfde bouwstenen toe te passen als examenserver op de examenlocatie. De inrichting van dit platform zal verder uitgewerkt worden door DUO Centrale examenbeheeromgeving De basis van de DUO-examenserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de beheerserver afwijken van die van de afnameserver, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO. Versie 1.0 Publicatiedatum: Pagina 70

71 Centrale correctieomgeving De basis van de DUO-correctieserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de correctieomgeving afwijken van die van de afnameserver, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO Centrale oefenexamenomgeving De basis van de DUO-oefenexamenserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de oefenomgeving afwijken van die van de overige servers, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO. Versie 1.0 Publicatiedatum: Pagina 71

72 Centrale examenpreviewomgeving De basis van de DUO-examenpreviewserver is het bestaande JEE-platform, dat momenteel gebruikt wordt binnen DUO. Doordat de karakteristieken van de beheerserver afwijken van die van de afname- server, is separeren van de omgeving noodzakelijk. De inrichting van dit platform zal verder uitgewerkt worden door DUO JEE-Service DUO levert een JEE service in de vorm van een Java Enterprise Edition (JEE) platform. Het platform zal in ieder geval een implementatie van een open source product kennen, om de operationele (licentie)kosten voor de lokale applicatieserver omgevingen te reduceren Clientservice De examenclient wordt als applicatie geïnstalleerd op x86-pc s, hierbij worden de volgende recente versies van besturingssystemen ondersteund: Windows, Linux (Ubuntu en Red Hat) en Apple OS-X Examenafnameclientomgeving Versie 1.0 Publicatiedatum: Pagina 72

73 De afnameclient wordt als applicatie geïnstalleerd op x86-pc s die op de examenlocaties staan en ondersteunt hierbij in ieder geval de volgende recente versies van besturingssystemen: Windows, Linux (Ubuntu en Red Hat) en Apple OS-X. Alle platformen gebruiken dezelfde layout engine, waarmee een zelfde look-and-feel gewaarborgd wordt. De installatie en de-installatie van de applicatie moet automatisch en zonder manuele interventie van de beheerder geschieden. Omdat de PC buiten examentijd als reguliere PC dienstdoet, mag de installatie de werking van de overige onderdelen van de PC niet beïnvloeden indien de afnameclient niet actief is. Indien de afnameclient geactiveerd is, mag de kandidaat geen mogelijkheid meer hebben om andere applicatieonderdelen te starten buiten de afnameclient om. Deze beveiliging wordt geregeld in de client lockdown component. Tijdens het starten van een examenafname wordt de werking van de client lockdown gecontroleerd Monitorservice De monitorservice zal geïntegreerd worden in de JEE omgeving, waarbij mogelijk gebruik wordt gemaakt van de JMX interface. De concrete inrichting en configuratie zullen tijdens de ontwerpfase worden vastgesteld service DUO levert standaard SMTP mail functionaliteit, alwaar het computerexamensysteem van gebruik kan maken. 4.9 Gegevensopslag Datastoreservice DUO levert een datastoreservice. Dit platform levert een geclusterde dataopslag die vermoedelijk is gebaseerd op een no-sql databaseplatform. Het platform zal in ieder geval een implementatie van een open source product kennen, om de operationele (licentie)kosten voor de lokale gegevensopslag omgevingen te reduceren. De DUO Abstration layer ontkoppelt de datastoreservice van de applicatieve componenten, zodat de uiteindelijke keuze van de datastoreservice geen effect heeft op de gebruikte code Netwerk Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding. Versie 1.0 Publicatiedatum: Pagina 73

74 5 Ontwikkeling Het aspect ontwikkeling beschrijft de afspraken, processen en technieken die noodzakelijk zijn voor het ontwikkelen van het computerexamensysteem. Hierbij behoren ook aspecten als eigenaarschap en licentievormen van de software en methoden om deze software te ontwikkelingen. 5.1 Van architectuur naar ontwerp Het programma van eisen en de architectuur geven de leveranciers inzicht in de samenhang en omvang van de programmatuur. In de vervolgprocessen dienen het programma van eisen en de architectuur vertaald te worden naar ontwerpen. Hierbij dient per applicatie een globaal ontwerp te worden gemaakt en per component een detail ontwerp. Op basis van deze ontwerpen zal de definitieve acceptatiefasering worden vastgesteld waarbij paragraaf 9.3 Acceptatiefasering computerexamensysteem als uitgangspunt telt. 5.2 Overzicht verantwoordelijkheid van de componenten Het computerexamensysteem wordt samengesteld uit diverse componenten en services die door verschillende partijen worden aangeleverd. Onderstaande matrix geeft inzicht in de verantwoordelijkheidsgebieden tijdens ontwikkeling en oplevering van de componenten en services. Omschrijving Notatievorm in diagrammen Applicatiecomponenten DUO Duo levert alle logistieke applicatiecomponenten inclusief de infrastructuur die behoort bij de centrale oplossingen en de virtuele infrastructuur die behoort bij de decentrale oplossing. Tevens draagt DUO zorg voor het packagen van Javacomponenten tot volwaardige Javaapplicaties. De DUO-componenten worden gemarkeerd als oranje componenten. De applicaties en services kennen een geel patroon. Leverancier De leverancier heeft de focus voornamelijk op het correct verwerken van de QTI-standaard. Daarbij dient de leverancier gebruik te maken van een aantal dat geleverd worden door DUO en de examenleverancier. De componenten die volledig onder verantwoordelijkheid vallen van de leverancier zijn gemarkeerd als groene componenten. Versie 1.0 Publicatiedatum: Pagina 74

75 Applicaties met eigen componenten DUO applicaties met componenten van de leverancier 5.3 Eisen gesteld aan de functionele documentatie Opleveren van lijst met functionele ontwerpproducten Eis: Specificatie: Meetvoorschrift: Er is een lijst beschikbaar waarin is aangegeven welke functionele ontwerpproducten opgeleverd worden. Per product is aangegeven: Identificatie/nummer Titel/naam, eventueel een nummer Versienummer en versiedatum Wijzigingen ten opzichte van de vorige versie Status Auteur(s) Documentnaam (indien van toepassing) Controle op aanwezigheid lijst en of de lijst volledig en juist is. Volledigheid: aantal opgeleverde producten komt overeen met het aantal producten op de lijst. Juistheid: de informatie op de lijst moet overeenkomen de informatie die per product is vastgelegd Opleveren van documentatie in voor DUO herkenbare formaten Eis: Specificatie: Het functioneel ontwerp moet beschikbaar gesteld worden in bestandsformaten die gelezen en bewerkt kunnen worden met hulpmiddelen die binnen DUO beschikbaar zijn. Dit geldt voor teksten en schema's. Per opgeleverd product moet het bestandsformaat herkenbaar zijn. Bij voorkeur te gebruiken bestandsformaten: Microsoft-indelingen (.doc,.xls,.ppt, enz.) OpenDocumentFormat (.odf) Meetvoorschrift: Bij afwijking op hierboven genoemde formaten en wanneer gebruik wordt gemaakt van een UML modelleringstool, wordt het op te leveren formaat in onderling overleg bepaald." Controle steekproefsgewijs van een aantal documenten/producten met de binnen DUO beschikbare tooling Opleveren van documentatie in het Nederlands Eis: Specificatie: Meetvoorschrift: Alle ontwerpdocumentatie is in het Nederlands opgesteld. (ICT-)jargon, bepaalde vaste begrippen, of uitdrukkingen kunnen in het Engels zijn. Controle steekproefsgewijs of de documenten in het Nederlands zijn Versie 1.0 Publicatiedatum: Pagina 75

76 opgesteld Vastlegging ontwerpbeslissingen Eis: Specificatie: Meetvoorschrift: De ontwerpbeslissingen zijn vastgelegd en te relateren aan het product/de producten waarop een beslissing betrekking heeft. De beslissing is zo beschreven dat duidelijk is wanneer de beslissing genomen is, welke beslissing genomen is, wat de evt. gevolgen van die beslissing zijn en wat het effect daarvan is op het product. Controle steekproefsgewijs of ontwerpbeslissingen beschreven zijn Vastlegging openstaande punten Eis: Specificatie: Meetvoorschrift: Openstaande punten zijn duidelijk herkenbaar en te relateren aan het product/de producten waarop de punten betrekking hebben. Het openstaande punt is zo beschreven dat duidelijk is waar nog aandacht voor moet zijn met eventueel de uit te voeren acties en een tijdspad. Per punt is een duidelijke probleemomschrijving aanwezig met de datum waarop het punt is ontstaan, een indicatie van de ernst, groei en urgentie aangevuld met mogelijke oplossingsrichtingen en een instructie wanneer het punt opgepakt moet worden. Controle steekproefsgewijs of openstaande punten expliciet beschreven zijn. In teksten mogen geen vragen en vraagtekens of op andere wijze impliciet aangeduide openstaande punten voorkomen Vastlegging samenhang tussen systeemfuncties Eis: Specificatie: Meetvoorschrift: De samenhang tussen de verschillende systeemfuncties is beschreven. De volgende aspecten komen daarin aan bod: een korte beschrijving van de systeemfuncties; volgorde waarin de deze systeemfuncties uitgevoerd worden; keuzemomenten en condities (indien van toepassing) die bepalend zijn voor de volgorde van uitvoeren. Controle of de producten die de samenhang beschrijven en of de geëiste aspecten daarin voorkomen Beschrijving functioneel bouwblok Eis: Elk Functioneel bouwblok is volledig beschreven. Specificatie: Volledig beschreven houdt het volgende in: doel en gebruik; geautoriseerde gebruikersrol; procesbeschrijving (stappen, keuzemomenten, controles); uitvoerproductbeschrijving (indien van toepassing); gebruikte schermen en schermverloop (indien van toepassing); specifieke eisen (indien van toepassing); kwantitatieve gegevens over gebruik. Indien een aspect niet van toepassing is dan is dat aangegeven. Meetvoorschrift: Controle steekproefsgewijs of de aspecten beschreven zijn Vastlegging analyse gebruik DAO laag Eis: Specificatie: Meetvoorschrift: Per functioneel bouwblok is een 'analyse' aanwezig op het gebruik van de DAO-laag. De analyse bevat minimaal welke services en/of service-operaties en eventueel andere interfaces gebruikt worden en hoe de aanroep plaatsvindt. Controle steekproefsgewijs of de aspecten beschreven zijn Vastlegging eigenschappen scherm Eis: Elk scherm is beschreven. Specificatie: Per scherm: Versie 1.0 Publicatiedatum: Pagina 76

77 Meetvoorschrift: naam van het scherm; schermgedrag; rubrieken, per rubriek of het een invoer of uitvoerrubriek is, verplicht/optioneel in te vullen; werking van knoppen; meldingen. Controle steekproefsgewijs of de schermbeschrijvingen aan de eisen voldoen Vastlegging gegevensstructuren Eis: De gegevensstructuur is beschreven in een conceptueel gegevensmodel (bijvoorbeeld een informatiemodel). Specificatie: Minimaal de volgende aspecten zijn beschreven: een diagram met alle entiteiten en alle onderlinge relaties; per entiteit een definitie en de attribuutsamenstelling; per attribuut een definitie, lengte, type, waardenbereik, uniciteit, afleidingsregels; per relatie de optionaliteit en cardinaliteit; eventuele constraints/regels. Meetvoorschrift: Controle of de genoemde producten en aspecten beschreven zijn Vastlegging begrippen Eis: Specificatie: Meetvoorschrift: Begrippen zijn gedefinieerd. Alle begrippen die voorkomen in het ontwerp moeten voorzien zijn van een definitie. Een deel van de begripsdefinities is vastgelegd in het gegevensmodel. Begrippen die worden gehanteerd en niet in het gegevensmodel terugkomen, moeten ook van definitie worden voorzien en beschikbaar zijn. Controle of begrippen gedefinieerd zijn. Deze controle wordt gecombineerd met andere controles Vastlegging SOA-service Eis: Per SOA-service is een volledige specificatie aanwezig die voldoet aan de eisen. Specificatie: Meetvoorschrift: De specificatie van een SOA-service voldoet aan de volgende eisen (bezien vanuit de leveranciersrol en uiteraard indien van toepassing): per service de naam van service en één of meer contracten; per contract het versienummer en de operaties; per operatie de in- en uitgaande berichten; per operatie een functionele beschrijving van de werking van de operatie; per bericht de rubrieken; per rubriek een 'type-koppeling' met een samengesteld of enkelvoudig gegevenstype in het DUO Gegevenswoordenboek of een zelf gedefinieerd type; per rubriek de samenstelling (indien het een samengestelde rubriek betreft); per rubriek een beschrijving, lengte, type. Controle per service of de beschrijving aan de eisen voldoet. 5.4 Eisen gesteld aan de technische (code)componenten Stap-voor-stap beschrijving ontwikkelomgeving Eis: Specificatie: De bron code is voorzien van een stap-voor-stap beschrijving hoe deze in een (open source) ontwikkelomgeving op te nemen. Het stappenplan kan zonder vragen doorlopen worden, en er blijven geen andere dan de gedocumenteerde warnings (géén errors) over. Versie 1.0 Publicatiedatum: Pagina 77

78 Doel is om snel een ingerichte ontwikkelomgeving te hebben zodat de code beheerd kan worden. Meetvoorschrift: Toelichting: Het gaat bijvoorbeeld voor Java om de stappen om de bron code in de aangeleverde vorm in Eclipse (of Netbeans) te krijgen. Dit inclusief alle stappen en Eclipse instellingen om zonder errors en/ of (ongedocumenteerde) warnings over te blijven." Controle van beschreven stappen met de standaard ontwikkelomgeving voor het betreffende platform Deployment handleiding Eis: Specificatie: Er dient een deployment handleiding te zijn. Welke stappen moeten doorlopen worden om de opgeleverde module werkend op te nemen in de uiteindelijke applicatie. Het stappenplan kan zonder vragen doorlopen worden en leidt tot een uitvoerbare vorm van de applicatie, inclusief opgeleverde module in de voor die applicatie relevante omgeving. Meetvoorschrift: Voorbeeld: Componenten voor examenafnameapplicatie: Beschrijf de stappen die nodig zijn om de module in de examenapplicatie werkend te krijgen (incl. settings, properties, etc). Lever hierbij eventueel een test-frame om de werking eenvoudig aan te kunnen tonen. Controle van de beschreven stappen met de standaard ontwikkelomgeving voor het betreffende platform Code is voorzien van technisch ontwerp Eis: Specificatie: De code is voorzien van technische documentatie (een technisch ontwerp). De technische documentatie bevat altijd het technische overzicht, datamodel en de noodzakelijke instellingen. Het technisch overzicht toont minimaal de modules binnen de applicaties, waar gegevens uit de database gebruikt worden en externe connecties (zoals aanroep ander systeem, ESB aanroepen, koppeling via batch/ bestand). Het datamodel mag (mits deze overeenkomen) een copy of verwijzing zijn naar het logisch en/ of informatiemodel. Indien er afwijkingen tussen logisch datamodel (of informatie model) en technisch datamodel zijn, is het technische datamodel aanwezig en het waarom achter deze afwijkingen aanwezig. Indien de code specifieke constructies bevat in verband met performance en/ of beveiliging is een toelichting aanwezig. Meetvoorschrift: Toelichting: Er kunnen om specifieke voorwaarden ogenschijnlijk minder voor de hand liggende keuzes gemaakt worden. De technische documentatie dient om deze redenen duidelijk te maken." Controle of de technische documentatie minimaal een technisch overzichtsschema, het datamodel, de noodzakelijke instellingen, (indien afwijkend van het logisch datamodel) een toelichting op het technisch datamodel en (indien relevant) specifieke performance of beveiligingskeuzes bevat Vastlegging bouwtesten (unittesten) Eis: Specificatie: De code is voorzien van een beschreven bouwtest met gladde gevallen die conform beschrijving foutloos draaien De gladde gevallen kunnen zonder vragen uitgevoerd worden waarbij de uitkomsten overeenkomen met de beschrijving. Het totaal van gladde gevallen toont aan dat alle onderdelen van de applicatie technisch samenwerken. Of andersom, indien een tabel, module of ESB service wordt verwijderd of uitgeschakeld, zal tenminste één geval in de bouwtest niet meer uitvoerbaar zijn of tot een afwijkend resultaat leiden. Toelichting: Als het bijvoorbeeld gaat om een webapplicatie bestaande Versie 1.0 Publicatiedatum: Pagina 78

79 Meetvoorschrift: uit 4 modules waar gegevens uit een database en een ESB servicecall komen, is een set gladde gevallen die elke module, de database connectie en de ESB servicecall minimaal één keer raakt afdoende. De voorkeur gaat uit naar een realistisch gebruikelijk normaal goedgeval." Controle van de beschreven proefgevallen met de applicatie en vergelijkt de uitkomsten met de beschrijving Kwaliteitscontrole van de broncode Eis: Specificatie: Meetvoorschrift: Om de kwaliteit van de code te kunnen waarborgen, is een controle van de code een vast onderdeel van het acceptatieproces. De kwaliteit van de broncode wordt getoetst door middel van Sonar. [Ref. 26] Indien onderstaande grenswaarden worden overschreven, zal de code niet geaccepteerd worden Sonar measurement Evaluation Error Coverage < 70% Rules compliance < 80% Blocker violations > 0 / KLOC Critical violations > 0 / KLOC Major violations > 10 / KLOC Duplicated lines > 2,5% Unit test success < 100% Complexity / method > 2,5 Versie 1.0 Publicatiedatum: Pagina 79

80 6 Release management Release management beschrijft alle noodzakelijke processen en technieken die nodig zijn voor het in productie brengen van een nieuwe versie van het computerexamensysteem. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding. 6.1 Release-examen De dienst kent twee fasen om de processen te doorlopen. De eerste of initiële fase voorziet in het opleveren van een nieuw examen. De vervolgfase voorziet in het aanpassen en opleveren van een nieuwe versie van het eerder opgeleverd examen, door middel van een erratum op het examen. Een vastgesteld erratum kan leiden tot een aanpassing van het examen of het correctievoorschrift bij het examen. Afhankelijk van het erratum zal besloten worden of het procedureel kan worden opgelost of dat het examen ook daadwerkelijk aangepast dient te worden. Beide fasen doorlopen exact dezelfde processen en leveren uiteindelijk een bepaalde versie op van een examen. De vervolgfase kan meerdere keren voorkomen. Initiële fase (versie 1.0 van het examen) Vervolgfase (versie 1.1 van het examen) Vervolgfase (versie 1.2 van het examen) Een aanpassing van het examen kan tot 48 uur voor de eerste afname van het examen worden doorgevoerd. 6.2 QTI Lifecycle De lifecycle van de QTI-standaard wordt grotendeels bepaald door de roadmap van de standaard en kent een lange levenscyclus. Op dit moment is versie 1.2 de officiële versie, echter, versie 2.1 zal deze standaard op korte termijn gaan vervangen. Het examensysteem is ontworpen voor gebruik van de 2.1 versie. Versieveranderingen hebben veelal een grote impact op de werking van het systeem, daarom zal een versie van een bepaalde standaard nooit van de ene op de andere dag veranderen, maar altijd een bepaalde acceptatie- of implementatiefase kennen. Het is van belang dat het computerexamensysteem de lifecycle van de standaard volgt en adaptief nieuwe versies van de standaard adopteert. Versie 1.0 Publicatiedatum: Pagina 80

81 Capaciteit 7 Operationeel beheer Zodra het computerexamensysteem in productie genomen is, moet het ook operationeel onderhouden worden. Hiervoor zijn processen en technieken nodig die de beschikbaarheid van het systeem bewaken en garanderen. Deze processen en technieken zijn binnen DUO belegd. Uitwerking volgt: Deze paragraaf zal in samenwerking met DUO verder uitgewerkt worden. De eerste fase van dit document was gefocust op onderdelen die relevant zijn voor de aanbesteding. 7.1 Ketenmonitoring Daar de correcte werking van het systeem cruciaal is voor de afnamen van examen door de examenlocaties is het goed monitoren van het systeem belangrijk. Mede door de verschillende verantwoordelijkheidsgebieden die het computerexamensysteem in de gehele keten onderkent tijdens een afname, maakt het monitoren van de gehele keten noodzakelijk. 7.2 Performancekarakteristieken Het computerexamensysteem is ontworpen met in het achterhoofd de flexibiliteit en kracht van horizontale schaling. Dit betekent dat het geheel (dat wil zeggen de infrastructurele en applicatieve componenten) in staat moet zijn om capaciteit bij te kunnen plaatsen zonder dat dit tot een performancedegradatie leidt. In essentie moet het bijplaatsen van capaciteit volgens een lineaire grafiek verlopen, waarbij het verlies niet meer mag bedragen dan 15% Aantal systemen vs capaciteit n 2n 3n 4n 5n 6n Nominaal Ondergrens 7.3 Ondersteuningsmodel De ondersteuning en het beheer van het digitale examenproces en het computerexamensysteem dienen compleet en effectief te zijn. Om dit te realiseren zal uitgegaan worden van het onderstaande model: Versie 1.0 Publicatiedatum: Pagina 81