FACET - GESLAAGDE EXAMENSOFTWARE

Transcriptie

1 FACET - GESLAAGDE EXAMENSOFTWARE

2 Voorwoord Acht jaar geleden zijn we als het toenmalige College voor Examens gaan nadenken over een nieuw systeem om het toen al grote aantal digitale centrale examens te faciliteren. Een waardige opvolger voor ExamenTester van Cito. Vanaf het begin was duidelijk dat DUO een grote rol ging spelen bij de ontwikkeling en het beheer van dit nieuwe product en dat Cito richtinggevend zou worden bij eisen rond de weergave van opgaven en het analyseren van gegevens. Drie partijen met verschillende eigen belangen en verschillende culturen. Het was niet altijd eenvoudig om samen tot een gemeenschappelijke koers te komen, er waren momenten van terugval en uitstel, maar ook momenten van flinke vooruitgang. Die vooruitgang heeft geleid tot het systeem wat er nu staat: Facet. Dit boekje verschijnt in de zomer van Op dit moment kunnen we zeggen dat Facet zijn kracht heeft bewezen in het vo, het mbo en op kleinere schaal in het po. Of Facet de volle breedte van het po-veld kan bedienen en ook de Nt2-examens goed gaat ondersteunen, zal blijken in de komende twaalf maanden. instantie bedoeld als overzichtsdocument voor de betrokken en minder betrokken partners in de keten van (digitaal) examineren. Denk daarbij aan OCW, CvTE, DUO, Cito, Bureau ICE, examenleveranciers, leveranciers van examensoftware, uitgeverijen et cetera. Het beschrijft waarom Facet gebouwd is, door wie, welke lessen geleerd zijn, wat de innovatieve elementen zijn en het kijkt ook vooruit naar mogelijke toekomstige ontwikkelingen. Facet is tot stand gekomen door vele uren hard werken, door afwijken van gebaande paden, door elkaar scherp te houden, door respectvol met elkaar om te gaan. Het is gemaakt met veel betrokkenheid en met altijd de focus op die ene persoon waar het bij digitale examens en toetsen allemaal om draait: de kandidaat. Ik wens u veel leesplezier toe! Nynke de Boer Manager computerexamens CvTE Het boekje is geschreven onder regie van het College voor Toetsen en Examens, mede gebaseerd op interviews met medewerkers van de betrokken ketenpartners en met scholen en instellingen. Het is in eerste FACET - GESLAAGDE EXAMENSOFTWARE 2

3 Inleiding Centrale examens in Nederland. Iedereen kent het beeld van de gymzaal waarin tafels zijn neergezet. De posters met stilte examen op de deuren. Leerlingen die zwoegen met pen en papier. Naast deze overbekende papieren examens kennen we in Nederland ook digitale centrale examens en toetsen. In het voortgezet onderwijs zijn dat de examens voor het vmbo en de rekentoets. In het mbo zijn dat de centrale examens voor Nederlandse taal, Engels en rekenen. Ook de Centrale Eindtoets in het basisonderwijs en de staatsexamens Nederlands als tweede taal (Nt2) worden digitaal aangeboden. Om deze digitale examens en toetsen af te nemen heeft de overheid nieuwe software laten ontwikkelen. Deze software heeft de naam Facet gekregen. Inmiddels draait Facet succesvol op bijna locaties in het voortgezet onderwijs en het mbo. In het schooljaar zijn met Facet ruim één miljoen afnames gedaan. In het schooljaar zijn dat ongeveer 1,4 miljoen afnames. In dit document kunt u lezen wat Facet precies is, hoe Facet tot stand is gekomen en wat Facet betekent voor het denken over digitale examens in Nederland. Dit document zal ieder jaar worden bijgesteld. FACET - GESLAAGDE EXAMENSOFTWARE 3

4 Inhoudsopgave 1. Facet examensoftware van de overheid 2. Digitale examens en examensoftware 3. Technische uitgangspunten voor Facet 4. De projectfase van ontwerpen, bouwen en testen van Facet 5. De toekomst van Facet FACET - GESLAAGDE EXAMENSOFTWARE 4

5 1. Facet examensoftware van de overheid FACET - GESLAAGDE EXAMENSOFTWARE 5

6 1.1 Wat is Facet? Figuur 1: de componenten van Facet. 1 Examens en toetsen Inzage Plannen Facet Cijfers vaststellen Afnemen Corrigeren Facet is de software voor de digitale centrale examens en toetsen. In grote lijnen biedt Facet de volgende functies: Digitale examens en toetsen worden in Facet klaargezet om af te nemen. De scholen en instellingen plannen de examens en toetsen in voor hun kandidaten. De kandidaten maken de examens en toetsen. Als er in het examen niet-automatisch-scoorbare vragen voorkomen, corrigeert de docent deze vragen. Op basis van de normering van het examen of de toets berekent Facet het eindcijfer van de kandidaat. Indien toegestaan en gewenst kunnen de kandidaat en de docent inzage krijgen in het gemaakte werk. Voor de afname zelf heeft de school of instelling een keuze: online of offline. Online wil zeggen: rechtstreekse verbinding met de centrale server bij DUO tijdens de afname, offline betekent: verbinding met eigen afnameserver tijdens de afname. 1. Examens en toetsen heeft een aparte kleur, omdat dit geen Facet-component is, maar de echte toets- en exameninhoud vertegenwoordigt, die door toetsleveranciers aangeleverd wordt. De kandidaten kunnen oefenen met examens en toetsen op de online oefenomgeving van Facet: oefenen.facet.onl Daarnaast kent Facet een opgavenetalage voor rekenopgaven uit de rekentoets vo en het examen rekenen voor het mbo. In deze etalage publiceert het CvTE het grootste deel van de rekenopgaven van de voorgaande schooljaren. FACET - GESLAAGDE EXAMENSOFTWARE 6

7 1.2 Welke partijen zijn betrokken bij Facet Facet is gemaakt in opdracht van het ministerie van OCW. Diverse partijen zijn betrokken bij de bouw en het beheer van Facet. Het College voor Toetsen en Examens (CvTE) is eindverantwoordelijk voor de (digitale) centrale toetsen en examens in Nederland, (gedelegeerd) opdrachtgever van Facet en de regisseur van de Facet-keten. DUO en Citrus bouwen Facet, en DUO beheert en ondersteunt Facet. Cito en (in de toekomst) Bureau ICE zijn de toets- en examenleveranciers. 1.3 Gebruik van Facet De scholen en instellingen hebben Facet zonder veel problemen omarmd. Men is tevreden over het gebruik en de functionaliteit van Facet. In het vo wordt Facet gebruikt voor de rekentoets en de digitale centrale examens in de basis- en kadergerichte leerweg van het vmbo, en is een start gemaakt met het gebruik van Facet voor de afname van pilotexamens muziek in havo en vwo. Ook de diagnostische tussentijdse toets (DTT) werd in Facet afgenomen. Op mbo-instellingen doen studenten de centrale examens Nederlands, Engels en rekenen met behulp van Facet. Figuur 2: welke toetsen en examens worden in Facet afgenomen? vo rekentoets examens vmbo bb en kb DTT mbo Nederlandse taal Engels rekenen FACET - GESLAAGDE EXAMENSOFTWARE 7

8 1.4 Invoering van Facet Gebruikers betrekken, draagvlak creëren Scholen en instellingen hebben een belangrijke rol gespeeld bij de ontwikkeling en implementatie van Facet. Zij gaven feedback op voorgelegde ontwerpen van de software in een klankbordgroep. Daarnaast was er zowel voor het vo als voor het mbo een klankbordgroep voor implementatiezaken. Leden van de klankbordgroepen gaven hun wensen, verwachtingen en behoeften aan. Ook namen zij de tijd om ervaringen te delen. Deze investering in de relatie met het veld droeg bij aan de acceptatie van het nieuwe systeem. Daarnaast zijn contacten gelegd met diverse belangen- en kennisorganisaties in het onderwijsveld; de VO-raad, de MBO Raad en Kennisnet en sambo-ict. Het gebruik van Facet is steeds geëvalueerd met behulp van enquêtes en in bijeenkomsten met de deelnemende scholen. Vervolgens vond zorgvuldige besluitvorming plaats over opschaling in aantal gebruikers en het opschalen in aantal examens dat in Facet werd aangeboden Beheerst in productie gaan Facet is beheerst in productie genomen, zowel op het gebied van functionaliteit als wat betreft het aantal locaties dat Facet gebruikte. Zolang Facet nog niet beschikbaar was, werden de digitale examens en toetsen afgenomen in ExamenTester. In april 2013 (schooljaar ) was de eerste versie van Facet klaar om op zeer beperkte schaal in te zetten voor de afname van digitale examens. Facet 1.0 is voor het eerst gebruikt op 15 vo-scholen voor de afnames van de rekentoets vo. Een belangrijke mijlpaal omdat Facet toen voor het eerst echt gebruikt werd buiten de beschermde testomgeving. Facet 2.0 is in oktober 2013 beschikbaar gekomen. Bij vo-scholen was veel belangstelling om Facet te gaan gebruiken. Voor pilots met Facet meldden 450 scholen zich aan. Hiervan zijn 250 scholen toegelaten. In het mbo-veld is in eerste instantie alleen geworven onder scholen uit klankbordgroepen. Voor de laatste afnameperiode van schooljaar is een bredere werving ingezet. Vanwege technische en organisatorische redenen hebben in dit schooljaar ongeveer 190 locaties gebruik gemaakt van Facet. In het schooljaar is gewerkt met Facet 3.0. Een succesvol jaar, waarin alle mbo-instellingen minstens één afname met Facet hebben gedaan. In het vo is de werving voorzichtig gestart, omdat verwacht werd dat de Facet-infrastructuur geen grote aantallen kon afhandelen. Dit laatste bleek mee te vallen, maar uiteindelijk bleef de teller dit schooljaar steken op 450 afnamelocaties. Facet 4.0 bevatte belangrijke verbeteringen ten opzichte van Facet 3.0. De data-opslag van Facet verhuisde van de server van DUO naar de cloud. Daarnaast hadden gebruikers voor het inloggen geen token meer nodig, maar kregen zij een éénmalig wachtwoord via . FACET - GESLAAGDE EXAMENSOFTWARE 8

9 In het schooljaar werden alle mbo-examens alleen in Facet 5.0 aangeboden. Ook in het vo werden de digitale examens voor het vmbo in dit schooljaar alleen in Facet aangeboden. Voor havo en vwo werden de rekentoetsen in zowel Facet als in ExamenTester aangeboden. Vanaf schooljaar wordt ExamenTester niet meer gebruikt en is alleen Facet 5.0 beschikbaar. Figuur 3: groei van aantal locaties dat Facet gebruikt. Figuur 4: Groei van aantal afnames in Facet Scholen vo Instellingen mbo Aantal afnames FACET - GESLAAGDE EXAMENSOFTWARE 9

10 1.4.3 Helpdesk Vanaf het moment dat Facet 1.0 voor het eerst op scholen werd gebruikt, is er een helpdesk ingericht, met twee medewerkers. Doordat het aantal scholen dat toen meedeed beperkt was, hebben deze medewerkers een goede relatie met deze scholen kunnen opbouwen. Door deze ervaringen is de helpdesk in staat om aan te sluiten bij de ervaringen van de klant. Omdat de medewerkers veel parate kennis hadden, loste de helpdesk circa 90% van de vragen direct in het eerste contact op. Dit waardeerden de scholen zeer. Een examenjaar in de praktijk Elke nieuwe versie van Facet wordt vlak voor de zomervakantie uitgebracht. Voor het examenjaar was dat op 10 juli De eerste afnameperiode voor mbo-instellingen was van september. Instellingen die laat vakantie hadden, konden voor de vakantie de nieuwe versie van Facet installeren. Instellingen die vroeg vakantie hadden, konden dit direct daarna doen. De afnameperiode in september is altijd de eerste praktijktest voor een nieuwe versie. Helaas komt het dan voor dat er toch nog kinderziektes in het systeem zitten. De mbo-instellingen moeten dit dan oplossen. Tegen de tijd dat ook de vo-scholen met Facet gaan werken, in de examen periode in het voorjaar, zijn deze problemen meestal opgelost. Over het algemeen zijn de afnames in het examenjaar goed verlopen. Wel waren er in het voorjaar van 2017 regelmatig cloud-storingen, waardoor online afnames niet door konden gaan. Ook waren er in het mbo een aantal keer problemen met de normering en de gerapporteerde resultaten van de examens. Een fout in een rekenexamen leidde ertoe dat een aantal afnames ongeldig verklaard moest worden. De afnames na de jaarwisseling in het voortgezet onderwijs zijn vrijwel probleemloos verlopen. FACET - GESLAAGDE EXAMENSOFTWARE 10

11 2. Digitale examens en examensoftware FACET - GESLAAGDE EXAMENSOFTWARE 11

12 2.1 Ontwikkeling van de digitale centrale examens in Nederland In 2000 startte de voorloper van het CvTE, de toenmalige CEVO op kleine schaal met centrale examens waarbij computertoepassingen gebruikt werden. In 2001 formuleerde de CEVO beleid voor het gebruik van de computer bij de centrale examens. Uitgangspunt hierbij was dat het gebruik van de computer een bepaalde meerwaarde moest bieden. Dit kon vakinhoudelijke meerwaarde zijn zoals het kunnen toetsen van meerdere vaardigheden. Of pedagogische meerwaarde doordat het digitale examen flexibel kan worden afgenomen en daardoor beter aansluit bij de leerling. In 2002 ging een vierjarig project van start dat de mogelijkheden van computerexamens moest onderzoeken. Ook moest dit project de implementatie van computerexamens voorbereiden. De opdracht van dit project was om examens met computeropdrachten te construeren, hiervoor in samenspraak met de scholen afnameprocedures te ontwikkelen, om de techniek te ontwikkelen die de afname op de computer mogelijk maakte en om met scholen samen te werken om geslaagde afnames van digitale examens te realiseren. De werkwijze was als volgt: nieuwe examens met computertoepassing en werden binnen de kaders van het project ontwikkeld en uitgetest. Zodra bleek dat er voldoende steun was bij scholen en leerlingen, werden de nieuwe examens verder opgeschaald. Een product werd opgenomen in de reguliere productie zodra het geschikt was voor de reguliere centrale examens. In 2005 zijn in het vmbo bb voor het eerst digitale centrale examens aangeboden voor de algemene vakken (Nederlands, Engels, Frans, Duits, economie, aardrijkskunde, maatschappijleer, geschiedenis, biologie, wiskunde en nask1). De introductie van deze examens is geleidelijk gegaan. In 2005 deden tien scholen mee aan een pilot. Vanaf 2012 neemt 99% van de vmbo-bb-scholen en 85% van de vmbo-kb-scholen deel aan de digitale examens. In het schooljaar werden in het mbo centrale examens Nederlandse taal en rekenen geïntroduceerd. Omdat grootschalige en flexibele afname mogelijk moest zijn, heeft het CvTE ook hier gekozen voor digitale afnames. Vanaf het schooljaar werd de rekentoets in het vo een verplicht onderdeel van het eindexamen. Deze toets werd in navolging van het examen rekenen in het mbo digitaal aangeboden. FACET - GESLAAGDE EXAMENSOFTWARE 12

13 2.2 ExamenTester In de beginjaren van de digitale centrale examens ( ) zijn enkele pilots uitgevoerd met standaard op de markt beschikbare toetssoftware. Al snel bleek dat deze software niet geschikt was om centrale examens veilig en betrouwbaar op alle scholen te kunnen afnemen. Daarom ontwikkelde Cito, in nauwe samenwerking met het CvTE, eigen software speciaal voor de Nederlandse examensituatie: ExamenTester. Hierdoor was het mogelijk om de problemen die zich met andere programma s voorgedaan hadden op te lossen. Vanaf 2010 waren er plannen om ExamenTester te vervangen door nieuwe software. ExamenTester was from scratch ontwikkeld en daarna elk jaar aangepast en uitgebreid. Het werd tijd om alle opgebouwde kennis weer goed gestructureerd neer te zetten. Ook het platform waarop Examen- Tester was gebouwd, was verouderd. Met name bij mbo-instellingen kon men niet goed uit de voeten met de manier waarop ExamenTester werkte. Uiteindelijk heeft ExamenTester nog tot de afnames in het voorjaar van 2016 dienst gedaan. ExamenTester kende een landelijke ( global ) server, een schoolserver, een module om afnameplanningen te maken, een module voor kandidaten om het examen te maken en een module voor de corrector om het examen te corrigeren. De software en de examens werden aanvankelijk op cd of dvd verzonden naar de scholen, waarna scholen via het internet een beveiligde verbinding moesten maken met de landelijke server. Vanaf 2005 is ExamenTester ingezet voor de afnames van de vmboexamens. Later zijn daar de afnames van de rekentoets in het voortgezet onderwijs en de taal- en rekenexamens in het mbo bijgekomen. FACET - GESLAAGDE EXAMENSOFTWARE 13

14 2.3 Facet verder op de schouders van ExamenTester De eerste versies van Facet leunden sterk op de kennis die met Examen- Tester was opgedaan. In grote lijnen is ExamenTester nagebouwd. Hierdoor was er een concreet beeld van hoe Facet eruit moest zien en wat het moest kunnen. Uiteraard zijn de belangrijkste verbeterpunten bij het ontwerp van Facet direct meegenomen. Door het voorbeeld van ExamenTester is met de bouw van Facet een vliegende start gemaakt. Figuur 5: toetsvraag in Facet. FACET - GESLAAGDE EXAMENSOFTWARE 14

15 3. Technische uitgangspunten voor Facet FACET - GESLAAGDE EXAMENSOFTWARE 15

16 3.1 Architectuur Facet heeft een gestructureerde aanpak gevolgd, waarbij vooraf zorgvuldig is nagedacht over de benodigde functionaliteiten binnen de processen zoals weergegeven in Figuur 1. De componenten van Facet, over de vereiste technische werking en de onderlinge samenhang van de com - po nenten van het examensysteem. Dit is beschreven in een architectuur. In de architectuur van Facet zijn alle examenprocessen uitgetekend in diagrammen. Ook zijn de functionele bouwstenen beschreven. Tevens is hier vastgelegd hoe het systeem technisch opgebouwd is; modulair zodat onderdelen vervangen kunnen worden. Daarnaast is vastgelegd welke open uitwisselstandaarden (QTI en EDEXML) toegepast moeten worden. Meer over open standaarden is te lezen in paragraaf 3.2. Doordat deze ontwerpkeuzes vroegtijdig zijn gemaakt, kon de programmatuur van Facet al vanaf het begin goed gestructureerd worden opgezet. In een architectenoverleg met architecten van alle ketenpartners is steeds getoetst of nieuwe ontwikkelingen nog in de architectuur pasten. 3.2 Toepassen van open standaarden Conform het algemene beleid van de Rijksoverheid, is bij de bouw van Facet gebruik gemaakt van open standaarden. De belangrijkste standaard is de standaard voor het aanleveren van de exameninhoud. Door hiervoor een internationaal erkende standaard te hanteren, is het mogelijk om toetsen en examens van verschillende toetsleveranciers op Facet af te afspelen. Na een grondige verkenning van de standaarden die hiervoor in de wereld in ontwikkeling en/of beschikbaar zijn, is gekozen voor QTI. Het CvTE heeft samen met stichting Cito gewerkt aan de doorontwikkeling van QTI en daarvoor een profiel ontwikkeld. Dit zogenoemde Dutch Exam Profile (DEP) is door de standaardisatieraad Edustandaard geaccepteerd en voorgedragen als overheidsstandaard (pas-toe-of-leg-uit). Daarmee komt DEP beschikbaar voor alle commerciële en niet- commerciële partijen in het domein van toetsen en examens. Wat is architectuur? In de architectuur van software worden de opbouw en samenhang van de verschillende onderdelen en aspecten van één softwareproduct beschreven. Een architectuur dient als verbin ding tussen business en ICT, tussen informatie en systemen, tussen functies en processen, zodat we de consequenties van ICT-beslissingen vooraf beter kunnen overzien, in plaats vvan achteraf moeten herstellen. FACET - GESLAAGDE EXAMENSOFTWARE 16

17 Het CvTE en Cito zijn actief betrokken bij de standaardisatieorganisatie IMS, waar de QTI-standaard is ondergebracht. Aan de ene kant kijkt het CvTE actief mee naar de technische doorontwikkeling van de standaard zodat deze goed aansluit bij de Europese markt. Aan de andere kant werkt het CvTE op bestuurlijk niveau mee aan de totstandkoming van IMS Europe, met als doel de Europese betrokkenheid bij deze internationale standaarden te borgen. 3.3 Open source loslaten van gebruikelijke oplossingen Voor de bouw van Facet is een aantal open-source-componenten ingezet. De basis voor de afnamespeler van Facet was bijvoorbeeld onder open source geproduceerd en kon voor Facet worden hergebruikt. Daarnaast is een open, stabiele en schaalbare open source-database ingezet, namelijk Cassandra. Voor het autorisatiemechanisme van Facet is gekozen voor OpenAM. Open standaarden Een standaard is een afspraak die is vastgelegd in een specificatiedocument. Om gegevens uit te kunnen wisselen moeten ICT-systemen dezelfde standaard hebben geïmplementeerd. Voorwaarde is dan wel dat het specificatiedocument vrij te verkrijgen is. IMS QTI (IMS Question and Test Interoperability) De specificatie QTI maakt de uitwisseling mogelijk van items, testinhoud en resultaten tussen auteursomgeving, item-banks, toetsconstructie-applicaties, leerplatformen en score/analyse- applicaties. FACET - GESLAAGDE EXAMENSOFTWARE 17

18 4. De projectfase van ontwerpen, bouwen en testen van Facet FACET - GESLAAGDE EXAMENSOFTWARE 18

19 4.1 Projectmanagement Het projectmanagementteam bestond uit managers van alle samenwerkende partijen. Deze mensen hadden de inhoudelijke kennis en ze hadden namens hun eigen organisatie mandaat. In dit team konden zaken uitgesproken en aangepakt worden. Facet is ontwikkeld met de Scrum-methodiek. In deze methodiek is de product owner (producteigenaar) degene die verantwoordelijk is voor het resultaat. Vragen zoals wat moet het product precies zijn en wat mag de investering hiervoor zijn, maar ook met welke deadline hebben we te maken, zijn vragen die bij de rol van product owner horen. Daarnaast vertegenwoordigt de product owner alle belanghebbenden in het project. In de ontwikkelfase van Facet was het CvTE de product owner. Later is deze rol overgenomen door DUO. 4.2 De aanbesteding In eerste instantie werd DUO aangewezen als bouwer van het totale examensysteem. Het bouwen van de afnamespeler vergde echter veel specifieke kennis. Daarom koos DUO ervoor om de bouw van dat deel van de software aan te besteden. De afnamespeler speelt de examens af ten behoeve van de afname, de inzage, de correctie en het beoordelen van het examen. DUO heeft zelf het deel van de software gebouwd waarin onder andere de afnameplanningen worden gemaakt. Voor de aanbesteding waren de eisen gespecificeerd in de architectuur. Daardoor was het mogelijk om goed aan te geven wat de te kiezen partij moest aanbieden. De aanbesteding is in juni 2011 gegund aan JTeam (JTeam heet nu Trifork). Deze partij was al bekend met het examenproces en had al eens een afnamespeler gebouwd. Daardoor kon JTeam snel een werkend product leveren. FACET - GESLAAGDE EXAMENSOFTWARE 19

20 4.3 Starten met kernfunctionaliteit en gecontroleerde groei Bij de start van de bouw is er bewust voor gekozen om de eerste versie van Facet te beperken tot de kernfunctionaliteit, namelijk de afname van een eenvoudig examen. Dit doel is ook strak gehanteerd. Bij elke nieuwe ingebrachte wens is de vraag gesteld of deze bij de kernfunctionaliteit hoorde of dat deze zou kunnen wachten tot een later moment. De product owner heeft hieraan strak vastgehouden en soms keuzes moeten maken die niet populair waren. Zo bevatte de eerste versie van Facet bijvoorbeeld geen voorleesfunctionaliteit voor dyslectische kandidaten. Dit werd goed gecommuniceerd met de scholen die mee wilden doen met de eerste pilots. Kandidaten die recht hadden op verklanking moesten het examen nog in Examen- Tester maken. Een school kon er ook voor kiezen om niet mee te doen met een pilot. Door deze keuzes helder te communiceren, leverde dit geen problemen op bij de eindgebruikers. Figuur 6: ontwikkeling functionaliteit en afnamelocaties Facet Eerste programma van eisen DUO en Cito betrokken Architectuur Start ontwikkeling Testen Facet 1.0 op een paar locaties Gebruik Facet 1.0 op 15 locaties voor echte examens Gebruik Facet 2.0 op 190 locaties Gebruik Facet 3.0 op 450 locaties. Eerste innovatieve items Gebruik Facet 4.0 op 1200 locaties. Adaptief testen en autoscore formules Gebruik Facet 5.0 op 1300 locaties Gebruik Facet 6.0 op locaties, ook voor po en Nt2. Beoordeling spraak mogelijk. FACET - GESLAAGDE EXAMENSOFTWARE 20

21 4.4 Klein bouw- en testteam Doordat de functionaliteit van Facet aanvankelijk beperkt was, kon bij de start worden volstaan met een klein bouwteam. Alle bouwers waren daardoor van alle ontwikkelingen op de hoogte. Ze hadden overzicht over het totale product. Iedereen wist precies wat zijn bijdrage aan het geheel was en ook hoe zijn bijdrage de rest van het product zou beïnvloeden. De testers zaten dicht tegen het bouwproces aan. Ze werden al in een vroeg stadium geïnformeerd over de functionaliteit die gebouwd werd. Zo konden ze al in een vroeg stadium meedenken over de manier waarop ze de functionaliteit het beste konden testen. 4.5 Technisch interessant en maatschappelijk relevant Facet was voor de bouwers een uitdagend project omdat bij Facet de nieuwste technieken werden toegepast. Ook de maatschappelijke relevantie was duidelijk. Het was voor zowel bouwers als testers duidelijk dat het voor een kandidaat heel vervelend is als er tijdens de afname van het examen iets misgaat. Daardoor was men erg gemotiveerd om kwalitatief goede programmatuur af te leveren. De durf om nieuwe technieken toe te passen heeft bijgedragen aan de kwaliteit van Facet. Zonder deze nieuwe technieken zou het niet gelukt zijn om Facet tot een succes te maken. FACET - GESLAAGDE EXAMENSOFTWARE 21

22 5. De toekomst van Facet FACET - GESLAAGDE EXAMENSOFTWARE 22

23 5.1 Doorontwikkeling Facet Facet is vanaf schooljaar in een nieuwe levensfase gekomen. Facet wordt niet meer projectmatig aangestuurd, maar is onderdeel geworden van de staande organisatie. Hier ligt de nadruk op het beheer van Facet: het onderhoud van de software en het ondersteunen van de gebruikers. Daarnaast wordt Facet doorontwikkeld met name voor afname van de Centrale Eindtoets po en de staatsexamens Nt2. Uiteindelijk zal Facet gebruikt gaan worden op ongeveer locaties. Met deze grote aantallen is het essentieel om een geoliede keten voor de operationele dienstverlening ingericht te hebben. In juni 2016 is voor Facet een governance-structuur vastgesteld. Hierna hebben de ketenpartners afspraken gemaakt (zie kader) om deze keten goed in te richten. 5.2 Nieuwe onderwijsvelden In het schooljaar worden twee nieuwe onderwijsvelden aangesloten, po en Nt2. In het po gaan scholen vanaf april 2018 Facet gebruiken voor de afname van de adaptieve Centrale Eindtoets po. Vanaf 1 januari 2018 worden ook de staatsexamens Nederlands als tweede taal (Nt2) in Facet afgenomen. Convenant Op 22 december 2016 is het Convenant van de Ketenpartners voor centrale toetsen en examens afgesloten tussen het CvTE, DUO en Cito. Als vervolg hierop worden de principes vanuit dit convenant voor Facet nu uitgewerkt in expliciete ketenprocesafspraken, waarin de onderlinge relatie van het CvTE als opdrachtgever en DUO en Cito als opdrachtnemers verder worden vastgelegd. Daarnaast wordt gewerkt aan een uniforme SLA voor de dienst verlening die vanuit de examenketen voor Facet aan de gebruikers in het onderwijsveld geleverd gaat worden. FACET - GESLAAGDE EXAMENSOFTWARE 23

24 5.3 Afnamespelers De Facet-afnamespeler kan vanaf Facet 1.0 gebruikt worden op pc s en laptops met Windows, Linux of ios (Apple). Scholen stappen echter over naar nieuwe apparaten met nieuwe besturingssystemen, bijvoorbeeld Chromebooks en ipads. Hierdoor ontstaat de wens om Facet ook op deze apparaten te kunnen gebruiken. Vanaf schooljaar zal de afnamespeler van Facet ook werken op Chromebooks en mogelijkerwijs ook op tablets met het Androidbesturingssysteem. In het schooljaar zal de afnamespeler geschikt worden gemaakt voor gebruik op ipads. Het wordt steeds lastiger om te voorkomen dat leerlingen uit de afnameomgeving breken als de afnamespeler een installeerbaar programma is. Daarom wordt de afnamespeler voor pc s en laptops vanaf schooljaar alleen nog aangeboden als bootable image waarin alleen de afnamespeler is opgenomen. De kandidaat kan hierdoor geen gebruik maken van andere software die op de afname-pc is geïnstalleerd. 5.4 Bredere inzet Facet? Facet is behoorlijk ingeburgerd bij vo-scholen en mbo-instellingen. Inmiddels zien deze locaties Facet als dé digitale toetsinfrastructuur. Daardoor ontstaat de vraag om ook toetsen die de overheid niet aanbiedt in Facet af te kunnen nemen. Ook docenten zouden hun toetsen in Facet willen aanbieden. Als andere partijen hun toetsen in Facet aanbieden, moeten zij aansluiten bij de openbare standaard die Facet gebruikt, namelijk QTI. Hiermee draagt Facet bij aan het gebruik van openbare standaarden voor digitaal toetsen. Voordat Facet beschikbaar gesteld kan worden, moet er over een aantal aspecten besluitvorming plaatsvinden. Dit is een heel nieuw speelveld waarop Facet aanleiding geeft tot beleidsvorming op nieuwe terreinen. Voordat de overheid de vraag over de beschikbaarstelling van Facet beantwoordt, zal zij zelf een beeld moeten hebben van de rol die (centraal) digitaal toetsen en examineren in de nabije toekomst zal spelen. De verwachting is dat dit beeld in de loop van 2017 duidelijk wordt. FACET - GESLAAGDE EXAMENSOFTWARE 24

25 Colofon Redactie: College voor Toetsen en Examens Opmaak: en-publique.nl Foto s: Marijke Volkers Juni 2017 FACET - GESLAAGDE EXAMENSOFTWARE 25

26 College voor Toetsen en Examens , Postbus 315, 3500 AH Utrecht