SURF SIG bijeenkomst praktijkvoorbeelden van gezamenlijke (digitale) toetsontwikkeling

Transcriptie

1 SURF SIG bijeenkomst praktijkvoorbeelden van gezamenlijke (digitale) toetsontwikkeling Jeanine Treep toetsdeskundige manager beroepsonderwijs en bedrijfsleven Cito

2 Samen toetsen maken, wat komt er bij kijken? 1. Waarom samenwerken? 2. Op welke onderdelen samenwerken? 3. Cyclus, keten of beide? 2 praktijkvoorbeelden 4. Valkuilen 5. Randvoorwaarden

3 Voordelen van samenwerking Kwaliteitsverbetering Vreemde ogen dwingen Efficiëntie Er ontstaat een standaard voor wat het HO niveau zou moeten zijn Het is inspirerend!

4 Meer wegen naar Op welke onderdelen samenwerken? Beschikbare middelen Gewenste kwaliteit (hoe meer borgpennen, hoe duurder het traject) Haalbaarheid

5 Op welke onderdelen samenwerken? De onderdelen in het examenproces kunnen op verschillende manieren beschouwd worden. Examencyclus en examenketen als modellen om e.e.a. inzichtelijk te maken

6 Cyclus

7 Constructie items en toetsen Examenketen Distributie & (re)productie toetsen Kandidaten-registratie Ondersteuning & nazorg Afname Responsverwerking & -beoordeling Resultaatbepaling (kandidaat) Rapportage / evaluatie Facturatie & betaling

8 Praktijkvoorbeelden samenwerkingsverbanden Bekabelaars SECT (Coax, Glas etc.) Energie- en installatie branche (Noodverlichting, Zonneenergie systemen, Betonkernactivering, Warmtepompen, Bodemenergie, Biomassa etc.) Pabo entree toetsen (Mens &Wereld) Project 10 v/d Leraar Buitengewoon Opsporingsambtenaar (BOA examens rechtskennis, procesverbaal) Staatsexamens Nt2, Spreken en Luisteren

9 praktijkvoorbeelden 1. Kabelbedrijven, Stichting Examinering Certificering TelecomCai, SECT v/d Leraar Hele verschillende trajecten met toch duidelijke overeenkomsten die zichtbaar worden wanneer de examencyclus en de examenketen worden gecombineerd.

10 Praktijkvoorbeeld SECT Certificeringstraject voor beroepsbeoefenaren, bekabelaars en installateurs 6 praktijkexamens 5 theorie-examens 2 casusexamens Rol Cito: organisatie en begeleiding van de constructie en organisatie van de afnames en terugkoppeling kandidaten

11 Examencyclus en keten ineen Processtappen toetsontwikkeling Bekabelaars, theorie-examens, actoren en verantwoordelijkheden Bestuur Sect College van deskundigen Constructeurs, ontwikkelaars van vakdeskundigen uit de bedrijven Telecombedrijven, Cito Testcentra Lamark stakeholders, Resultaat opleiders 1) Vaststelling van de toetsspecificaties en toetsinhouden stelt concept toetsspecificaties op Adviseert Adviseert Publicatie van vastgestelde domeinen en toetsmatrijs van de theorie-examens Verzamelt en ontwikkelt opgaven en cesuurvoorstel 2) Stuurt het constructieteam aan, screent opgaven/ schoolt constructieteam Concept theorieexamens en cesuurvoorstel 3) Vaststelling van de theorie-examens en cesuur adviseert Definitieve theorieexamens

12 rocesstappen toetsontwikkeling Sect, theorie-examens, actoren en verantwoordelijkheden Bestuur Sect College van deskundigen Constructeurs, ontwikkelaars van vakdeskundigen uit de bedrijven Telecombedrijven, Cito Testcentra Lamark stakeholders, Resultaat opleiders 4) Digitaliseren van de theorie-examens en publiceren toetsen Definitieve theorieexamens Aanmelding en betaling kandidaten, Verstrekken inlogcode tbv testcentrum Inschrijving op locatie en datum Kandidaten Voorlopige uitslag Behandeling bezwaar Behandeling beroep Terugkoppeling constructieteam 6) Verwerking en psychometrische analyse van de resultaten, logboekentestcentrum, uitslagbrief en evt. (deel)certificaatverstrekking aan kandidaten 5) Afname in testcentrum Definitieve uitslag voor de kandidaten, Rapportages voor instellingen en opdrachtgever, inzicht in kwaliteit van toetsen en proces 7) Evaluatie en planvorming vervolg (nu nog elk half jaar) Adviseert Adviseert Planvorming voor de volgende toetsen, evt. bijstelling toetsspecificaties, procedures

13 Praktijkvoorbeeld 10 v/d Leraar Landelijke toetsing van de kennisbases van de lerarenopleidingen In eerste instantie alleen rekenen en taal, later opschalen Rol Cito: consultant

14 Landelijke examencie. Kwaliteitscie. 1) Planvorming 3) Vaststelling van de toetsspecificaties Landelijke Digitale Kennistoetsenbank Lerarenopleiding en Pabo Redactieteams vakcie s 2) ontwikkeling toets specificaties bij de kennisbases Coöperatie i.o. Onderwijs instellingen Resultaat Opdracht redactieteams 4) ontwikkeling opgaven, samenstellen van toetsen En inhoudelijk beheer van de itembanken 5) technisch beheer van de landelijke digitale itembanken, en beheer toegang en rechten 6) klaarzetten van de definitieve toetsen in de afname omgeving En openzetten aanmelding voor toetsvenster 7) aanmelden voor toetsafname 8) Aanmelden van (groepen) kandidaten Constructie opdracht met o.a. vastgestelde domeinen toetsmatrijs opgaventype (referentie) toetsen Voor scholen beschikbare toetsversies 9) aanmaak en verstrekken accounts 11) Data cleaning En Verwerking van kandidaatresponsen en analyse van de resultaten 10) Afname op de onderwijsinstellingen Kandidaatantwoorden (dgitale dataretour) 13) definitieve normering en evaluatie van de inhoud, waarschlk door landelijk vakoverleg Kwaliteitscie: evaluatie procesgang 12a) cesuurbepaling in geval van referentietoetsen standaardsetting met expertpanel 12b) cesuurbepaling mbv gegevens referentietoetsen en Methode Hofstee psychometrische analyses (referentie) toetsen met een cesuur 14) publicatie van de cesuur en evt. rapportages 15) Uitslag verstrekking aan kandidaten Definitieve cesuur uitslag voor kandidaten evt. rapportages voor scholen 18) bezwaar en beroep 16) archivering referentietoetsen, analyses,rapportages en evaluaties 17) Inzage en bezwaar/beroep Uitslag: Geslaagd/Gezakt Beslissing bezwaar, beroep

15 LoEx Vaststellingscie Vakcommissie Redactie Beheerorganisatie Onderwijsinstelling Resultaat Beheerhandboek 3 Vaststellen toetsmatrijs en toetsspecificaties 2 Ontwikkelen toetsmatrijs en toetsspecificaties 4 Ontwikkelen opgaven 1 Jaarplanning Opdracht Redactieteam Constructieopdracht op basis van vastgestelde domeinen, toetsmatrijs etc. A: Inhoudelijk beheer opgavenbank 5 samenstellen van toetsen 6 Klaarzetten toets in de afname omgeving 7 Aanmelden bij de beheerorganisatie 8 aanmelding deelnemer en aanmaken van deelnemeraccount en schedules Referentietoets Voor opleidingen beschikbare toetsversies B: Functioneel beheer opgavenbank C: Archivering van toetsen/analyses/ rapportages/ evaluaties 10 Datacleaning en analyse 9 Afname op de onderwijsinstelling Kandidaatantwoorden (digitale dataretour) D: Beheeromgeving 13 cesuur vaststellen 11 Cesuurbepaling 12 Normeringscommissie / RvA 14 publicatie naar instellingen Psychometrische analyse Referentietoets met cesuur 15 publicatie naar studenten Definitieve cesuur, uitslag voor kandidaten en rapportages voor scholen 16 Inzage 17 Bezwaar en beroep Uitslag: geslaagd/gezakt Beslissing bezwaar/beroep 18 rapportage en richtlijnen bezwaar en beroep

16 VALKUILEN Beheer van de opgaven Goede duurzame structuur Autorisaties goed regelen Rapportages aan de achterkant Uitslagen voor kandidaat Analyses Cesuurbepaling

17 Randvoorwaarden Gemeenschappelijke kennisbasis! en verder: Financiën, continuïteit Eigenaarschap, auteursrechten Opdrachtgeverschap Projectmanagement Aansprakelijkheid/verantwoordelijkheid in de keten

18 Tips: Zorg voor een goede beheerorganisatie Begin niet te groot, ga later opschalen Neem een vakgebied waarover consensus is voor wat betreft de inhoud en wijze van toetsing Neem ruim de tijd voor stap 1 en 2 uit de examencyclus, planvorming en het ontwikkelen van toetsspecificaties

19 Vragen?