KWALITEITSZORG CENTRALE EINDTOETS PO

Transcriptie

1 KWALITEITSZORG CENTRALE EINDTOETS PO Versie : 1.0 Datum: 24 september 2015

2 pagina 2 van 16

3 Inhoud 1 Inleiding Centrale Eindtoets 5 2 Kwaliteitszorg CvTE Het jaarplan Over kwaliteit Kwaliteitsverbetering 8 3 Ontwikkeling Centrale Eindtoets Constructie Proeftoetsing en samenstellen Centrale Eindtoets Eerste proeftoets Tweede proeftoets Toets samenstelling Afname Afname en rapportage Eerste toetsafname papier of digitaal Tweede toetsafname digitaal Logistiek van afname 12 4 Referenties 14 pagina 3 van 16

4

5 1 Inleiding Vanaf het schooljaar is het voor leerlingen van groep 8 in het reguliere basisonderwijs verplicht om een eindtoets PO te maken. De overheid stelt de Centrale Eindtoets PO (hierna: Centrale Eindtoets) beschikbaar aan scholen. Scholen kunnen ook kiezen voor een andere eindtoets die door de minister is toegelaten. Het College voor Toetsen en Examens (CvTE) is verantwoordelijk voor de uitvoering van de Centrale Eindtoets. Deze wordt in samenwerking met Stichting Cito (hierna: Cito) gemaakt en bouwt voort op de Cito Eindtoets Basisonderwijs. Naast de kwaliteitseisen waaraan de inhoud van de eindtoetsen moet voldoen moet ook het proces van totstandkoming en verbetering aan kwaliteitseisen voldoen. Dit document is een verbindend verhaal tussen de verschillende producten en activiteiten rond de kwaliteitszorg en zorgt voor een expliciet en gezamenlijk kwaliteitsbeleid en het geeft invulling aan de positie en werking van gehanteerde instrumenten en interventies. Het geeft inzicht in de kwaliteitseisen en procedures die gevolgd worden in de processen van het samenstellen, uitvoeren, evalueren en verbeteren van de Centrale Eindtoets. Het verbindt de volgende documenten rond de Centrale Eindtoets en is een aanvulling op het document Verantwoording Centrale Eindtoets PO van april 2015: Beleidsplan kwaliteitszorg Toetsbesluit PO Plan van aanpak CET-PO versie 2015 Verantwoording Centrale Eindtoets PO Toetswijzer Draaiboek CET-PO 1.1 Centrale Eindtoets De Centrale Eindtoets bouwt voort uit de Eindtoets Basisonderwijs van Cito (door COTAN in 2011 als goed beoordeeld), die op zijn beurt zijn oorsprong vindt in de Amsterdamse Schooltoets. De Centrale Eindtoets heeft twee doelen op individueel leerling niveau. Een voorspellende functie voor het vervolgonderwijs (om naast het advies van de school een verwachting te geven hoe de leerling het gaat doen in de verschillende niveaus van het voortgezet onderwijs in vergelijking met zijn of haar referentiegroep?) Een diagnostische functie vanuit het oogpunt van een goede overdracht naar het VO (welk niveau heeft elke individuele leerling gehaald ten opzichte van de referentieniveaus?). Daarnaast heeft de toets een functie voor de school als (zelf)evaluatie-instrument van haar onderwijs en geeft het beleidsinformatie op stelselniveau. De Inspectie van het Onderwijs (IvhO) gebruikt de gemiddelde schoolscore op de Centrale Eindtoets om de leerresultaten van de school vast te stellen en te beoordelen. Sommige leerlingen hoeven de verplichte eindtoets PO niet te maken. Tot deze groep behoren kinderen die zeer moeilijk lerend zijn, meervoudig gehandicapt zijn of korter dan vier jaar in Nederland wonen en de Nederlandse taal niet voldoende beheersen. pagina 5 van 16

6 2 Kwaliteitszorg CvTE Het College voor Toetsen en Examens waarborgt namens de overheid de kwaliteit en het niveau van toetsen en examens en stelt scholen en instellingen in staat de afname van toetsen en examens vlekkeloos te laten verlopen. Binnen deze missie heeft het CvTE kwaliteitszorg ingericht als het geheel aan stappen, plannen, activiteiten en interventies waarmee het CvTE zijn resultaten borgt, de jaarcycli vormgeeft en monitort, en impulsen geeft voor verbeteringen en vernieuwing. Het doel daarmee is integrale en systematische kwaliteitszorg. Medewerkers werken op zorgvuldige wijze aan het waarmaken van de missie van het CvTE. Dit gebeurt vanuit de visie op regievoerderschap, gedelegeerd opdrachtgeverschap en de rol van kwaliteitsbewaker over de aan het CvTE toevertrouwde taken en verantwoordelijkheden. Kwaliteitszorg is ontwikkelingsgericht: Glazen huis positie: ook als er verbouwd wordt, is de winkel open. Vernieuwing, nieuw beleid, uitbreiding van taken gaat incrementeel en met behoud van stabiliteit van de staande organisatie. PDCA en IMWR cycli als basis voor leren en verbeteren. Dit zijn de twee, elkaar versterkende veranderwielen de verderop in dit document nader toegelicht worden. Ze zijn van verschillende orde (PDCA staat voor ratio/structuur en IMWR staat voor emotie/cultuur). Kwaliteitszorg is verantwoordingsgericht: Het CvTE stelt normen op basis waarvan een beoordeling gegeven kan worden van de mate waarin het CvTE de zaken op orde heeft (PDCA). De inspectie (toezicht) beoordeelt het functioneren van het CvTE bij de uitvoering van haar wettelijke taken als naar behoren. Het kwaliteitszorgsysteem operationaliseert het waarderingskader van de inspectie en zorgt voor de organisatie-eigen accenten. 2.1 Het jaarplan Het jaarplan is de sturingsagenda van het CvTE. In het jaarplan wordt de missie, visie en succesbepalende factoren van het CvTE vertaald naar het eigen werkterrein. Het jaarplan maakt inzichtelijk wat het CvTE wil bereiken, hoe een proces gestroomlijnd is, welke uitvoeringsactiviteiten gedaan worden en welke operationele, professionele en beleidsmatige functies worden aangewend om het werk zo effectief en resultaatgericht mogelijk te maken. Het jaarplan wordt gebruikt als middel om sturing te geven aan het lopende werk en de (deel)resultaten die hieruit voortvloeien. Kunnen verantwoorden dat het CvTE ook echt doen wat ze zeggen. En oog hebben voor wat er goed gaat, wat beter kan en waar de medewerkers in de projecten van het CvTE nog eens over zouden moeten nadenken. Het is belangrijk dat het CvTE via de gesprekken met medewerkers uit de projecten actief en planmatig signalen oppikt, kwaliteitsslagen maakt en interventies pleegt. Het expliciet maken van Plan, Do, Check en Act betekent dat deze stappen zichtbaar zijn pagina 6 van 16

7 binnen het kwaliteitszorgsysteem. De consequentie voor het CvTE is dat het middels het kwaliteitszorgsysteem gaat sturen, verantwoorden en rapporteren. 2.2 Over kwaliteit Een lerende organisatie vraagt zich af: doen we de goede dingen, doen we de dingen goed en hoe weten we dat, vinden anderen dat ook en wat doen wij met die wetenschap? Om deze vragen (wie, wat, waarom, waartoe en hoe) specifiek en in samenhang met elkaar te beantwoorden heeft het CvTE een kwaliteitszorgsysteem ingericht. Het CvTE is gewend zijn jaarplannen op te stellen volgens het INK model. Het jaarplan functioneert als sturingsinstrument op de PDCA-cylcus en op de IMWR-cyclus die elkaar onderling versterken. Kwaliteitszorg wordt hiermee een natuurlijk en beleidsmatig gegeven binnen processen en activiteiten zodat de effectiviteit van het werk wordt vergroot. Tijd, geld en kwaliteit zijn met elkaar verbonden. Een product maken of dienst leveren met minder tijd en evenveel geld leidt vaak tot lagere kwaliteit. Terwijl als er gestuurd wordt op kwaliteit de kosten in de regel toenemen. Kwaliteit is echter meer. De figuur hierboven is een vereenvoudigd model van de meest essentiële kwaliteitseigenschappen. Kwaliteit wordt hier gebruikt als verzamelbegrip voor bijvoorbeeld betrouwbaarheid, inhoudelijke dekking en flexibiliteit. Tijd staat voor de logistieke kwaliteitseigenschappen zoals juiste hoeveelheid, juiste plaats, juiste tijd. Geld staat tenslotte voor efficiëntie en kosten. Voor het managen van kwaliteit bestaan diverse modellen, die alle bestaan uit een aantal te herhalen stappen. De PDCA-cirkel, de kwaliteitscirkel van Deming is wellicht de bekendste checklist als het gaat om continu verbeteren. Deze regelkring beschrijft het permanent bewaken van beoogde resultaat. De meest gebruikte regelkring bij procesbesturing is de PDCA cirkel, bestaande uit vier fasen: plan, do, check en act. Plan Stel verbeterde doelstellingen vast. pagina 7 van 16

8 Bepaal de echte oorzaak van een probleem, genereer mogelijke (creatieve) oplossingen en plan een verandering of een test gericht op verbetering. Do Voer de verandering in of voer de test uit. Voer bij voorkeur in een pilot of op kleine schaal de verandering in. Daarmee wordt verstoring van de werkzaamheden zoveel mogelijk voorkomen. Check Controleer of het beoogde resultaat bereikt werd. Meet het resultaat van de verbetering en vergelijk deze met de oorspronkelijke situatie en toets deze aan de vastgestelde doelstellingen. Zo nee, wat ging er dan verkeerd? Wat is het leereffect? Act Implementeer de verandering. Implementeer de verandering in de breedte als de pilot of de test succesvol was. Was de test of pilot geen succes, herhaal dan deze stap met behulp van hetgeen geleerd is in de vorige stap. In het kwaliteitsmodel van CvTE is de PDCA cyclus gecombineerd met de IMWR cyclus. 1. De PDCA cyclus met als doel kwaliteit van verrichtingen te borgen, verbeteren en verantwoorden. Het representeert een rationele benadering van kwaliteitszorg. 2. De IMWR cyclus die gericht is op het ontwikkelen van mensen, kracht, kennis, vaardigheden, bereidheid. Dit uit zich als het sociale aspect van kwaliteitszorg. IMWR is een afkorting die staat voor de belangrijkste stappen uit de gerelateerde mensgerichte cirkel: Inspireren Zorg dat mensen gemotiveerd zijn om de doelen te bereiken, Mobiliseren zorg dat mensen de activiteiten uit het plan oppakken, Waarderen Zorg dat mensen erkenning krijgen voor die activiteiten die leiden tot verbetering, Reflecteren Geef terugkoppeling en zorg dat mensen zelf terug kijken over hun inbreng in de verbeter initiatieven. 2.3 Kwaliteitsverbetering Om met de Centrale Eindtoets onderscheidend te blijven ten opzichte van de andere aanbieders van eindtoetsen PO is er een proces van continue kwaliteitsverbetering ingericht. Hierbij gaat het om het voorbereiden en uitproberen van vernieuwingen in de opbouw en vorm van de toets, en het onderzoeken wat daarvan de effecten zijn op de pagina 8 van 16

9 resultaten. Daarbij worden, in opdracht van de staatssecretaris van onderwijs, cultuur en wetenschap, door het CvTE veldraadplegingen gehouden. Te denken valt aan: wat is het effect van een ander/groter lettertype, tekst in twee kolommen of over de volle breedte, afbeeldingen in kleur of zwart-wit welke onderdelen mogen gecombineerd worden in een taak en welke niet, hoeveel opgaven mag een taak bevatten, in welke volgorde worden de taken afgenomen richtlijnen voor de afnametijd van een taak, en voor pauzes tussen de taken welke aangepaste versies zijn er nodig voor leerlingen met speciale ondersteuningsbehoeften en wat is het effect van het inzetten van die versies op de resultaten welke (sub)domeinen moeten getoetst worden om recht te doen aan de Toetswijzer, maar tegelijkertijd onderscheidend te zijn hoeveel opgaven moeten getoetst worden om een betrouwbaar advies voor best passend brugklastype te geven wat is het effect van een afnamevorm (papier/digitaal) op de resultaten pagina 9 van 16

10 3 Ontwikkeling Centrale Eindtoets De ontwikkeling van de CET volgt de Toetswijzer. Dit is de inhoudelijke verantwoording voor alle eindtoetsen PO op basis waarvan eindtoetsen worden toegelaten door de minister van Onderwijs, Cultuur en Wetenschap. Dit algemene deel van de toetswijzer wordt aangevuld met een specifieke toetswijzers voor taal en rekenen en wereldoriëntatie met daarin de verantwoording van de CET. De ontwikkeling van een item uit de Centrale Eindtoets heeft een doorlooptijd van drie schooljaren. Hierna komen de 2x geproeftoetste items in de afname. Hierdoor heeft elk item een totale levenscyclus van vier schooljaren. Ontwikkeling item uit de Centrale Eindtoets De PDCA-cyclus van plan, do, check en act van verbetervoorstellen komt op zowel het hoogste niveau (de totale levenscyclus van vier jaar) als in elk van de afzonderlijke fasen aan de orde. 3.1 Constructie In de constructiefase worden de items ontwikkeld. Tijdens het ontwikkelen van de items is er regelmatig overleg in de constructie teams waarbij de items gevalideerd worden. De Clustermanager cq. Projectleider van CvTE formuleert de constructieopdracht. De vaststellingscommissies adviseren daarin door middel van het opstellen van een toetsmatrijs en baseren zich daarbij onder andere op de toetswijzer en de referentieniveaus. In de toetsmatrijs staat vermeld hoeveel items, van welke itemtypen, met (ongeveer) welke inhoud en van welk niveau, geconstrueerd moeten worden. Aan de hand van die opdracht gaan de constructeurs van Cito aan de slag. Hierdoor is de relatie tussen het CvTE en Cito een opdrachtgever / opdrachtnemer relatie. Waarbij beide organisaties vanuit hun respectievelijke rol met elkaar samenwerken. De constructie voor een bepaalde eindtoets vindt plaats in de periode van één schooljaar, van september tot en met juni. De opgaven worden ontwikkeld in constructiegroepen. Een constructiegroep bestaat uit drie of vier vakdeskundigen en/of (ex-)leerkrachten uit het basisonderwijs en een toetsdeskundige van Cito. De leerkrachten leveren door henzelf bedachte conceptopgaven aan, die in de constructiegroep worden besproken en gereviseerd. De toetsdeskundige begeleidt de constructeurs en geeft deelopdrachten voor constructie: lever over een maand 20 opgaven woordenschat aan, van het type tegenstellingen, 10 op niveau B en 10 op niveau N, etc. Bij het formuleren van de opdrachten aan de constructiegroep baseert de toetsdeskundige zich op de constructieopdracht van het CvTE. Tevens worden verbetervoorstellen die voortkomen uit eerder overleg en validaties meegegeven. Zo pagina 10 van 16

11 wordt gewaarborgd dat de nieuwe opgaven qua vorm en inhoud aansluiten bij het eerder ontwikkelde materiaal en verbetervoorstellen verwerkt worden in de volgende constructies. Cito ontwikkelt per onderdeel meer opgaven dan uiteindelijk in de definitieve toets komen. Tijdens de proeftoetsen worden de items gevalideerd en vallen nog opgaven af indien deze niet voldoen aan de gestelde criteria van de vaststellingscommissies. 3.2 Proeftoetsing en samenstellen Centrale Eindtoets Alle opgaven worden na constructie gescreend door de toetsdeskundigen van Cito, daarna worden ze meegenomen in twee proeftoetsen over twee afzonderlijke jaren. De proeftoetsen worden afgenomen bij leerlingen uit groep 8 zodat de informatie uit de proeftoets betrouwbare input is voor het samenstellen van de Centrale Eindtoets Eerste proeftoets De eerste proeftoets is om te kijken of de opgave het goed doet : kiezen leerlingen inderdaad het bedoelde juiste antwoord, is de opgave niet extreem moeilijk of makkelijk, leidt de opgave niet tot protesten of kanttekeningen van leerkrachten. Na de eerste proeftoetsing vindt een analyse plaats door Cito. Centraal hierbij staat de psychometrische kwaliteit van de opgaven. Een deel van de opgaven zal afvallen. Cito maakt een analyse van de proeftoetsing en legt deze voor aan de vaststellingscommissie van het CvTE Tweede proeftoets De vaststellingscommissie bepaalt welke opgaven mee kunnen in proeftoets 2. De tweede proeftoets dient enerzijds om de moeilijkheid van de opgave zo precies mogelijk vast te stellen en anderzijds om de opgaven na de definitieve afname te kunnen equivaleren. Uit de opgaven die voor de tweede proeftoets worden geselecteerd, wordt uiteindelijk de definitieve Centrale Eindtoets samengesteld. Toch vallen ook na proeftoets 2 nog enkele items af. Bij analyse van de proeftoetsresultaten blijken deze opgaven dan toch (soms) te moeilijk of (vaker) te gemakkelijk voor de bedoelde toetsversie (B of N) Toets samenstelling De vaststellingscommissie beoordeelt aan de hand van de analyse van proeftoets 2 welke opgaven geselecteerd kunnen worden voor de definitieve Centrale Eindtoets. De vaststellingscommissie kijkt daarbij naar (vak)inhoud (referentieniveaus en toetswijzer), leerplan (methode onafhankelijk), belevingswereld (kind gericht en niet gekunsteld) en psychometrie (P-waarde en discriminatie). Daarna stelt de vaststellingscommissie een toets onderdeel (taal, rekenen of wereldoriëntatie) vast. Cito doet op basis van de analyse een voorstel voor de samenstelling van elke toetstaak. De vaststellingscommissie van het CvTE zal dit voorstel beoordelen en aanpassen waar nodig. Na goedkeuring van alle afzonderlijke taken zal de vaststellingscommissie tevens de gehele toets vaststellen. Hierbij wordt de Centrale Eindtoets eerst op de inhoud en de volgorde van de losse opgaven vastgesteld en vervolgens in een definitieve lay-out opnieuw aan de vaststellingscommissie voorgelegd. De vaststellingscommissies brengen over de definitieve lay-outversie een advies uit aan de clustermanager (projectmanager) en sectormanager van het CvTE. Het CvTE stelt de Centrale Eindtoets definitief vast. pagina 11 van 16

12 3.3 Afname Afname en rapportage De afname van de Centrale Eindtoets duurt 6 uur verdeeld over drie dagdelen. Na afname van de eindtoets is Cito verantwoordelijk voor het verwerken en analyseren van de individuele leerlingantwoorden. Cito maakt een analyse en het CvTE stelt de uiteindelijke normering vast Eerste toetsafname papier of digitaal De eerste afname van de Centrale Eindtoets is voornamelijk een papieren afname. De optie voor een digitale afname is beschikbaar voor scholen die hier de voorkeur aan geven, mits de school over de juiste middelen beschikt. Het aantal scholen dat nu bewust kiest voor een digitale afname is beperkt. Om de overgang naar de beoogde digitale, adaptieve eindtoets soepel te laten verlopen, zal gestimuleerd worden dat de komende jaren steeds meer scholen deel (kunnen) nemen aan een eerste digitale afname door bijvoorbeeld de papieren en digitale Centrale Eindtoets gelijktijdig af te nemen Tweede toetsafname digitaal Het tweede afnamemoment dient als inhaalmoment en is alleen bestemd voor leerlingen die de eerste afname (gedeeltelijk) gemist hebben. De toetsafname vindt dan alleen digitaal plaats. Redenen hiervoor zijn: Flexibiliteit. De toets wordt gedurende vijf weken opengesteld waardoor scholen niet gebonden zijn aan een vast rooster. Zo krijgen alle leerlingen de kans om de toets in te halen op de dagen dat zij op school zijn. Geheimhouding en hergebruik opgaven. De opgaven van de digitale toets worden niet openbaar waardoor scholen de digitale Centrale Eindtoets bij leerlingen flexibel kunnen afnemen zonder dat de betrouwbaarheid van het resultaat wordt aangetast. Snelheid van verwerking en rapportage. Doordat de toets digitaal wordt afgenomen krijgt Cito meteen de resultaten binnen. Cito kan de antwoorden van de leerlingen op de digitale toetsen meerdere keren per week verwerken en zo ervoor zorgen dat de rapportages sneller op de scholen liggen Logistiek van afname Het proces van de toetsafname bestaat globaal uit de stappen die hieronder zijn weergegeven. Globale stappen afname toets 1. Melding aan scholen In het najaar van het schooljaar verstrekt het CvTE informatie aan de scholen over onder andere data van toetsafname, het gebruik van hulpmiddelen en informatie over eerste en tweede afname. 2. Aanmelden van leerlingen pagina 12 van 16

13 Vanaf december kunnen scholen zich inschrijven voor deelname aan de Centrale Eindtoets. Bij het aanmelden voor de Centrale Eindtoets kan de school een leerling inschrijven voor het niveau van de Centrale Eindtoets, afnamevorm (papier of digitaal), aangepaste versie in het kader van speciale ondersteuningsbehoefte en het facultatieve onderdeel wereldoriëntatie. 3. Controle inschrijving Scholen hebben tot 1 februari de tijd om de leerlingen aan te melden. In februari kunnen zij hun inschrijvingen online op de portal van de Centrale Eindtoets terugvinden. Hier hebben zij tot eind februari de mogelijk tot wijziging. 4. Proeftoetsing In de periode februari maart wordt er bij een deel van de basisscholen de proeftoetsing uitgevoerd. 5. Versturen opgavenboekjes en antwoordbladen Uiterlijk één week voor de toetsafname worden door Cito de opgavenboekjes en antwoordbladen naar de scholen gestuurd. Het proces van inpakken en verzenden duurt in totaal vier weken. Scholen die de digitale Centrale Eindtoets afnemen moeten zelf de toets installeren op iedere computer of laptop die gebruikt zal worden tijdens de afname. 6. Afname toets De eerste toetsafname vindt plaats op door het CvTE vastgestelde dagen en tijden. Alle leerlingen die de papieren Centrale Eindtoets doen maken op hetzelfde moment dezelfde toetsonderdelen. Zo blijft de geheimhouding van de specifieke opgaven geborgd. Leerlingen die de digitale Centrale Eindtoets maken kunnen op een eigen gekozen moment (binnen de vastgestelde termijn van het CvTE) de toets maken waarbij de toetsonderdelen in een vaste volgorde worden afgenomen. Van de leerlingen die de papieren Centrale Eindtoets volledig hebben afgerond stuurt de leerkracht kort na de afname de ingevulde antwoordbladen terug. Aan scholen wordt dringend verzocht om een kopie te maken van de antwoordbladen en die te bewaren. 7. Tweede afnamemoment Leerlingen die de Centrale Eindtoets niet of slechts gedeeltelijk hebben gemaakt worden ingeschreven voor het tweede afnamemoment waarbij de Centrale Eindtoets digitaal wordt afgenomen. Scholen waarbij de inspectie heeft vastgesteld dat de eerste afname niet reglementair is verlopen, moeten het tweede afnamemoment gebruiken voor een nieuw resultaat. 8. Rapportage Direct na de toetsafname worden de antwoordbladen bij Cito via de computer ingelezen en verwerkt. Vervolgens vindt het proces van equivalering (normering) plaats. Het CvTE stelt de normering vast waarna de leerlingrapportages opgemaakt kunnen worden en aan de scholen worden verstrekt. Tevens wordt er een terugblik geschreven over de resultaten van de Centrale Eindtoets. pagina 13 van 16

14 4 Referenties Bosman, Schijff, Van de Vliert (2010). Vergroot Innovatievermogen met BPM, hoe Business Process Management als hefboom te gebruiken voor succesvol innoveren. Utrecht: INK College voor Examens (2013). Beleidsplan Kwaliteitszorg vs1.0 def. Utrecht: College voor Examens. De Staatssecretaris van Onderwijs, Cultuur en Wetenschap, S. Dekker (2014) Toetsbesluit PO. Den Haag: Staatsblad De Staatssecretaris van Onderwijs, Cultuur en Wetenschap, S. Dekker (2014) Wet Centrale Eindtoets en leerling- en onderwijsvolgsysteem primair onderwijs. Den Haag: Doeleman, Van Heumen, Diepenmaat (2010) A3 Methodiek, Naar jaarplannen met meer focus en bezieling. Deventer: Kluwer NEN (2009) Kwaliteitsmanagementsystemen Eisen (ISO 9001:2008,IDT) OCW (2006). Kerndoelen Primair Onderwijs. Den Haag: OCW. van Boxtel, Engelen, Van Aalst & de Wijs (2015) Verantwoording Centrale Eindtoets PO. Utrecht: CvTE pagina 14 van 16

15

16 pagina 16 van 16