Evaluatie rekentoetsafname maart 2014, met examensecretarissen vo 8 mei 2014, Domstad Utrecht
Evaluatiebijeenkomst In samenwerking met: College voor Examens (CvE) DUO Cito OCW
Programma 13.30 welkom 13.45 inventarisatie van evaluatiepunten/ervaringen die men wil inbrengen rubrieken: - techniek (ExamenTester/Facet) - organisatie en Logistiek - inhoud, normering en rapportage - beleid ca. 14.45 uur: koffie/thee-pauze 15.10 CvE: presentatie bevindingen en ingebrachte punten: terugblik en vooruitblik 16.00 ruimte voor vragen en afsluiting
EVALUATIE REKENTOETS VO 8 mei 2014 Loes Vegter en Maaike Beuving, CvE
INVENTARISATIE VRAGEN EN OPMERKINGEN 1 Technisch 2 Logistiek 3 Inhoud, normering en rapportages 4 Beleid Ondanks voorbereidingen succesvol: afname in Facet niet gelukt. Wanneer is examentester vervangen door Facet Facet was wel de wens vanwege ander platform, maar vanwege onduidelijkheid hierover toch teruggevallen op ET. Mogelijkheid tot testen kwam te laat. Facet niet gebruiksvriendelijk (token e.d.) Facetafnames goed verlopen. ET als fallback paraat hebben is veel werk. Facetafnames goed verlopen, maar inplannen van oefentoetsen kost veel tijd. Kan dat anders? Om te oefenen fakebsn nodig, niet wenselijk. ET: storingen waardoor leerlingen er uit werden gegooid. Nieuwe afname: kost tijd en opnieuw inplannen. In verleden wel problemen gehad met ET, maar deze versie was stabiel.
INVENTARISATIE VRAGEN EN OPMERKINGEN 1 Technisch Veel werk om alles klaar te zetten. Met name bij BB. Bij deelname aan pilot Facet: dubbel werk. Herkansing ER is gepland op 26 mei: sommige scholen een vrije dag. Helpdesk: goed geholpen 2 Logistiek 3 Inhoud, normering en rapportages 4 Beleid
INVENTARISATIE VRAGEN EN OPMERKINGEN 1 Technisch 2 Logistiek 3 Inhoud, normering en rapportage 4 Beleid - Testreporter: rapportages veel gemakkelijker dan vorig jaar. - Moment van rapportage (middag voor de vakantie) ongelukkig. - Moment communicatie invoering cijfers bij Bron ongelukkig. - Rapportage: deel van een klas heeft dit niet ontvangen. Cito heeft het weer terug kunnen zetten. - Hoe kan ik een rapportage op domeinen ontvangen/genereren? - Kan er in de toekomst een meer gedetailleerde rapportage komen dan op domeinniveau (bijv. naar soort fouten) - Ik krijg de rapportage op voornaam ipv achternaam. Tip uit de zaal: eerst achternaam en dan voornaam importeren. - Gebruik van afbeeldingen helpen niet (altijd), met name bij mindere rekenaars. - Voor ontvangend onderwijs is het resultaat op rekentoets bij vmbo niet helder door maatwerk. - Gaat de rekenvaardigheid vooruit? - (waarom) moeten alle kale opgaven met een handig rekenstrategie oplosbaar zijn?
INVENTARISATIE VRAGEN EN OPMERKINGEN 1 Technisch 2 Logistiek 3 Inhoud, normering en rapportages 4 Beleid Wijzigingen in beleid tijdens invoering. Daardoor afwachtende houding, twijfel of het wel door gaat. Kan het rekentoetscijfer geen combinatiecijfer worden. Blijft de bijlage bij de cijferlijst? Toets telt zwaar mee, zonder schoolexamen met maar twee kansen. Waarom geen vier kansen? Wij willen havisten in het voorlaatste jaar graag 2F laten doen. Wij willen graag vmbo-t eerst 2F en daarna 3F laten doen. Wij willen alle voorlaatstejaars de rekentoets laten doen en een eventuele herkansing in het examenjaar. Waarom wordt de rekentoets niet tijdens de CE s afgenomen. En waarom niet op papier? Is er al een regeling wat er met het cijfer gebeurt als een voorlaatstejaars doubleert. Wat doet Steunpunt/OCW met ontvangend onderwijs die eisen stellen aan rekentoetsresultaat? Waarom heet het geen rekenexamen ipv rekentoets? Wordt het beleid rond aangepaste toetsen op dezelfde wijze voortgezet?
MAART 2014: LEERWEG EN LEERJAAR BB KB GL/TL havo vwo totaal aantal maart 2014 waarvan laatste leerjaar aantal maart 2013 waarvan laatste leerjaar 16.000 24.000 39.000 59.000 32.000 170.000 85% 85% 70% 60% 35% 65% 24.000 34.000 60.000 63.000 41.000 222.000 30% 30% 25% 15% 10% 20 %
TECHNIEK ExamenTester Pilot Facet 140 scholen
VOORBEREIDING EN AFNAMES Systeemcheck goed verlopen ExamenTester heeft goed gefunctioneerd Van ca. 450 kandidaten heeft inspectie de afname ongeldig verklaard 10% om technische redenen 90% om procedurele redenen
LOGISTIEK Verloop afnames maart 2014 Afnames goed verlopen 20% gebruik gemaakt van de Helpdesk, waarvan 92% tevreden hierover
PILOT FACET VOOR REKENTOETS VO Nieuwe examensoftware, vervangt op termijn ExamenTester Eerste grote pilot met Facet 140 scholen Installatie soms lastig Afnames goed verlopen 2014 2015 - opschaling in aantal scholen 2015 2016 - alle scholen, ExamenTester uitgefaseerd Flexibele centrale examens en minitoetsen BB en KB kennen ander invoeringstraject
LENGTE VAN DE TOETS Het aantal vragen in de rekentoets is van 60 naar 51 gegaan in 2014. Docenten: Voldoende of precies goed: 2F - 68%, 3F 40% Nog steeds teveel: 2F - 8%, 3F - 7% Te weinig: 2F - 2%, 3F - 0,4% Leerlingen: Voldoende: 53%. Te veel: 39% Te weinig: 1%.
TIJDSDUUR Voor 2F staat 90 minuten en voor 3F 120 minuten. Voor de rekentoets 2F gaf 88% van de docenten aan de indruk te hebben dat de kandidaten voldoende hadden aan de toegestane tijdsduur (in 2013 72%). Bij 3F was dat 70% (in 2013 50%). 91% (in 2013 was dit 73%) van alle kandidaten hadden (ruim) voldoende tijd voor het examen.
VERHOUDING KAAL - CONTEXT Het aandeel kale opgaven is van 20 naar 30% gegaan. Mening van de docenten? voldoende of precies goed: bij 2F - 63%, bij 3F - 50% liever minder kale opgaven: bij 2F - 7% bij 3F 3% liever meer kale opgaven: bij 2F - 8% bij 3F - 14%
PAPIEREN OF DIGITALE TOETS? 26% van de docenten heeft de voorkeur voor een papieren rekentoets VO boven digitaal. Voor 78% is een digitale rekentoets acceptabel als leerlingen wel kunnen terugbladeren en een domeinrapportage inzicht geeft in de sterke en zwakke punten van een leerling. 9% vindt ook dan een digitale rekentoets niet acceptabel.
TERUGBLADEREN 75% docenten gaf aan de indruk te hebben dat de kandidaten (enigszins) nadeel ondervonden van het feit dat ze niet terug konden bladeren in de toets (in 2013 was dat 67%). Het feit dat je in de rekentoets niet kunt teruggaan naar een vorige opgave vond 48% van de leerlingen (was vorig jaar 45%) soms vervelend en 39% heel erg vervelend (in 2013 was dat 45%).
INHOUDELIJKE VOORBEREIDING Van de docenten geeft 13% aan dat de kandidaten niet waren voorbereid op de vorm van de rekentoets (21% weet het niet) en 14% niet op de inhoud (27% weet het niet). 72% van de docenten geeft aan rekenlessen te hebben gegeven, 43% zei de oefentoets in ExamenTester te hebben gedaan en 35% zei te hebben geoefend via rekenwebsites op internet. 46% van de leerlingen (was in 2013 47%) geeft aan door de school niet goed voorbereid te zijn op deze toets. Van de rest geeft nog eens 13% aan dat de voorbereiding niet aan sluit op de opgaven uit de toets: 58% geeft aan dat er soms tot vaak opgaven in de toets zaten waar ze geen lessen over hebben gehad.
OPMERKINGEN VRIJE VELD Examensecretarissen: Rekentoetsen worden niet als examen ervaren De voorbereiding en organisatie van de rekentoetsen vergen veel tijd De rekentoetsen moeten dwars door de schoolroosters gepland worden Het duurt erg lang voor het resultaat op de rekentoetsen bekend wordt gemaakt Het beleid voor toelating van voorlaatstejaars aan de RVO is onduidelijk/diffuus Het aantal D-versies is te laag De status van de rekentoets VO is twijfelachtig Veel politieke onrust en communicatie over de rekentoets maakt onzeker
OPMERKINGEN VRIJE VELD (2) Docenten: Vragen waren onduidelijk/onduidelijkheid over afronden Verwarring bij de rekenmachine: ANS en punt/komma Het duurt erg lang voor het resultaat op de toetsen bekend zijn Leerlingen wisten niet wat een ton was Door gebrek aan inzage kan ik mijn leerlingen niet coachen De status van de rekentoets VO is onduidelijk: wanneer telt het nu hoe mee? De toets toetst meer leesvaardigheid dan rekenen 2F is voor BB te hoog gegrepen Waarom was er voor de ER-variant een aparte dag aangewezen? Waarom worden tussenberekeningen niet beoordeeld? De voorbereiding en organisatie van de rekentoetsen vergen veel tijd Niet alleen differentiëren op norm maar ook op inhoud
VMBO: DIFFERENTIËREN NAAR NIVEAU EN VOOR BB OOK OP INHOUD Besluit staatssecretaris: de lat omhoog bij GL/TL (= GT) de lat tijdelijk lager bij BB Uitwerking door CvE: KB-cijfer = 2F-cijfer GT-cijfer: 1 cijferpunt strenger dan 2F-cijfer BB-cijfer: 1 cijfer punt soepeler dan 2F-cijfer Daarnaast zijn dit jaar opgaven uitgeprobeerd speciaal voor de BBkandidaten. Doel: ook inhoudelijk differentiëren voor BB.
ONDERZOEK NAAR 3S ALS REFERENTIENIVEAU VOOR VWO Er is een rekentoetswijzer 3S uitgebracht (Commissie Van de Craats) Besluit OCW: onderzoek operationalisatie op draagvlak en geschiktheid voor de doelgroep Er wordt een rekentoets 3S gemaakt met in achtneming van de rekentoetswijzer 3S en afgenomen op kleine schaal. Najaar 2014: veldraadpleging over rekentoets 3S
DYSCALCULIE In maart: pilot dyscalculie met behulp van ER-varianten 2F en 3F. In VO ongeveer 1.300 afnames. Daarnaast pilots met hulpmiddelen voor ER-kandidaten.
VOORUITBLIK 2015 Pilot BB Onderzoek 3S Rekentoetswijzers Afnameperiodes Publicatie voorbeeldtoets 2014
AFNAMEPERIODES 2016? Na de voorjaarsvakantie (maart) en na de meivakantie tijdens de centrale examens (mei) Voor de voorjaarsvakantie (januari/februari) en mei Voor de voorjaarsvakantie en voor de meivakantie (april) Huidige afnameperiodes behouden Examensecr. (N=472) Docenten (N=140) 17,6 % 20,8 % 14,0 % 15,7 % 45,8 % 41,4 % 22,7 % 25,8 %