De mogelijkheden en consequenties van het werken met deelscores Eindrapport, mei 2015

Transcriptie

1 De mogelijkheden en consequenties van het werken met deelscores Eindrapport, mei 2015

2 Inhoudsopgave 1 Samenvatting Inleiding Expertmeeting De wenselijkheid om deelscores te hanteren De mogelijkheid om deelscores toe te kennen Conclusie van de experts Kwantitatief onderzoek Inleiding Methode Onderzoeksopzet voor de rekentoets Onderzoeksopzet voor het centraal examen wiskunde Uitkomstvariabelen Equivalente normering Samenhang Moeilijkheid Betrouwbaarheid Consistentie van de resultaten Resultaten Equivalente normering Samenhang Moeilijkheid Betrouwbaarheid Consistentie van de resultaten Conclusie Discussie en advies Bronnen Stichting Cito, Arnhem

3 1 Samenvatting Vanaf het schooljaar zal de rekentoets vo een verplicht eindexamenonderdeel zijn, dat meetelt in de slaag-/zakregeling. De toets is bedoeld om ervoor te zorgen dat kandidaten een basisniveau bij rekenen bereiken, de zogeheten referentieniveaus 2F en 3F. De commissie Bosker (2014) heeft onderzocht of de operationalisering van de referentieniveaus goed is en hoe deze verder verbeterd kan worden. Deze commissie adviseerde onder andere om de mogelijkheid en consequenties van het werken met deelscores te onderzoeken. Het onderzoek naar de mogelijkheden en consequenties van het werken met deelscores is tijdens de uitvoering opgesplitst in een kwalitatief onderdeel en een kwantitatief onderdeel. In het kwalitatieve onderdeel hebben nationale en internationale experts een oordeel gegeven over zowel de wenselijkheid als de mogelijkheid om te werken met deelscores binnen de rekentoetsen In het kwantitatief onderdeel zijn afnamegegevens van de rekentoets en het centraal examen wiskunde gebruikt om het effect van het toepassen van verschillende scoringsregels te onderzoeken. De experts hebben een oordeel gegeven over de gevolgen van het toekennen van verschillende scoringsregels voor een valide meting van rekenen. Aspecten die daarbij een rol spelen zijn het doel van de toets en de aspecten van het oplossingsproces van een opgave waarvoor men scorepunten toe wil kennen. Daarnaast hebben de experts ook een inschatting gemaakt van de technische implicaties die het toekennen van deelscores heeft binnen een digitale afname. Het tweede deel van het onderzoek betreft een analyse van scorepunten toekennen aan alleen het correcte eindantwoord, scorepunten toekennen aan vooraf gedefinieerde rekenstappen en scorepunten toekennen aan ieder eindantwoord dat een indicatie geeft van mogelijk correct uitgevoerde rekenstappen. Op basis van deze twee onderzoeken wordt geconcludeerd dat het werken met een scoringsregel die gebruik maakt van deelscores geen toegevoegde waarde heeft voor de rekentoets. De experts schatten in dat het toekennen van deelscores tot een minder valide meting leidt, maar ook dat een faire automatische toekenning van deelscores lastig te realiseren is. Ten slotte laat het kwantitatieve onderzoek zien dat kandidaten niet structureel worden bevoordeeld of benadeeld door gebruik te maken van verschillende scoringsregels. Stichting Cito, Arnhem

4 2 Inleiding Toetsen worden gebruikt om een uitspraak te kunnen doen over de kennis en vaardigheid van de kandidaten. In het geval van de rekentoets betreft dat de rekenvaardigheid. Een belangrijk element bij toetsconstructie is om ervoor zorg te dragen dat de interpretatie van de toetsscore leidt tot een correcte conclusie met betrekking tot de beheerste rekenvaardigheid (Kane, 2013). De evaluatie van de validiteit van een dergelijke uitspraak is complex en bevat vele elementen. Een van deze elementen is de wijze waarop de toetsscore tot stand komt, ook wel de scoringsregel genoemd. De scoringsregel beschrijft voor welke prestaties een kandidaat scorepunten krijgt toegewezen. In het geval van de rekentoets geldt dat scorepunten alleen worden toegekend voor een correct eindantwoord. De commissie Bosker (2014) heeft geadviseerd om nader te onderzoeken of het mogelijk is om te werken met deelscores. Onder deelscores wordt verstaan dat een kandidaat bij een fout antwoord toch een deel van de te behalen scorepunten kan verdienen. De scoringsregel kan op verschillende manieren worden uitgebreid. In dit onderzoek betrekken wij twee verschillende vormen van uitbreiding van de huidige scoringsregel, namelijk: scorepunten voor vooraf gedefinieerde rekenstappen; scorepunten voor eindantwoorden die een indicatie geven van mogelijk correct uitgevoerde rekenstappen. De commissie Bosker leek vooral aan de eerste mogelijkheid te refereren. Het idee achter deze scoringsregel is dat iedere kandidaat dezelfde rekenstappen uitvoert om tot het antwoord te komen, zodat er scorepunten kunnen worden toegekend aan correct uitgevoerde rekenstappen. Echter, de kandidaat is vrij om zelf een strategie te kiezen om tot een antwoord te komen. Momenteel wordt alleen het eindantwoord geregistreerd, waardoor niet te achterhalen is welke rekenstappen een kandidaat heeft uitgevoerd. Daarom wordt in dit onderzoek ook een oplossing meegenomen waarbij kandidaten wel eenvoudiger deelscorepunten kunnen behalen, maar waarvoor geen andere informatie geregistreerd hoeft te worden. Bepaalde foute eindantwoorden kunnen een indicatie geven van bepaalde gezette rekenstappen en getoonde rekenvaardigheid. Hierbij kan worden gedacht aan afrondingsfouten of delen door het verkeerde getal. Veel voorkomende foute antwoorden die wel getuigen van rekenvaardigheid krijgen dan een deelscore, bijvoorbeeld de helft van de maximaal te behalen score. De commissie Bosker vraagt expliciet om een onderzoek naar de mogelijkheid van het gebruiken van deelscores. Onderzocht moet worden wat de technische implicaties van het werken met een alternatieve scoringsregel zijn. Voor men zou besluiten tot het hanteren van een alternatieve scoringsregel zal er ook moeten worden verkend in welke mate het hanteren van een alternatieve scoringsregel wenselijk is. Met wenselijkheid wordt bedoeld of de verschillende scoringsregels tot een minstens even valide beslissing leiden met betrekking tot de meting van de beheersing van de rekenvaardigheid van de kandidaten. Hierbij zal ook worden meegenomen welke consequenties dit met zich meebrengt voor de uitslag op de rekentoets. De kern van het onderzoek is na te gaan wat het effect is van een scoringsregel op een eerlijke meting. Er is sprake van een eerlijke meting als een kandidaat die een voldoende hoog rekenniveau heeft ook daadwerkelijk voor de rekentoets slaagt en een kandidaat met een te laag rekenniveau ook daadwerkelijk voor de rekentoets zakt. Stichting Cito, Arnhem

5 De mogelijkheid en de wenselijkheid van het gebruik van deelscores zijn nader onderzocht door gebruik te maken van twee bronnen. De eerste bron van informatie is een expertmeeting over het automatisch scoren in het kader van de Diagnostische Tussentijdse Toets. Bij deze expertmeeting heeft ook een discussie plaatsgevonden over de mogelijkheid en de wenselijkheid van het hanteren van deelscores bij de rekentoetsen. De uitkomsten worden in dit rapport gepresenteerd. De tweede bron van informatie is een aanvullend kwantitatief onderzoek dat is uitgevoerd aan de hand van de rekentoets en het centrale examen wiskunde voor vmbo-bb. De voorgestelde alternatieve scoringsregels zijn toegepast op de afnamegegevens van deze toetsen en examens. Het resultaat geeft informatie en inzicht in de meetnauwkeurigheid en de eerlijkheid van de meting voor kandidaten op basis van de verschillende scoringsregels. De relevante resultaten uit de literatuurstudie worden in dit rapport nogmaals genoemd. Stichting Cito, Arnhem

6 3 Expertmeeting Cito en het College voor Toetsen en Examens (CvTE) hebben van 16 tot en met 18 februari 2015 een expertmeeting over automatisch scoren en het gebruik van deelscores bij rekenen/wiskunde georganiseerd. Bij deze expertmeeting waren verschillende nationale en internationale experts aanwezig. Zij hebben vanuit wetenschappelijk en vakinhoudelijk perspectief een bijdrage geleverd aan de discussie over de mogelijkheid en wenselijkheid van het automatisch beoordelen van tussenstappen. In het rapport Automatische beoordeling van wiskunde (Drijvers en van Reeuwijk, 2015) staan de opbrengsten van deze expertmeeting beschreven. In deze paragrafen zetten we de belangrijkste discussiepunten die bij de expertmeeting ter sprake zijn gekomen op een rij en werken we deze in meer detail uit. De belangrijkste aspecten hierbij waren: het definiëren van scoringsregels vanuit het de interpretatie van de toetsscore (conform Kane, 2013), een verkenning van verschillende methoden om rekenstappen te beoordelen, en een beschouwing van de technische implicaties van het beoordelen van rekenstappen. Stichting Cito, Arnhem

7 4 De wenselijkheid om deelscores te hanteren Toetsen kunnen verschillende doelen dienen. Zo bestaan er toetsen waarbij de ontwikkeling van leerlingen wordt gevolgd over de tijd, toetsen om een advies te geven over het vervolgonderwijs, toetsen om te gebruiken als diagnostisch instrument en toetsen om een einduitspraak te doen over een succesvolle afronding van een opleiding. Bij examinering van de referentieniveaus taal en rekenen (commissie Meijerink, 2008) is het doel om vast te stellen of de kandidaten voldoen aan de eisen die horen bij het betreffende referentieniveau. Het doel van de toets is een belangrijk criterium voor de te hanteren scoringsregel. Bij de rekentoetsen wordt vastgesteld of een kandidaat over voldoende rekenvaardigheid beschikt of een referentieniveau beheerst. De experts oordeelden dat het toekennen van deelscores beter past bij diagnostische instrumenten (formatieve toetsen) dan bij toetsen die medebepalend zijn voor het behalen van het diploma (summatieve toetsen). Een diagnostisch instrument heeft tot doel zicht te krijgen op het proces om tot het antwoord op de gestelde vraag te komen. Een docent wil dus informatie krijgen over welke stappen een leerling zet om tot een correct eindantwoord te komen wel en welke stappen niet door de leerling worden beheerst. Het toekennen van scorepunten aan iedere stap die correct is beantwoord, geeft dus relevante informatie voor de docent. Dit rechtvaardigt de keuze om voor het correct uitvoeren van tussenstappen scores toe te kennen. De afzonderlijke tussenstappen zijn informatief voor het leerproces. De rekentoetsen zijn echter summatief van aard. De rekentoetsen zullen vanaf het schooljaar invloed hebben op het behalen van een diploma. Bij een dergelijke zakslaagbeslissing staat de kennis die een kandidaat bezit over de examenstof, centraal. De primaire interesse is dan ook of de examenstof wordt beheerst en dus wordt primair getoetst of een kandidaat tot het juiste eindantwoord komt. Bij een summatieve toets is het minder van belang te weten hoe een kandidaat tot het correcte antwoord komt. Bij summatieve toetsen is het uitsluitend scorepunten toekennen aan het eindantwoord meer gerechtvaardigd en gebruikelijk. Er zijn in de examenpraktijk uitzonderingen te vinden. Bij sommige centrale examens wordt een deel van de scorepunten toegekend voor tussenstappen die correct zijn uitgevoerd, zoals bij de centrale examens wiskunde Bij toetsen van wiskunde is de belangrijkste component het correct volgen van een procedure om tot het antwoord te komen en wordt dus ook de oplossingsprocedure (het hoe) beoordeeld. Kandidaten moeten laten zien dat ze een bepaalde oplossingsprocedure beheersen. Als gevolg daarvan is het valide om de relevante tussenstappen van scorepunten te voorzien. Iedere correct uitgevoerde tussenstap is immers een deel van de procedure. De informatie met betrekking tot hoe goed een kandidaat in staat was om de juiste procedure te volgen, zou worden gemist als alleen een correct eindantwoord punten zou opleveren. Het toekennen van deelscores is dus ook bij de centrale examens wiskunde verenigbaar met het toetsdoel. Er is in het bovenstaande een kader geschetst van situaties waarin deelscores worden toegekend aan kandidaten. Vanuit dit kader kan ook worden nagegaan of bij de rekentoetsen het gebruik van deelscores verdedigbaar is. De contexten beschrijven praktijksituaties waarbij rekenvaardigheid vereist is om de gepresenteerde vraag op te lossen. De score moet geïnterpreteerd kunnen worden als de vaardigheid van een kandidaat om in een dergelijke praktijksituatie een juiste beslissing te Stichting Cito, Arnhem

8 nemen. De correcte beslissing hangt direct samen met het eindantwoord. Als het eindantwoord niet klopt, is het aannemelijk dat de uiteindelijke conclusie ook onjuist is. Bijvoorbeeld, bij het berekenen van het aantal benodigde tegels om de achtertuin te bestraten, maakt een kandidaat een rekenfout door met een factor 10 teveel te rekenen. Er is dus slechts een kleine rekenfout gemaakt, maar de kandidaat blijft in de praktijk wel met teveel tegels achter. Kleine rekenfouten kunnen dus grote consequenties hebben. Het doel van de opgaven in de rekentoets is te komen tot het correcte antwoord en de wijze waarop (het hoe, het proces) is daaraan ondergeschikt. Stichting Cito, Arnhem

9 5 De mogelijkheid om deelscores toe te kennen In de inleiding zijn twee wijzen van het toepassen van deelscores beschreven. De experts hebben zich vooral verdiept in de mogelijkheid om scorepunten toe te kennen aan tussenstappen. Een voorwaarde bij het toekennen van scores aan tussenstappen is dat registratie van deze tussenstappen noodzakelijk is. Tijdens de expertmeeting zijn twee verschillende wijzen van registratie verkend en beschouwd in het licht van de huidige rekentoets. De eerste manier is om kandidaten zelf de tussenstappen te laten uitschrijven en die ook digitaal in te laten voeren. De tweede manier is om bij kandidaten de verschillende tussenstappen om tot het eindantwoord te komen expliciet te bevragen en de kandidaat deze specifieke stappen uit te laten voeren. Beide manieren van scoretoekenning van tussenstappen leiden echter tot problemen. De eerste manier houdt geen rekening met onverwachte oplossingsstrategieën, de tweede manier toets alleen de kleine stapjes en niet of de kandidaat het gehele proces overziet en zelfstandig de stappen van het oplossingsproces kan zetten. In de literatuur (Ashton et al. 2006) worden ook hybride oplossingen aangeboden die de kandidaat zelf een optie geven om de tussenvragen te tonen. Door deze optie te kiezen kan een kandidaat niet meer het maximale aantal scorepunten voor de betreffende vraag krijgen. Bij de meeste rekenvragen zijn er meerdere methoden en strategieën om tot het goede antwoord te komen. Het maakt niet uit hoe kandidaten tot het goede eindantwoord komen, als ze het goede eindantwoord maar invoeren. Het is vooraf niet te voorspellen welke aanpak een willekeurige kandidaat kiest en dus welke tussenstappen de kandidaat neemt om tot het eindantwoord te komen. In het eerste scenario worden de uit te voeren tussenstappen niet expliciet voorgeschreven. Dat kandidaten via een andere route tot het eindantwoord kunnen komen, werkt complicerend voor het waarderen van tussenstappen. Niet iedere tussenstap hoeft door elke kandidaat genomen te zijn. De ene kandidaat bereikt het antwoord in minder stappen dan de andere kandidaat, of de kandidaat gebruikt heel andere stappen. Voorschrijven voor welke tussenstappen een scorepunt wordt toegekend is dus complex. Er moet altijd een arbitraire beslissing genomen worden met betrekking tot welke stappen een of meerdere scorepunten waard zijn. Daarbij loopt men het risico dat een kandidaat met een meer creatieve, maar correcte, strategie geen scorepunten voor tussenstappen verdient doordat deze oplossingsstrategie niet vooraf is voorzien. De oplossing voor de complexiteit van het scoren van door kandidaten uitgevoerde tussenstappen is de verschillende tussenstappen aan de kandidaten te presenteren door het stellen van deelvragen. De kandidaat hoeft dan enkel nog de getoonde deelvragen correct te beantwoorden zonder zelf een rekenstrategie te bedenken. Bij realistische en authentieke contextopgaven worden deze tussenvragen niet aangeboden. Als je in de toets dit soort tussenvragen wel stelt, zou het toetsdoel ook aangepast moeten worden. Het toetsdoel van de rekentoets is om na te gaan of kandidaten realistische vraagstukken zelfstandig kunnen oplossen. Door het stellen van de tussenvragen komt de validiteit in het geding. De rekentoets geeft dan te weinig informatie over een belangrijk aspect van wat beoogd wordt getoetst te worden, namelijk het zelfstandig op kunnen lossen van een probleem. In de praktijk krijgen kandidaten geen informatie over de te ondernemen stappen om tot het gewenste antwoord te komen. Een van de doelen van de vragen in de rekentoets is dat kandidaten moeten laten zien dat zij een goede aanpak hanteren om tot het eindantwoord te komen. Een scoringsregel gebaseerd op het scoren van een of meerdere vooraf getoonde deelvragen past niet bij dit doel. Stichting Cito, Arnhem

10 6 Conclusie van de experts De experts oordeelden dat het niet wenselijk is om de scoretoekenning bij de rekentoetsen te baseren op scorepunten voor correct uitgevoerde tussenstappen. Omdat de rekentoets een summatieve toets is waarbij vooral het eindantwoord als relevant toetsproduct wordt beschouwd, is de huidige wijze van scoretoekenning, namelijk alleen een scorepunt voor een correct eindantwoord, het best passend bij de rekentoets. De experts stelden daarnaast vast dat het beoordelen van tussenstappen technisch lastig te realiseren is. Een eerlijke en automatische beoordeling van tussenstappen is zeer complex om te realiseren. Daarom is de mogelijkheid verkend om iedere tussenstap in de vorm van een deelvraag aan de kandidaat voor te leggen. Dat wordt echter gezien als een te grote inbreuk op het beoogde karakter van de rekentoets. Stichting Cito, Arnhem

11 7 Kwantitatief onderzoek 7.1 Inleiding Bij de rekentoets kunnen kandidaten alleen scorepunten halen voor een correct eindantwoord. De experts oordeelden dat er serieuze kanttekeningen te plaatsen zijn bij zowel de wenselijkheid als de mogelijkheid om te werken met deelscores in de vorm van scorepunten toekennen aan correct uitgevoerde tussenstappen. Het uitgangspunt van het tweede deel van het onderzoek is de vraag of een betreffende scoringsregel wenselijke informatie geeft met betrekking tot de uiteindelijke beslissing die men bij een toets wil nemen (Kane, 2013). Bij veel betrokkenen docenten heerst het gevoel dat het oneerlijk is om een kandidaat die enige rekenvaardigheid heeft getoond bij een rekenvraag, geen enkel scorepunt toe te kennen. In deze paragraaf staat de vraag naar het effect van verschillende scoringsregels voor de kandidaat centraal. Als uitgangspunt worden de drie scoringsregels die in de inleiding zijn besproken nader onderzocht, namelijk: scorepunt voor het correcte eindantwoord; scorepunten voor vooraf gedefinieerde rekenstappen; en scorepunten voor eindantwoorden die een indicatie geven van correct uitgevoerde rekenstappen Dit deel van het onderzoek richt zich op de verschillen in het gebruik van deze scoringsregels. Een scoringsregel kan immers een effect hebben op het percentage van de kandidaten dat slaagt voor een toets, de nauwkeurigheid van de vaststelling van het rekenniveau, en de consistentie van de meting van de prestaties van de kandidaten. De eerste twee bovenstaande scoringsregels worden toegepast in respectievelijk de rekentoets en de centrale examens wiskunde. Daarom kunnen de afnamegegevens van deze toetsen en examens worden gebruikt voor dit onderzoek. Bij de rekentoets worden tussenstappen niet geregistreerd, waardoor bij die toets alleen de laatste scoringsregel is toe te passen. Bij de centrale examens wiskunde worden tussenstappen wel geregistreerd. Daardoor kan scoring van de tussenstappen worden vergeleken met scoring van alleen het eindantwoord. Het centrale examen wiskunde voor vmbo-bb is het meest geschikt voor dit onderzoek, omdat dit examen inhoudelijk de meeste overeenkomsten heeft met de rekentoets. Het onderzoek bestaat uit twee deelonderzoeken: 1. Bij de rekentoets wordt het toekennen van scorepunten aan een correct eindantwoord vergeleken met het toekennen van scorepunten aan alle eindantwoorden die een indicatie geven van correct uitgevoerde rekenstappen. 2. Bij het centraal examen wiskunde voor vmbo-bb wordt het toekennen van scorepunten aan tussenstappen vergeleken met het toekennen van scorepunten aan vooraf gedefinieerde rekenstappen. De onderzoeken hebben allebei het toekennen van scorepunten aan het correcte eindantwoord als vertrekpunt. Hier is voor gekozen omdat deze scoringsregel de huidige standaard is bij de rekentoetsen. Zodoende wordt inzicht verkregen in hoe de alternatieve scoringsregels zich verhouden ten opzichte van scoring van het eindantwoord. In het vervolg wordt uiteengezet hoe het onderzoek is uitgevoerd en wat de resultaten en conclusies zijn die daaruit volgen. Stichting Cito, Arnhem

12 7.2 Methode Eerst wordt beschreven welk materiaal van de rekentoetsen en de centrale examens wiskunde voor dit onderzoek is gebruikt. Vervolgens wordt voor beide onderzoeken beschreven welke uitkomstvariabelen worden meegenomen. Er is gekozen voor dezelfde uitkomstvariabelen voor beide onderzoeken, zodat de resultaten tussen beide onderzoeken beter te vergelijken zijn. 7.3 Onderzoeksopzet voor de rekentoets Voor het eerste deel van het onderzoek is de voorbeeldtoets van de rekentoets vo 3F tijdvak 1 uit 2013 als vertrekpunt genomen. De meest frequente antwoorden voor deze toets zijn uitvoerig beschreven in de foutenanalyse (Cito, 2014). In deze analyse zijn alle antwoorden die door meer dan 1% van de kandidaten gegeven zijn, geanalyseerd, om in kaart te brengen wat de meest gemaakte fouten zijn door de kandidaten. Omdat deze vragen uitvoerig zijn geanalyseerd, is het relatief eenvoudig om daaruit de antwoorden te selecteren die mogelijk duiden op enige relevante rekenvaardigheid. De voorbeeldtoets is een verzameling opgaven die niet als variant in de afname heeft gefigureerd. Er is wel een variant waarin 42 van de vragen uit de voorbeeldtoets voorkwamen. De afnamegegevens van deze variant zijn gebruikt bij de analyse. De afnamegegevens van de hierboven genoemde 42 vragen uit de voorbeeldtoets zijn geanalyseerd en voor dit onderzoek beschouwd alsof dit een werkelijke toetsvariant is geweest. Dat betekent dat er op basis van deze 42 vragen ook een zak-slaaggrens is vastgesteld. De toetslengte van de rekentoets vo was in het schooljaar vragen. Daarvan zijn er dus in totaal 42 vragen geselecteerd die door havo- en vwo-kandidaten zijn gemaakt, alsmede 18 andere vragen die niet in dit onderzoek zijn meegenomen. De resultaten van deze analyses worden in dit onderzoek beschouwd onder de noemer van een scoringsregel waarbij kandidaten alleen een scorepunt krijgen voor een correct eindantwoord. Op dezelfde 42 vragen zijn de afnamegegevens opnieuw geanalyseerd, maar dan met de scoringsregel dat kandidaten 0, 1 of 2 scorepunten per vraag kunnen krijgen. Voor sommige vragen zijn foute antwoorden geselecteerd die toch één scorepunt krijgen. Het oordeel of een bepaald fout antwoord een scorepunt verdient, is gegeven door een inhoudelijk expert. Hierbij moet de kanttekening gemaakt worden dat dit een inschatting is ten behoeve van dit onderzoek. Mocht een dergelijke scoringsregel in praktijk gebracht worden, dan moet er nog worden geïnvesteerd in het bepalen van objectieve regels voor het toekennen van een scorepunt aan een fout antwoord. 7.4 Onderzoeksopzet voor het centraal examen wiskunde Bij het centrale examen wiskunde voor vmbo-bb worden tussenstappen geregistreerd en kunnen kandidaten ook daadwerkelijk scorepunten krijgen voor correct uitgevoerde tussenstappen. Voor dit onderzoek is de toetsvariant 1a van het centrale examen in tijdvak 1 uit 2014 als uitgangspunt genomen. De toetsvariant bestaat uit 23 vragen waarvoor kandidaten maximaal 54 scorepunten konden krijgen. Deze toetsvariant is door 2763 vmbo-bb kandidaten gemaakt. De gepubliceerde normering voor deze variant is de basis voor dit onderzoek. Dit betreft immers de daadwerkelijke normering zoals deze in juni 2014 is vastgesteld. Ten behoeve van het onderzoek zijn de afnamegegevens van deze toetsvariant opnieuw geanalyseerd. De scorepunten zijn voor deze nieuwe analyse aangepast volgens de scoringsregel dat alleen het correcte eindantwoord een scorepunt oplevert. Deze herscoring van de afnamegegevens Stichting Cito, Arnhem

13 volgt het algoritme dat als een kandidaat de maximale score op een vraag heeft, de kandidaat een scorepunt krijgt; anders krijgt de kandidaat geen scorepunt. Stichting Cito, Arnhem

14 8 Uitkomstvariabelen 8.1 Equivalente normering In ieder onderzoek krijgt een kandidaat twee toetsscores; de oorspronkelijke toetsscore zoals gehanteerd op de rekentoets of het centrale examen wiskunde en een nieuw geconstrueerde toetsscore, zoals beschreven in de onderzoeksopzet hierboven. De officiële normering is gebaseerd op de oorspronkelijke toetsscore en moet worden overgebracht op de nieuw geconstrueerde toetsscores. Bij het equivaleren van de normering is het belangrijk om onderscheid te maken tussen de moeilijkheid van de toets en de vaardigheid van de kandidaat. Toetskenmerken, zoals de moeilijkheid, zijn verschillend per toetsvariant en ook voor de verschillende scoringsregels. De vaardigheid van de kandidaat is echter constant. Verandering van de scoringsregel leidt er niet toe dat de kandidaat beter of slechter kan rekenen. Er zijn veel methoden beschikbaar om te equivaleren (Kolen en Brennan, 2004). Dit onderzoek betreft echter een relatief eenvoudige equivalering, omdat het dezelfde kandidaten betreft die dezelfde vragen maken. Er is voor gekozen om een lineaire linkfunctie (Kolen en Brennan, 2004; Holland, Dorans, en Petersen, 2007) toe te passen. De lineaire linkfunctie is een regressieanalyse waarbij de nieuw geconstrueerde toetsscore wordt voorspeld op basis van de oorspronkelijke toetsscore, waarvan/waarbij ook de normering bekend is. Het resultaat van deze analyse is dat beide toetsscores direct aan elkaar kunnen worden gerelateerd. Daarmee kan bijvoorbeeld het minimale aantal scorepunten voor een voldoende op de oorspronkelijke scoringsregel worden overgebracht naar een minimaal aantal scorepunten op de nieuwe scoringsregel. Deze analyses vormen het uitgangspunt van de volgende uitkomstvariabelen: samenhang tussen oorspronkelijke en nieuwe scoringsregels, verschil in moeilijkheid, verschil in betrouwbaarheid en consistentie van de resultaten. 8.2 Samenhang De samenhang tussen de toetsscores die op twee verschillende scoringsregels zijn gebaseerd, wordt uitgedrukt door middel van een correlatie. De correlatie heeft als interpretatie dan een waarde van 1 betekent dat een score volgens de ene scoringsregel een perfecte indicatie is van een score op de andere scoringsregel. Een correlatie van 0 betekent dat er geen samenhang tussen de scoringsregels is. Een hoge correlatie is een indicatie dat er weinig verschillen zullen zijn tussen de toegepaste scoringsregels. 8.3 Moeilijkheid Moeilijkheid wordt in dit onderzoek uitgedrukt als het gemiddeld aantal behaalde scorepunten gedeeld door het maximaal te behalen aantal scorepunten. In het algemeen geldt dat het moeilijker is om scorepunten te verdienen als alleen het correcte eindantwoord een scorepunt oplevert. De alternatieve scoringsregels leiden tot een toets waarvoor meer scorepunten te verdienen zijn. Echter, dit betekent nietdit betekent echter niet dat het ook eenvoudiger is om een voldoende te halen voor de toets. 8.4 Betrouwbaarheid Bij iedere toets of examen is de betrouwbaarheid een belangrijke maat om te evalueren wat de meetkwaliteit van de toets of examen is. Als een kandidaat een nieuwe toets aflegt, behaalt de kandidaat niet exact dezelfde score. Dat komt omdat iedere toets een bepaalde mate van Stichting Cito, Arnhem

15 onnauwkeurigheid heeft. Soms geeft de toets een overschatting van de vaardigheid en soms geeft de toets een onderschatting van de vaardigheid. De betrouwbaarheid kwantificeert hoe goed de kandidaten kunnen worden geordend met betrekking tot hun vaardigheid. Hoe hoger de betrouwbaarheid, hoe nauwkeuriger de meting. De maximale betrouwbaarheid is 1, wat betekent dat de vaardigheid van een kandidaat perfect betrouwbaar wordt gemeten. Over het algemeen geldt dat hoe meer scorepunten er verdiend kunnen worden, hoe groter de betrouwbaarheid is. Er is dan immers meer informatie beschikbaar om de kandidaten correct te ordenen met betrekking tot hun vaardigheid. De verwachting is dus dat de alternatieve scoringsregels leiden tot een betrouwbaardere toets dan de scoringsregel waarbij alleen het correcte eindantwoord een scorepunt oplevert. 8.5 Consistentie van de resultaten Op basis van de equivalente normering die wordt verkregen, worden de kandidaten met iedere scoringsregel geclassificeerd in een groep die een voldoende haalt en een groep die een onvoldoende haalt. Daardoor ontstaat een kruistabel die inzicht geeft in het effect dat de scoringsregels hebben voor de kandidaten. Dit overzicht geeft ook direct antwoord op de vraag of kandidaten benadeeld worden doordat zij alleen scorepunten krijgen voor het correcte eindantwoord. Stichting Cito, Arnhem

16 9 Resultaten 9.1 Equivalente normering Door middel van een lineaire linkfunctie is de normering zoals deze bij de oorspronkelijke scoringsregel is toegepast, overgebracht op dezelfde afnamegegevens met de andere scoringsregel. Bij de rekentoets geldt dat wanneer een kandidaat op 25 van de 39 vragen het correcte eindantwoord geeft, deze kandidaat voldoet aan het referentieniveau rekenen 3F. Dat betekent dus dat 64,1% van de vragen correct moet worden beantwoord. Als de alternatieve scoringsregel, waarbij ook foute eindantwoorden die een indicatie vormen van de rekenvaardigheid een scorepunt krijgen, wordt gehanteerd, dan geldt dat wanneer een kandidaat 52 van de 78 scorepunten behaalt, deze kandidaat voldoet aan het referentieniveau rekenen 3F. Dat komt neer op 66,7% van het totaal aantal te behalen scorepunten. De consequentie van deze zak-slaaggrenzen is dat 46,2% van de kandidaten slaagt bij de oorspronkelijke scoringsregel en 44,9% van de kandidaten slaagt bij de alternatieve scoringsregel. Bij het centraal examen wiskunde luidt de oorspronkelijke scoringsregel dat aan iedere correct uitgevoerde tussenstap een scorepunt wordt toegekend. Kandidaten krijgen een voldoende wanneer zij 23 van de 54 scorepunten hebben behaald. Dit betekent dat 42,6% van alle scorepunten behaald moet worden om te slagen voor het examen. Wanneer de scoringsregel dat alleen het correcte eindantwoord een scorepunt oplevert, wordt toegepast, dan is het benodigde aantal correcte vragen 8 van de 23, oftewel 34,8% van het totaal. Een kandidaat heeft dan dus beduidend minder vragen goed nodig. De consequentie van deze zak-slaaggrenzen is dat 83,9% van de kandidaten slaagt bij de oorspronkelijke scoringsregel en 85,3% van de kandidaten slaagt bij de alternatieve scoringsregel. 9.2 Samenhang Kandidaten krijgen een toetsscore door twee verschillende scoringsregels. De correlatie tussen de twee scoringsregels is bij de rekentoets 0,996 en bij het centraal examen wiskunde 0,944. Met name bij de rekentoets is de correlatie zó hoog dat er weinig verschil is tussen beide scoringsregels. Bij het centraal examen wiskunde is de correlatie weliswaar iets lager, maar nog steeds hoog te noemen. Dat betekent voor beide toetsen dat kandidaten die een groot aantal scorepunten halen door middel van een alternatieve scoringsregel, ook veel scorepunten halen als alleen voor het eindantwoord scorepunten kunnen worden verdiend. 9.3 Moeilijkheid De moeilijkheid van de toets wordt uitgedrukt als het percentage van het totaal aantal scorepunten dat wordt behaald. Tabel 1 geeft een overzicht van de gevonden percentages. Voor beide onderzoeken geldt dat er relatief meer scorepunten worden gehaald door de alternatieve scoringsregels. Bij het toekennen van scorepunten aan correct uitgevoerde tussenstappen is het verschil groot te noemen. Voor het onderzoek bij de rekentoets geldt dat de kandidaten gemiddeld niet veel meer scorepunten krijgen door ook foute antwoorden die een indicatie geven van rekenvaardigheid, goed te rekenen. Stichting Cito, Arnhem

17 Tabel 1. Vergelijking van moeilijkheid bij de verschillende scoringregels Scoringsregel Rekentoets CE Wiskunde Eindantwoord 60,2% 50% Tussenstappen - 58,3% Indicatie rekenvaardigheid 62,4% Betrouwbaarheid Meer scorepunten zou in principe een hogere betrouwbaarheid moeten opleveren. Tabel 2 laat zien dat de toename in betrouwbaarheid niet erg groot is. Voor de rekentoets is het verwaarloosbaar met een toename van 0,006. Voor het centraal examen wiskunde is de toename iets groter. Het gaat hierbij echter om 54 scorepunten die te behalen zijn met tussenstappen en slechts 23 scorepunten met alleen het eindantwoord. Met behulp van de Spearman-Brownformule kan worden geschat wat de betrouwbaarheid zou zijn als we 54 vragen zouden hebben waarbij alleen het correcte eindantwoord een scorepunt oplevert. De schatting die daaruit volgt is 0,873. Deze betrouwbaarheid ligt dus behoorlijk hoger dan 0,788 op basis van de tussenstappen. Tabel 2. Vergelijking van de betrouwbaarheid bij de verschillende scoringsregels Scoringsregel Rekentoets CE Wiskunde Eindantwoord 0,859 0,745 Tussenstappen - 0,788 Indicatie rekenvaardigheid 0, Consistentie van de resultaten De kandidaten worden beoordeeld volgens twee verschillende scoringsregels. Een kruistabel van de resultaten voor de twee scoringsregels geeft inzicht in de verschillende beslissingen die voor kandidaten genomen kunnen worden. Tabel 3 geeft een overzicht van het percentage kandidaten voor wie de beslissing met betrekking tot een voldoende of een onvoldoende anders zou uitvallen. Bij de rekentoets geldt dat voor 97,1% van de kandidaten het geen verschil maakt welke scoringsregel wordt toegepast. Bij het centrale examen wiskunde is dit het geval voor 93,6%. Voor veruit de meerderheid van de kandidaten leidt de scoringsregel dus tot dezelfde beslissing. Tabel 3. Percentage kandidaten dat voordeel heeft van de verschillende scoringsregels Scoringsregel Rekentoets CE Wiskunde Eindantwoord 2,1% 3,9% Tussenstappen - 2,5% Indicatie rekenvaardigheid 0,8% - Daarnaast valt op dat in deze onderzoeken er meer kandidaten baat hebben bij alleen een scorepunt voor het goede antwoord dan als er ook een scorepunt voor een fout eindantwoord wordt gegeven. Het foute eindantwoord is daarbij indicatief voor rekenvaardigheid omdat er tussenstappen gemaakt zijn die mogelijk duiden op het correct gebruik van rekenvaardigheden. Stichting Cito, Arnhem

18 9.6 ConclusieResultaten Er zijn drie verschillende scoringsregels geanalyseerd. Om dit mogelijk te maken zijn analyses op twee verschillende toetsen uitgevoerd. De scoringsregel waarin alleen de correcte eindantwoorden een scorepunt krijgen, is de benchmark ten opzichte waarvan de twee alternatieve scoringsregels kunnen worden afgezet. Beide onderzoeken tonen aan dat het weliswaar eenvoudiger is om scorepunten te behalen met een alternatieve scoringsregel, maar dat ook het aantal benodigde scorepunten om voor de toets of het examen te slagen hoger ligt. Het effect van de laatste scoringsregel? is iets groter, resulterend in een iets lager percentage kandidaten dat voor de toets slaagt. Dit is ook terug te zien in Tabel 3. Bij beide onderzoeken zijn er meer kandidaten die nadeel hebben van een alternatieve scoringsregel dan kandidaten die er voordeel van hebben, maar uit tabel 3 blijkt dat er meer kandidaten voordeel hebben bij de scoringsregel zoals gehanteerd bij de rekentoets. De betrouwbaarheid van de alternatieve scoringsregels is niet veel hoger dan bij de scoringsregel van de rekentoets. Dat betekent dat de scorepunten op basis van het correcte eindantwoord veel informatie bevatten met betrekking tot de rekenvaardigheid van kandidaten. De alternatieve scoringsregels geven enige extra informatie, maar dit is relatief verwaarloosbaar. Uit het onderzoek bij de rekentoets is de behaalde winst in betrouwbaarheid miniem. Echter, ook uit het onderzoek bij het centraal examen wiskunde blijkt dat de winst in betrouwbaarheid veel minder is dan verwacht wordt op basis van de hoeveelheid extra scorepunten die worden uitgereikt. De alternatieve scoringsregels leiden niet tot een beter meetinstrument. De beslissingen hebben vergelijkbare, maar geen betere, kwaliteit dan de huidige scoringsregel in de rekentoets. Deze onderzoeken geven dus geen ondersteuning voor het gevoel dat kandidaten worden benadeeld doordat zij alleen scorepunten kunnen verdienen voor het correcte eindantwoord. Er zijn geen of weinigweinig tot geen kandidaten die veel punten bij elkaar sprokkelen met goed uitgevoerde tussenstappen, maar waarvan het eindantwoord vaak fout is. Dat zou immers de groep kandidaten zijn voor wie alleen scorepunten toekennen aan een correct eindantwoord nadelig zou zijn. Toekennen van scorepunten voor alleen het correcte eindantwoord is zelfs voor meer kandidaten positief dan negatief. Een mogelijke verklaring hiervoor is dat kandidaten minder tijd en moeite besteden aan vragen waarvan ze op voorhand inschatten dat deze te ingewikkeld voor hen zijn. Daardoor lopen ze misschien ook de spaarzame punten mis die ze door een alternatieve scoringsregel wel zouden kunnen behalen. Een onderzoek op basis van twee toetsen is niet te generaliseren. Wellicht dat dit effect voor andere onderzoeken net de andere kant uit zou vallen. Er zal meer onderzoek moeten plaatsvinden om deze hypothese nader te evalueren. 9.7 Discussie Conclusie en advies In dit onderzoek zijn de mogelijkheid en de wenselijkheid om te werken met deelscores vanuit verschillende invalshoeken verkend. Om in de toekomst te werken met het scoren van tussenstappen bij de rekentoets moeten er grote stappen gezet worden. De eenvoudigste manier om met tussenstappen te werken is door de vragen op te splitsen in deelvragen die door de kandidaten moeten worden beantwoord. Het oordeel van nationale en internationale experts is echter dat het gebruik van deelvragen een te grote inbreuk is op het toetsdoel. Daarom wordt deze methode als onwenselijk beschouwd. De beste optie om met deelscores te werken in het kader van de rekentoets is om kandidaten zelf de tussenstappen te laten uitwerken. Hoewel ook deze optie niet goed aansluit Stichting Cito, Arnhem

19 bij de rekentoetsen, is deze optie aantrekkelijker en beter passend bij het doel van de rekentoets omdat de kandidaat zelf de route moet bepalen om tot het eindantwoord te komen. Het grootste probleem met deze wijze van scoretoekenning is echter dat kandidaten op meer dan één manier tot het eindantwoord kunnen komen. Als men de eis loslaat om de tussenstappen automatisch te scoren, dan kan het toekennen van deelscores ook worden gerealiseerd door docenten de scorepunten aan de antwoorden en de daarbij gebruikte berekening (tussenstappen) te laten toekennen. Deze mogelijkheid zorgt er echter voor dat er hogere kosten en een langere tijd tussen afname en rapportage nodig zal zijn. Het is de vraag of er zoveel tijd en moeite moet worden gestoken in een alternatieve scoringsregel die door de experts niet als optimaal passend bij de rekentoets wordt beschouwd. Het kwantitatieve onderzoek waarbij alternatieve scoringsregels zijn onderzocht bij de rekentoets en het centraal examen wiskunde voor vmbo-bb, toont aan dat kandidaten niet worden benadeeld doordat zij alleen scorepunten krijgen voor het correcte eindantwoord. Er zijn zelfs meer kandidaten voor wie de scoringsregel van de rekentoets tot een positiever resultaat leidt. Voor de ordening van de kandidaten en de zak-slaagbeslissing maakt het voor de meeste kandidaten geen verschil welke wijze van scoretoekenning wordt toegepast. Een toets waarbij alleen het correcte eindantwoord een scorepunt oplevert, zal over het algemeen als moeilijker worden ervaren, omdat het lastiger is om een scorepunt te verdienen. Dit negatieve effect wordt echter ruimschoots gecompenseerd doordat er vervolgens minder scorepunten behaald hoeven te worden om te slagen voor de toets. De verschillende bronnen die in dit onderzoek worden beschouwd, schetsen het beeld dat het invoeren van deelscores in de rekentoets lastig te realiseren is, dat het niet wenselijk is om een juiste beslissing over de vaardigheid van de kandidaten te nemen en dat het niet nadelig is voor de kandidaten die de toets maken. Uit deze overwegingen volgt dat de huidige scoringsregel met alleen scorepunten voor het correcte eindantwoord passend is voor de rekentoets. Stichting Cito, Arnhem

20 10 Bronnen Ashton, H. S., Beevers, C. E., Korabinski, A. A., & Youngson, M. A. (2006). Incorporating partial credit in computer-aided assessment of mathematics in secondary education. British Journal of Educational Technology, 37, Cito (2014). Foutenanalyse rekentoets 3F voortgezet onderwijs. Weergave en analyse foutieve antwoorden voorbeeldtoets 3F Commissie Bosker (2014). Advies over de uitwerking van de referentieniveaus 2F en 3F voor rekenen in toetsen en examens. SLO Commissie Meijerink (2008). Over de drempels met taal en rekenen. Eindrapportage van de expertgroep doorlopende leerlijn taal en rekenen. Drijvers, P., & van Reeuwijk, M. (2015). Automatische beoordeling van wiskunde. Rapportage expertmeeting Arnhem, februari Cito en College voor Toetsen en Examens (CvTE). Holland, P. W., Dorans, N. J., & Petersen, N. S. (2007). Equating test scores. In C. R. Rao & S. Sinharay (Eds.), Handbook of statistics: Psychometrics (pp ). Amsterdam, Netherlands: Elsevier. Kane, M. T. (2013). Validating the interpretation and uses of test scores. Journal of Educational Measurement, 50, 1-73 Kolen, M. J., & Brennan R. L. (2004). Test equating, linking and scaling: Methods and practices, 2nd ed. Springer-Verlag, New York. Stichting Cito, Arnhem