NEDERLANDS INSTITUUT VAN PSYCHOLOGEN Commissie Testaangelegenheden Nederland. Beoordeling van de AMN Eindtoets 2017, 2016

Transcriptie

1 COTAN NEDERLANDS INSTITUUT VAN PSYCHOLOGEN Commissie Testaangelegenheden Nederland Beoordeling van de AMN Eindtoets 2017, 2016 Beoordeling Uitgangspunten bij de testconstructie: Goed 2. Kwaliteit van het testmateriaal: Goed 3. Kwaliteit van de handleiding: Goed 4. Normen: Onvoldoende* 5. Betrouwbaarheid: Goed 1 6. Begripsvaliditeit: Voldoende 7. Criteriumvaliditeit: Onvoldoende* 1 Deze beoordeling betreft de betrouwbaarheid van de totale AMN Eindtoets 2017, de 1F-, 2F- en 1Sitems van Rekenen en de 1F-items van Taalverzorging. De betrouwbaarheid van de 1F- en 2F-items van Lezen en de 2F-items van Taalverzorging zijn als voldoende beoordeeld. *Reden bij onvoldoende : Onduidelijkheid over de gebruikte gegevens (en weging) voor de normen ten aanzien van de totaalscores. Meer informatie nodig over de totstandkoming van de totaalscore en de gehanteerde grensscores Geen. NB. De AMN Eindtoets 2017 is aanvullend beoordeeld op het aspect Normering referentieniveaus. Dit aspect is als voldoende beoordeeld.

2 TOELICHTING BIJ DE BEOORDELING AMN EINDTOETS 2017 Theoretische Uitgangspunten De AMN Eindtoets 2017 is een eindtoets voor leerlingen van groep 8 in het primair onderwijs. De toets bestaat uit de volgende drie wettelijk verplichte onderdelen; Taal-Lezen, Taal-Taalverzorging (zonder Grammatica ) en Rekenen. De inhoud van de toetsen is gebaseerd op de Algemene Toetswijzer van het College voor Toetsen en Examens en het Referentiekader taal en rekenen. In de Verantwoording worden toetsmatrijzen aangedragen over hoe de toetsen zijn opgebouwd. Er wordt informatie gegeven over zowel de opgenomen als afgevallen items. De functie van de AMN Eindtoets is zowel het geven van advies over het best passende onderwijstype in het voortgezet onderwijs als het vaststellen van het behaalde referentieniveau voor de drie toetsonderdelen. Het schooladvies op basis van de AMN Eindtoets is het zogenaamde tweede gegeven naast het schooladvies van de leerkracht. Het schooladvies van de leerkracht wordt alleen heroverwogen wanneer de toetsuitslag wijst op een hoger doorstroomniveau dan door de leerkracht aangegeven. In principe is de toets geschikt voor alle leerlingen uit groep 8, met uitzondering van de leerlingen die voldoen aan de omschrijving zoals vermeld in de wet hierover (o.a., leerlingen die minder dan 4 jaar in Nederland zijn en de Nederlandse taal onvoldoende beheersen of leerlingen met een IQ beneden 70, mits de IQ test binnen de afgelopen 2 jaar is afgenomen). Voor leerlingen met dyslexie is een versie beschikbaar die de leerlingen 25% meer tijd biedt, de inhoud is verder hetzelfde. Kwaliteit van het Testmateriaal Papier-en-potloodversie N.v.t. Computerversie De toetsopgaven zijn gestandaardiseerd wat betreft inhoud, vorm en volgorde en zijn vrij van kwetsende inhoud. Hoewel het overgrote gedeelte van de opgaven correct lijkt geformuleerd, vallen een aantal opgaven op. Bij de opgave over e-nummers van het onderdeel Lezen heeft de leerling onder meer de keus uit de antwoordalternatieven "dat voedsel veilig is" en dat "er geen schadelijke stoffen in voedsel zitten". Er staat echter alleen in de tekst dat e-nummers goedgekeurd zijn maar niet dat dit inhoudt dat ze veilig zijn. Er staat ook niet in de tekst dat e-nummers onveilig zijn of zelfs maar dat sommige mensen dat wel denken. Het is de vraag of dit een correct item is. Bij de opgave over Valentijnsdag van het onderdeel Lezen' kan een leerling kiezen of het verhaal meer gaat over de viering van die dag of de herkomst ervan. Strikt genomen gaat een paar regels meer over de herkomst. Toch lijken beiden antwoorden correct. Bij de vorige editie van deze toets had de COTAN de opmerking dat sommige opgaven bij de tekst over bandenplakken van het onderdeel Lezen door algemene kennis beantwoord kunnen worden en het lezen van het verhaal niet noodzakelijk is. Dergelijke opgaven staan ook in de 2017 versie. Bij de scoring wordt gebruik gemaakt van een geautomatiseerd scoringssysteem. Echter de manier waarop de gebruikersinterface is vormgegeven zou fouten in de hand kunnen werken, met name bij de onderdelen met teksten. De toetssoftware benut namelijk niet het gehele scherm, waardoor het noodzakelijk is te scrollen. Dit is mogelijk een extra cognitieve belasting en/of afleiding voor leerlingen, met name bij de opgaven waar gevraagd wordt naar uit hoeveel alinea s een tekst bestaat. De vraag en de tekst staan wel samen in beeld en als een antwoord gegeven wordt, krijgt de leerling een aanwijzing dat het antwoord gekozen is. De gebruikersinterface ziet er overigens mooi uit en is makkelijk te gebruiken. Sommige afbeeldingen zijn echter onduidelijk, zoals bij opgave 12 van het onderdeel Verbanden, of overbodig, zoals bij opgave 15 van het onderdeel Verhoudingen.

3 De leerlingen krijgen van de leerkracht instructies over het invullen van de toets en instructies op het scherm voor aanvang van de toets. De instructies op het scherm hebben alleen betrekking op het bedienen van de software. Toegang tot de toets wordt verschaft via een login code. De uitslagen worden via AMN verstrekt. De procedures worden in de handleiding duidelijk beschreven en een en ander lijkt op het oog veilig. Kwaliteit van de Handleiding De 'handleiding' bestaat in feite uit drie aparte documenten: Verantwoording, Praktische handleiding voor leerkrachten en Toetsreglement. In de Verantwoording staat beschreven waar de AMN Eindtoets voor gebruikt kan worden en er staat vermeld welke beperkingen er zijn voor leerlingen met specifieke behoeften en voor welke leerlingen de toets wel/niet geschikt is. Het document Praktische handleiding voor leerkrachten bevat voldoende aanwijzingen voor schooldirecteuren en leerkrachten als toetsleider. Hierin is ook aandacht voor de eisen die gesteld dienen te worden aan de toetsruimte. Er is geen specifieke mate van deskundigheid vereist voor afname en interpretatie van de AMN Eindtoets Er zijn voorbeeldrapportages beschikbaar. Hierbij wordt vermeld hoe de scores geïnterpreteerd moeten worden en wat er gedaan kan worden als het AMN schooladvies afwijkt van het advies van de leerkracht. Er wordt summier ingegaan op de rol van achtergrondvariabelen (zoals bijvoorbeeld faalangst) of toetservaring die bij de interpretatie van belang kunnen zijn. De afname verloopt via een vooraf te instaleren programma. In de praktische handleiding zijn daar instructies voor opgenomen. Tevens is een helpdesk op ruime tijden beschikbaar voor technische ondersteuning. Normen De normgegevens zijn verzameld in de periode van 1 maart tot en met 3 juni Bij de AMN Eindtoets is wat betreft de normering sprake van zowel normgerichte als criteriumgerichte interpretatie. Voor de normering ten aanzien van schooladvies worden op basis van totaalscores op de AMN Eindtoets grensscores vastgesteld voor de diverse schooltypen in het voortgezet onderwijs. Voor de normering ten aanzien van referentieniveaus wordt gewerkt met grensscores voor het wel of niet behalen van het betreffende referentieniveau. De volgende beschrijving dient als toelichting bij de beoordelingen van de normering ten aanzien van schooladvies, voor de normering ten aanzien van referentieniveaus staat de toelichting aan het einde van dit document onder Normering referentieniveaus. De normgroep die gebruikt wordt voor de normering ten aanzien van schooladvies bestaat uit 671 leerlingen. Voor een test voor belangrijke beslissingen op individueel niveau is deze steekproef groot genoeg. In de Verantwoording staat beschreven dat leerlingen uit de steekproef verwijderd zijn op basis van niet serieus mee doen. Die beslissing is gemaakt op basis van observaties van de leerkrachten en inspectie van de antwoordpatronen. Hoeveel leerlingen daardoor zijn verwijderd en waarom (d.w.z. op basis van welke criteria c.q. beslisregels) is onduidelijk. De representativiteit van de normgroep was in eerste instantie om meerdere redenen niet te beoordelen. In hun reactie is AMN ingegaan op de eerste reden, namelijk dat de gegevens die verstrekt worden ten behoeve van de representativiteit in de Verantwoording betrekking hebben op andere groepen leerlingen met een verschillend aantal (variërend van n = 472 tot n = 878) dan de groep waarvan schooladviesgegevens bekend zijn en die gebruikt worden voor de normering ten aanzien van schooladvies (n = 671). Dit door representativiteitsgegevens te rapporteren voor de normgroep van n = 671 (van 55 leerlingen ontbreekt informatie over hun geslacht en van 300 leerlingen ontbreken gegevens over herkomst) en door ook voor deze normgroep verschillen tussen groepen te en voor elke achtergrondvariabele. De normgroep bleek niet representatief voor de variabelen regio, verstedelijking en leerlinggewicht. Er werden verschillen in scores gevonden bij alle variabelen (d.w.z. regio, verstedelijking, geslacht, leerlinggewicht en herkomst); de gevonden verschillen voor geslacht en herkomst zijn in lijn met de literatuur. Er is daarom besloten weging, op basis van raking, toe te passen voor de variabelen regio, verstedelijking en leerlinggewicht. De

4 rakingsprocedure is echter niet uitgevoerd op de normgroep (n = 671), maar op een grotere groep (n = 722). De normen (d.w.z. uitgedrukt in de totaalscore) lijken dus niet gebaseerd op de normgroep, maar op een andere steekproef. Daarnaast is niet duidelijk tot welke (range van) wegingsfactoren dit heeft geleid. Bij de beschrijving van de normgroep geldt verder dat voor de variabele regio nog steeds gebruik wordt gemaakt van de indeling in drie regio s die het ministerie van OCW hanteert voor de schoolvakanties in plaats van de gebruikelijke indeling in vier regio s die het CBS hanteert. Bij de variabele herkomst worden alleen niet-westerse allochtonen en autochtonen vergeleken. AMN heeft laten weten dat de groep Westerse allochtonen in hun definitie hoort bij autochtonen. Overigens is het de vraag of de conclusie dat de steekproef representatief is wat betreft herkomst correct is, aangezien van 300 leerlingen gegevens over herkomst ontbreken. Alle scholen in Nederland zijn via de nieuwsbrief van DUO aangeschreven om mee te doen met het pilot van de AMN Eindtoets. Tevens zijn scholen geworven via advertenties in het tijdschrift PrimaOnderwijs en op onderwijsconferenties. De totaalscore op de AMN Eindtoets wordt uitgedrukt in een (percentiel)score met een range van 0 tot Middels een discriminantenanalyse met de drie scores op de onderdelen als voorspellende variabelen en het schooladvies op basis van de officieel afgenomen eindtoets als afhankelijke variabele is de (gestandaardiseerde) weging van de drie onderdelen voor het berekenen van de totaalscore bepaald (d.w.z..738 voor Rekenen,.192 voor Lezen en.391 voor Taalverzorging). Hoe men vervolgens van de totaalscores komt tot z-scores die worden omgezet tot de grensscores per schooltype, die uitgedrukt worden in percentielscores die vermenigvuldigd worden met tien om de uitslag in hele getallen te kunnen rapporteren, is onduidelijk. Het is hierbij bijvoorbeeld niet duidelijk of de totaalscores die omgezet worden in percentielscores of dat wel of niet z-scores zijn, maar vooral ook om hoe zijn de grensscores berekend/bepaald. Meer informatie hierover is nodig om dit type normering en de gehanteerde grensscores te kunnen beoordelen. In aanvullende informatie van AMN aan de COTAN worden gegevens verstrekt over de scoreverdeling van de totaalscores in de normgroep. Ook worden gegevens verstrekt over de verdeling van totaalscore per schooltype, alleen is het gebruik van het woord normgroep in de titel hierbij misleidend, er zijn immers geen aparte normen opgesteld voor ieder schooltype. N.B. De vermelde gegevens in Tabel 4 komen niet overeen met de informatie van het ministerie van OCW; de grens tussen Noord en Midden staat te hoog, tot en met Noord Holland (alle gemeenten) hoort nog bij de regio Noord. Betrouwbaarheid In Hoofdstuk 6 van de Verantwoording worden de betrouwbaarheidsgegevens gerapporteerd. De totaalscore op de AMN Eindtoets 2017 is het belangrijkst voor het geven van advies over type vervolgonderwijs en daarom is de totale toets beoordeeld als test voor belangrijke beslissingen op individueel niveau. Voor het bepalen van het behaalde referentieniveau per onderdeel zijn de scores op de 1F items, 2F items en/of 1S items apart het belangrijkst, deze toetsonderdelen zijn beoordeeld als test voor minder belangrijke beslissingen op individueel niveau. De gerapporteerde Guttmans lambda2 waarden zijn allemaal goed te noemen, met uitzondering van de hoogte van de coëfficiënten van de Lezen 1F en 2F items en Taalverzorging 2F items, die voldoende zijn. Tevens wordt de marginale betrouwbaarheid gerapporteerd, die berekend is op basis van het gehanteerde IRT model. De waarden zijn vergelijkbaar met de gerapporteerde waarden van Guttmans lambda2. Het is jammer dat gekozen is voor het rapporteren van de marginale betrouwbaarheid, aangezien dit een soort samenvattingsmaat is, terwijl IRT nu juist mogelijkheden biedt om de nauwkeurigheid gegeven theta weer te geven middels de testinformatiefunctie. Begripsvaliditeit In de Verantwoording worden op diverse plaatsen resultaten van en gerapporteerd ter ondersteuning van de begripsvaliditeit van de AMN Eindtoets 2017.

5 In Bijlage 3 worden voor alle items per onderdeel onder andere de item-rest correlaties gegeven. Deze zijn voor alle onderdelen voldoende tot goed te noemen. De unidimensionaliteit van elk onderdeel is onderzocht door te kijken naar de modelpassing van het gehanteerde 2-parameter logistisch model. De verschillende passingsmaten laten zien dat er voor Rekenen en Taal-Lezen gesproken kan worden van goede passing en voor Taal-Taalverzorging (op basis van de waarde van de TLI en de CFI) van adequate modelpassing. Er wordt niet ingegaan op de dimensionaliteit van de totaalscore bijvoorbeeld middels factoranalyse en ook ontbreekt informatie over de intercorrelaties tussen de onderdelen. Deze informatie zou bij kunnen dragen aan een completer beeld van de interne structuur van de AMN Eindtoets In Bijlage 3 worden ook de itemparameters voor alle items per onderdeel weergegeven. Het is onduidelijk waar deze informatie voor dient. Tevens ontbreekt informatie over de nauwkeurigheid van de itemparameterschattingen om de gegevens te kunnen beoordelen. In Hoofdstuk 6 is veel aandacht besteed aan DIF analyses met afnamevorm (PC vs Ipad), dyslexie, geslacht en herkomst als variabelen. De twaalf als DIF items aangemerkte items zijn uiteindelijk verwijderd uit de itemselectie. Uit de informatie in Bijlage 7 is af te leiden dat zoals verwacht mag worden dat de gemiddelde score per schooltype (in de bijlage wordt gesproken van normgroep, deze term werkt verwarrend omdat deze groepen niet als aparte normgroepen worden gebruikt) oploopt naarmate het schooladvies hoger wordt. Tevens is de relatie van het schooladvies op basis van de AMN Eindtoets 2017 vergeleken met zowel het schooladvies op basis van de officieel afgenomen eindtoets (n = 671) als het schooladvies door de leerkracht (n = 716). Uitgaande van een maximaal verschil van twee schoolniveaus ontvangen 90,6% van de leerlingen een vergelijkbaar schooladvies op de AMN Eindtoets 2017 en de officieel afgenomen eindtoets en ontvangen 88,1% van de leerlingen een vergelijkbaar schooladvies op de AMN Eindtoets en van de leerkracht. Uitgaande van een maximaal verschil van een schoolniveau gaat het om respectievelijk 73,0% en 67,7%. Criteriumvaliditeit Er is geen naar de criteriumvaliditeit uitgevoerd, wel wordt de intentie uitgesproken om uit te voeren naar het volgen van leerlingen in hun schoolloopbaan. Normering referentieniveaus Voor de normering ten aanzien van de referentieniveaus hebben 772 leerlingen naast de AMN Eindtoets 2017 tegelijkertijd ook een selectie van referentieset-items ingevuld. In het anker zijn voor Rekenen 16 1F-, 16 1S- en 16 2F-referentieset-items afgenomen, voor Taal-Lezen zijn 18 1F-items en 17 2F items afgenomen en voor Taal-Taalverzorging 15 1F- en 15 2F-items. Omdat bij de AMN Eindtoets de referentiecesuur per onderdeel per referentieniveau wordt overgebracht, wordt een minimum van 20 ankeritems geadviseerd. In Bijlage 6 wordt een overzicht gegeven van de gebruikte referentieset-items en een beschrijving van de kenmerken. In het algemeen lijken de referentieset-items representatief voor de inhoud van de toets en geschikt voor de doelpopulatie. Omdat de referentiesets ten tijde van het AMN anker publiek toegankelijk waren, dient onderzocht te worden in hoeverre de items zich hetzelfde gedragen als tijdens de headstart. AMN heeft in aanvullende informatie aan de COTAN gegevens verstrekt over de p-waarden van de gebruikte referentieset-items in zowel de steekproef die door het CvTE/Cito is gebruikt als de steekproef van AMN. Er werden verwaarloosbare verschillen gevonden. Tevens heeft AMN deelnemende scholen gevraagd of zij bekend zijn met de referentiesets Lezen en Rekenen en/of zij daarmee hebben geoefend. Geen van de deelnemende scholen gaf aan hiervan op de hoogte te zijn en te hebben geoefend. Dit bij elkaar maakt dat er geen aanwijzingen zijn dat de geselecteerde referentieset-items zich anders gedragen dan tijdens de headstart. In de Verantwoording staat op pagina 36 dat gekozen is voor een ankerdesign met extern anker, dat wil zeggen dat de referentieset-items en de AMN-items apart zijn afgenomen. AMN heeft aanvullend laten

6 weten dat de referentieset-items gemiddeld twee weken na de afname van de AMN Eindtoets zijn ingevuld. De gebruikte steekproef bestaat volledig uit leerlingen van de doelgroep. Bij de beschrijving van de gebruikte steekproef zijn niet van alle leerlingen alle achtergrondgegevens bekend, dit leidt tot een verschillend aantal leerlingen per achtergrondvariabele. Ook hier wordt voor de variabele regio gebruik wordt van de indeling in drie regio s die het ministerie van OCW hanteert voor de schoolvakanties in plaats van de gebruikelijke indeling in vier regio s die het CBS hanteert. Bij de variabele herkomst worden ook hier alleen niet-westerse allochtonen en autochtonen vergeleken. AMN heeft laten weten dat de groep Westerse allochtonen in hun definitie hoort bij autochtonen. Hierdoor kan niet worden nagegaan in hoeverre deze steekproef net zo representatief is als de normgroep. Hoewel dat bij de gebruikte equivaleringsmethode op basis van IRT iets minder nauw luistert, zou het inzichtelijk zijn als die gegevens wel gegeven worden. De gebruikte steekproef is met 772 groot genoeg. Er is gebruik gemaakt van IRT om de cesuur van de referentieset-items over te brengen op de betreffende items van de AMN Eindtoets Omdat de informatie hierover in de door de COTAN beoordeelde Verantwoording vrij summier was, heeft AMN aanvullende informatie geleverd. Daaruit blijkt dat de procedure correct is uitgevoerd. In de aanvullende informatie staat nu tevens expliciet vermeld dat de modelpassing van de referentieset-items en de AMN Eindtoets-items gezamenlijk is uitgevoerd. De modelpassingsmaten laten zien dat de passing van het gehanteerde IRT model goed te noemen is voor de referentieset-items per referentieniveau van de onderdelen Rekenen en Taal-Lezen en adequaat voor Taal-Taalverzorging. Gegevens over de meetnauwkeurigheid rondom de cesuur worden verstrekt, echter zonder toelichting en duiding. N.B. In Tabel 39 ontbreekt het aantal 1F items van het onderdeel Rekenen.

7 Kenmerk Fairness aspecten Fairness uitgevoerd? Aangegeven reden geen Testmateriaal Handleiding Normen Instructie Items Info over verschillen tussen groepen en interpretatie testscore Criteriumvaliditeit Representativiteit voor subgroepen Betrouwbaarheid Geslacht Ja Nvt Herkomst (etnisch-cultureel) Ja Nvt Leeftijd Nee Nee Afnamevorm (PC/ Ipad) Ja 7 Dyslexie Ja 8 Regio Ja 9 10 Verstedelijking Ja Leerling gewicht Ja Begripsvaliditeit Itembias Factorstructuur Toelichting: Verschillen in scores op de 3 onderdelen rekenen, lezen een taalverzorging zijn onderzocht. Meisjes scoorden significant hoger op Taalverzorging en lezen. 1 Dit is te verklaren vanuit de literatuur, daarom zijn hier verder geen consequenties aan verbonden. 2 Onderzocht of de steekproef representatief was betreft geslacht, dat bleek het geval voor de normeringssteekproef en de ankersteekproef. 3 DIF analyses uitgevoerd o.b.v. logistische regressie. Drie items die DIF vertoonden zijn uit de toets verwijderd. Verschillen in scores op de 3 onderdelen rekenen, lezen een taalverzorging onderzocht tussen niet-westerse allochtonen en autochtonen. Er is een verschil 4 gevonden op de score voor lezen die te verklaren is vanuit de literatuur. Daarom zijn hier verder geen consequenties aan verbonden. Onderzocht of de steekproef representatief was voor de populatie, gebaseerd op het onderscheid tussen niet-westerse allochtoon en autochtoon (aangezien 5 de percentages samen 100% zijn lijkt het dat westerse allochtonen onder autochtoon geschaard zijn). normeringssteekproef en de ankersteekproef. 6 DIF analyses uitgevoerd o.b.v. logistische regressie. 7 Items die DIF vertoonden zijn uit de toets verwijderd. 7 Er is DIF gevonden voor 1 item, dit item is uit de toets verwijderd. 8 Er is DIF gevonden voor 1 item, dit item is uit de toets verwijderd. Er werden significante verschillen gevonden tussen de regio's noord, midden en zuid op rekenen en lezen, waarbij midden steeds het hoogst scoort. Omdat 9 er ook verschillen in scores werden gevonden is een weging toegepast op de normeringssteekproef. De regio Zuid was ondervertegenwoordigd. 10 Onderzocht of de steekproef representatief was betreft regio, dat bleek niet het geval voor de normeringssteekproef en de ankersteekproef.

8 Vervolg fairness matrijs Fairness aspecten Kenmerk Fairness uitgevoerd? Aangegeven reden geen Testmateriaal Handleiding Normen Instructie Items Info over verschillen tussen groepen en interpretatie testscore Criteriumvaliditeit Representativiteit voor subgroepen Betrouwbaarheid Geslacht Ja Herkomst (etnisch-cultureel) Ja Leeftijd Nee Nee Afnamevorm (PC/ Ipad) Ja 7 Dyslexie Ja 8 Regio Ja 9 10 Verstedelijking Ja Leerling gewicht Ja Begripsvaliditeit Itembias Factorstructuur Toelichting: Verschillen in scores op de 3 onderdelen zijn onderzocht. Er werd een significant verband gevonden tussen de mate van verstedelijking en scores op 11 rekenen en taalverzorging. De normsteekproef bleek niet representatief wat betreft verstelijking. Omdat er ook verschillen in scores zijn gevonden, is een weging toegepast. Ook de 12 ankersteekproef bleek niet representatief. Weinig verstedelijkte gebieden waren oververtegenwoordigd. 13 Er was een significant verschil tussen leerlingen met verschillende leerlinggewichten voor alle 3 de onderdelen. Daar wordt inhoudelijk niets over gezegd. De normeringssteeproef was niet representatief wat betreft leerlinggewicht, daarom is een weging toegepast. Ook de ankersteekproef was niet 14 representatief.

9 MATERIAALVERANTWOORDING Deze beoordeling heeft betrekking op: AMN (2016). AMN Eindtoets. Wetenschappelijke en inhoudelijke verantwoording. Versie 1, juli Arnhem: AMN. AMN (2016). AMN Eindtoets. Praktische handleiding voor leerkrachten. Versie 1, juli Arnhem: AMN. AMN (2016). AMN Eindtoets. Toetsreglement juli Arnhem: AMN. Deze materialen zijn door de secretaris van de Expertgroep toetsen PO bij de COTAN aangeleverd op 29 juli Copyright Cotan documentatie , NIP/COTAN/de auteurs, p/a Boom test uitgevers, Amsterdam. Alle auteursrechten en databankrechten ten aanzien van de inhoud van deze uitgave worden uitdrukkelijk voorbehouden. Deze rechten berusten bij Boom test uitgevers c.q. de desbetreffende makers. Voor het overnemen, opslaan en verspreiden van (delen van) de inhoud en gebruik van de vormgeving, op welke wijze dan ook, dient u vooraf schriftelijke toestemming te hebben verkregen van de uitgever, behoudens beperkingen bij de wet gesteld. No part of this publication may be reproduced in any way whatsoever without the written permission of the publisher.