Doelbewuste kwaliteit van toetsen doelbewust getoetst. Theo Eggen NVE Conferentie November 2013

Maat: px

Weergave met pagina beginnen:

Download "Doelbewuste kwaliteit van toetsen doelbewust getoetst. Theo Eggen NVE Conferentie November 2013"

Rebecca Anna van Dam
7 jaren geleden
Aantal bezoeken:

1 Doelbewuste kwaliteit van toetsen doelbewust getoetst Theo Eggen NVE Conferentie November 2013

2 Inleiding Kwaliteit van toetsen is belangrijk 17 miljoen experts of een aantal professionals? Wat maakt kwaliteit van toetsen complex? - Toetsen gaat over niet direct waarneembare eigenschappen - Verschillende doelen van toetsen - Verschillen tussen sectoren - Verschillende begrippen en terminologie - Verschillende rollen in het toetsproces

4 Inhoudsopgave Definitie en aspecten van kwaliteit Doelen van toetsen Beoordelen kwaliteit van toetsen Beoordelingssystemen Verbeteringen van de kwaliteit(sbeoordeling)

5 Definitie kwaliteit Kwaliteit is de mate waarin iets voldoet voor het gebruik voor een specifiek doel. Wat zijn de specificaties?. Wat doet het?

6 Wat is kwaliteit? Wat kun je met kwaliteit? B Beoordelen Bewijzen Borgen Bewaken

7 Wat is kwaliteit? P Product Proces Personeel Publiek Wat zijn de belangrijkste indicatoren?

8 Wat is kwaliteit? 4*B en 4*P Wat kun je met kwaliteit? B Beoordelen Bewijzen Borgen Bewaken P Product Proces Personeel Publiek Wat zijn de indicatoren?

9 Wat is kwaliteit?

10 Doelen van toetsen in onderwijs (Sanders,2010) Toetsen voor het beoordelen van personen Toetsen voor het beoordelen van groepen leerlingen studenten en scholen Toetsen voor het beoordelen van schoolsystemen

11 Doelen van toetsen van personen Summatieve toetsen: Assessment of learning Formatieve toetsen: Assessment to support learning

12 Functie van summatieve toetsing Selectie: voor de toelating tot een opleiding, numerus clausus Plaatsing: voor het plaatsen in remediërende of excellente programma's (leiden tot hetzelfde diploma meestal binnen school) Classificatie: voor het toewijzen aan verschillende opleidingen, schooltypen (leiden tot verschillende diploma s) Certificering : voor het toekennen van certificaat om een beroep te mogen uitvoeren of het verkrijgen van een diploma van een opleiding

13 Toetsen voor ondersteuning onderwijs 1. Assessment for learning (AFL) - b.v toetsen in de dagelijkse klaspraktijk; Cobals b.v. Rekentuin ( 2. Diagnostisch toetsen (DT) - toetsen met gedetailleerde informatie over het leren; b.v Rupp, Templin, Henson (2010) 3. Opbrengstgericht werken (DBDM) - ter ondersteuning van de leerkracht in de klas: b.v o.a. leerlingvolgsystemen 13

14 Beoordeling van kwaliteit van toetsen toetskwaliteitsbeoordelingssystemen 1) Standards for Educational and Psychological testing (AERA, APA, NCME)

15 Standards for Educational and Psychological Testing Part I: Test Construction, Evaluation, and Documentation 1. Validity 2. Reliability and Errors of Measurement 3. Test Development and Revision 4. Scales, Norms, and Score Comparability 5. Test Administration, Scoring, and Reporting 6. Supporting Documentation for Tests Part II: Fairness in Testing 7. Fairness in Testing and Test Use 8. The Rights and Responsibilities of Test Takers 9. Testing Individuals of Diverse Linguistic Backgrounds 10. Testing Individuals with Disabilities Part III: Testing Applications 11. The Responsibilities of Test Users 12. Psychological Testing and Assessment 13. Educational Testing and Assessment 14. Testing in Employment and Credentialing 15. Testing in Program Evaluation and Public Policy

16 Beoordeling van kwaliteit van toetsen toetskwaliteitsbeoordelingssystemen 1) Standards for Educational and Psychological testing (AERA, APA, NCME) 2) EFPA Review model for the description and evaluation of psychological tests 3) International Guidelines for Test Use (ITC) 4) Student evaluation standards (JCSEE) 5) European framework of standards for educational assessment (AEA-Europe) 6) ETS Standards 7) Cambridge approach 8) Beoordelingssysteem voor de kwaliteit van tests (COTAN) 9) Standaarden examenkwaliteit MBO (Inspectie) 10) RCEC beoordelingskader voor kwaliteit van toetsen en examens 11) Kwaliteitscriteria voor competentie assessment programma s (Baartman) 12) Kwaliteitspiamide voor eigentijds toetsen (Joosten-ten Brinke & Sluijsmans)

17 OBJECT Product Ontwikkelproces Test Toets Standaard Programma AERA, e.a. 2. EFPA 3. ITC 4. JCSEE 5. AEA-Europe 6. ETS 7. Cambridge 8. COTAN 9. Inspectie MBO 10. RCEC 11. CAP: Baartman 12. Piramide: JTB&S Klas 17

18 Type Criteria (waar je op moet letten) Richtlijnen Standaarden (wat je kunt doen) (wat je zou moeten doen) Beoordelingsinstrumenten (geeft een beoordeling)

19 Beoordelingsinstrumenten TYPE Standaarden Richtlijnen Criteria AERA, e.a. 2. EFPA 3. ITC 4. JCSEE 5. AEA-Europe 6. ETS 7. Cambridge 8. COTAN 9. Inspectie MBO 10. RCEC 11. CAP: Baartman 12. Piramide: JTB&S 19

20 Kwaliteitsbeoordelingsystemen in NL

21 Sector Verantwoording TOETSEN Toetsen/examens IN NEDERLAND Beoordelingssystemen Po Ocw OCW (CVE) Instellingen Lwoo-pro-verwijzing Referentieniveaus(Centrale Eindtoets) Cito Eindtoets, volg- systemen, etc Cotan (verplicht)!? Cotan (aanbieder),??? Vo OCW (CVE) Instellingen OCW(CVE) Landelijke examens Schoolexamen Volgsysteem, diversen Referentieniveaus (Rekentoets vo) Diagnostisch tussentijdse toets!??? (proef cito/inspectie) Cotan,???!?!? Mbo OCW(CVE) Referentieniveaus (Rekentoets vo; COExamens rekenen, taal, engels)!? Instellingen Andere examens Eigen toetsen of in samenwerking Inspectie MBO Baartman-??? criteria Ho Ver. hogescholen Instellingen Entree toetsen pabo 10vdL Kennisbasis Eigen toetsen of in samenwerking Cotan (wiscat),???? /Piramide???- criteria Niet regulier Instellingen, bedrijven, Eigen toetsen en examens???- criteria 21

23 CVE werkwijze ( Syllabuscommissie Vak commissie: specificatie van examen Toets constructie (Cito) Examen afname Vaststelling normering op basis van analyse resultaten Analyse resultaten: examenverslag Tevredenheidsonderzoek betrokkenen

24 CVE werkwijze Enkele kenmerken Procedureel: deskundige inbreng op alle niveaus In alle fasen sterke betrokkenheid stakeholders Veel informatie voor alle betrokkenen Geen standaarden (formele communicatiekanaal aan scholen) (alles over de normering van de examens) entrale_examens/examenverslagen.aspx

26 Gebruik COTAN systeem Uitgevers die toetsen maken voor LWOO en PrO verwijzing Uitgevers die hoge kwaliteit nastreven en kunnen leveren Ook beoordelingen op verzoek van gebruikers

27 Gebruik COTAN systeem Waarom niet? kritiek Nadruk op kwaliteit van één meting bij één individu Minder geschikt voor - toetsdoelen - toetsvormen Te psychometrisch van aard Te hoge kwaliteitseisen Te grote mate van deskundigheid nodig Te veel werk

28 Betrouwbaarheid Percentage niet-consistente beslissing Betrouwbaarheid % zakken 0,5 0,6 0,7 0,8 0,

29 RCEC Onderzoek aspecten die inzicht in kwaliteit bevorderen Ontwikkelen beoordelingskader voor toetsen en examens Ontwikkeling van kwaliteitscriteria en standaarden voor speciale toetsvormen (Multimediale praktijktoets, De Klerk, 2013) Ontwikkeling van software ter ondersteuning van kwaliteitsbeoordeling (Wools, 2014)

30 RCEC beoordelingskader 1. Doel en gebruik 2. Kwaliteit van het materiaal 3. Representativiteit 4. Betrouwbaarheid 5. Cesuur en handhaving 6. Afname en beveiliging

31 Kwaliteitssysteem (i.o. Wools, 2014) Systeem voor het opbouwen van een van kwaliteitsportefolio voor toetsen, toetsprogramma Past bij alle bestaande beoordelingssystemen Kwaliteit wordt aangetoond en is gebaseerd op argument based approach voor valideren Tijdens toetsconstructie verzamelen van analytisch bewijs In validatie onderzoek zoeken naar empirische evidentie Samen geven deze argumenten voor aspecten van kwaliteit

32 Conclusies Kwaliteit van toetsen en examens is van eminent belang; de grote aandacht hiervoor is terecht Kwaliteit van toetsen is complex door verschillende doelen van toetsen, door verschillende tradities, opvattingen in de verschillende onderwijs sectoren, en door verschillende rollen van betrokkenen Kwaliteitseisen van toetsen worden in sterke mate bepaald door de specifieke doelen van toetsen Kwaliteit kan en wordt in Nederland in verschillende mate en op zeer verschillende manieren vastgesteld en beoordeeld Bestaande professioneel ontwikkelde beoordelingssystemen worden niet gebruikt voor de beoordeling van veel examens met groot civiel effect. Van veel toetsen is de kwaliteit onbekend De deskundigheid om kwaliteit te beoordelen is niet triviaal

33 Dank voor uw aandacht Informatie:

Vergelijkbare documenten

Toetskwaliteit is jouw verantwoordelijkheid. Bernard Veldkamp en Theo Eggen Conferentie Servicepunt examinering mbo Maart 2014

Toetskwaliteit is jouw verantwoordelijkheid Bernard Veldkamp en Theo Eggen Conferentie Servicepunt examinering mbo Maart 2014 Inleiding Kwaliteit van toetsen is belangrijk 17 miljoen experts of een aantal