Handreiking bij het opstellen van toetsmatrijs en schoolexamens vmbo groen GL KB BB
Inhoudsopgave Vooraf 3 Van start met de formats 3 Aan de slag: in 6 stappen op weg naar een kwalitatief goed S.E. 4 Aanvullende tips en bronnen 8 Bijlage A Voorbeeld format toetsmatrijs 10 Bijlage B Format toetsmatrijs 11 Bijlage C Format schoolexamen praktijk 12 Bijlage D Format schoolexamen theorie 17 2
Vooraf Wat is dit? Dit is een handreiking bij het format voor de toetsmatrijs en het format voor de schoolexamens vmbo groen (bijlage A t/m D). Deze handreiking adviseert u bij de constructie van een schoolexamen (S.E.). U denkt na over toetsdoelen, passende toets en vraagvormen en weging. Het geeft geen informatie over een juiste formulering van toetsvragen of over de validiteit en betrouwbaarheid van een toets. Met deze handreiking geven wij dus geen blauwdruk voor uw S.E.. Uw eigen doelen, wensen, creativiteit en (onderwijskundige) visie en die van uw school bepalen de uiteindelijke invulling van uw S.E.. Hoe werkt het? De handreiking leidt u stap voor stap langs een aantal onderdelen en vragen die van belang zijn bij het construeren van een S.E. volgens het format toetsmatrijs (bijlage A). Als u deze stappen in volgorde doorloopt, zorgt u ervoor dat u over alle elementen nadenkt en deze op het juiste moment in de toetsmatrijs en het S.E. verwerkt. Wat levert het mij op? Een ingevulde toetsmatrijs die overeenkomt met de indeling die het College voor Examens heeft vastgesteld voor de beroepsgerichte vakken (met o.a. een indeling van vragen in kennis, algemene beroepsvaardigheden en specifieke beroepsvaardigheden (zie bijlage A). Hiermee zorgt u dat uw schoolexamen in lijn is met het CSPE. Een schoolexamen dat zowel qua samenstelling, normering als vraagstelling evenwichtig is opgebouwd in relatie tot het examenprogramma. Uitgangspunten bij het format voor de toetsmatrijs en het schoolexamen Het maken van een PTA is wettelijk verplicht. Het beschrijft welke onderdelen en eindtermen van het examenprogramma in het schoolexamen getoetst worden. Bij het maken van een schoolexamen is het PTA dus altijd leidend. We sluiten in deze handreiking zoveel mogelijk aan bij de resultaten van het AOC Raad project Kwaliteit staat buiten kijf. Met name het daarbinnen ontwikkelde Referentiekader VMBO groen en de De Toetscyclus: handvat voor integraal toetsbeleid zijn gebruikt. Van start met de formats Om u optimaal te ondersteunen bij het maken van een schoolexamen bieden we verschillende documenten, zowel lege formats als voorbeelden. 1. Format toetsmatrijs. Ingevuld wordt dit de blauwdruk van de toets. Hierin bakent u af wat de verhouding is tussen de inhoud weging verhouding van de stof in de toets. Het zijn de grenzen van de toets. In de bijlagen vindt u: A. Voorbeeld ingevuld format toetsmatrijs 3
B. Format toetsmatrijs (leeg) 2. Het format voor het schoolexamen. Hierin komen zowel de toetsitems als de scoreverdeling te staan. In de bijlagen vindt u: C. Format schoolexamen praktijk D. Format schoolexamen theorie Deze bijlagen kunt u op de website van het project Schoolexamen vmbo groen 1 ook downloaden als worddocument. Daarnaast zijn op de site verschillende voorbeeldtoetsmatrijzen en bijbehorende voorbeeldschoolexamens te vinden. Ook vindt u daarbij correctiemodellen die als voorbeeld kunnen dienen voor het maken van een correctiemodel. Deze voorbeeld schoolexamens zijn ook als volwaardig schoolexamen in te zetten. Aan de slag: in 6 stappen op weg naar een kwalitatief goed S.E. Om een toetsmatrijs en bijbehorend schoolexamen te ontwikkelen conform de ontwikkelde formats (en daarmee conform de kwaliteitseisen) doorloopt u de volgende stappen: stap 6 Analyse en evaluatie S.E. stap 1 Toetsdoelen Stap 5 Afname S.E. stap 2 Voorwaarden en afbakening (toetsmatrijs) stap 4 Selectie en verdeling van toetsitems stap 3 Formuleren en controleren toetsitems Elke stap is onderderverdeeld in een aantal vragen. 1 http://toetsplaza.nl/schoolexamens/ 4
Stap 1: Bepaal uw toetsdoelen 1. Welke inhoudelijke onderwerpen van het examenprogramma wilt u toetsen? Dit zijn de eindtermen van het examenprogramma of de zelfgekozen doelen van uw lessen. Stap 2: Bepaal uw voorwaarden en baken uw toets af 2. Wilt u een afzonderlijk theorie en praktijkexamen of een gecombineerd examen zoals het CSPE? 3. Welke kennis, algemene (ABV) en specifieke beroepsvaardigheden (SBV) wilt u dat de leerling laat zien? a. Kennis heeft betrekking op feiten en begrippen (overeenkomstig indeling taxonomiecodes Romiszowski). b. ABV zijn voornamelijk gebaseerd op LB/K/2 eindtermen, dit zijn de competenties (aspecten gericht op het proces die toetsbaar zijn). Onder ABV worden ook verstaan: rekenvaardigheden, tabellen aflezen, hoofd en bijzaken. c. SBV hebben betrekking op het praktische handelen van de leerling binnen een bepaald vakgebied, het toepassen van kennis. Aspecten die meer gericht zijn op het resultaat (i.t.t. op het proces). 4. In welke verhouding wilt u de gekozen onderwerpen aftoetsen? Een belangrijk onderdeel moet in de toets een groter aandeel hebben door meer en/of zwaarder wegende vragen. 5. Probeer de verhouding van K, ABV en SBV voor de theorie en praktijkschoolexamens samen ongeveer te houden op de verhouding zoals bij het CSPE gehanteerd 2 : a. Voor GL respectievelijk 25%; 50% en 25%. b. Voor KB respectievelijk 20%; 50% en 30% c. Voor BB respectievelijk 15%; 50% en 35% 6. Hoeveel tijd wilt u beschikbaar stellen voor het schoolexamen? Verwerk nu de keuzes die u heeft gemaakt bij vraag 1 t/m 6 in het format toetsmatrijs (bijlage B). In bijlage A vindt u hiervoor aanvullende aanwijzingen. Stap 3: Formuleer en controleer de toetsitems Formuleer nu de toetsitems over de onderwerpen die u wilt toetsen. Gebruik hiervoor bijlage C (format S.E. praktijk) of D (format S.E. theorie). Hierbij controleert u elk toetsitem dat u maakt met de volgende zeven vragen (nog beter is het om dit ook door een collega te laten doen): 7. Meet het door u geformuleerde toetsitem (inclusief beoogd antwoord) wat u wilt meten? 8. Is er voldoende overeenkomst tussen het S.E. en de groene (beroeps)praktijk? 9. Past de vraagvorm bij het toetsdoel van het toetsitem? 2 Houd hierbij een mogelijke afwijking van max. 5% aan 5
10. Sluit het toetsitem aan bij het taalgebruik en het referentieniveau/de leerweg van de kandidaat (zie Referentiekader VMBO groen). 11. Zijn het toetsitem en het bijbehorende antwoord correct en eenduidig geformuleerd? 12. Acht u de de leerling in staat om het toetsitem binnen de totaal beschikbare tijd te beantwoorden/uit te voeren? 13. Heeft u de benodigdheden bij elk toetsitem vermeld? Stap 4: Maak een selectie uit de geformuleerde toetsitems 14. Welke toetsitems hebben een hoge moeilijkheidsgraad en welke een lage? Maak een rangorde. 15. Hoeveel punten wilt u aan een goed antwoord/ uitvoering van elk toetsitem toekennen? Zet deze voor elk toetsitem in het S.E.. Vul de totalen in in de rij Totaal aantal punten theorie/praktijktoets en streep door wat niet van toepassing is (theorie of praktijk). 16. Hoe is de scoreverdeling met betrekking tot a. de verhouding K, ABV, SBV conform de standaard voor resp. GL/KB/BB? (Zie bijlage A en vraag 5) b. de verdeling van de onderwerpen c. de variatie in moeilijkheidsgraad d. de variatie in vraagvormen e. de beschikbare tijd die u vooraf had bepaald? 17. Is het nodig op basis van vraag 14 t/m 16 toetsitems te verwijderen dan wel nieuwe te schrijven? Zo ja, begin weer bij stap 3. 18. Vul de laatste twee rijen in van de toetsmatrijs. a. Totaal aantal punten theorie en praktijk: Tel de punten van rij Totaal aantal punten theorie/praktijk S.E. op met de punten die in de toetsmatrijs van het andere praktijk/theorie S.E. staan in dezelfde rij. 3 b. Totaal percentage theorie en praktijk: Bereken de percentages op basis van de totaalscores van de rij Totaal aantal punten theorie en praktijk. Deze moeten ongeveer uitkomen op een verdeling van percentages zoals vermeld in voorbeeld format toetsmatrijs (bijlage A) en vraag 5. 19. Maak een definitieve selectie van toetsitems en zet deze en de scorepunten in document D en/of E. 20. Zorg dat de opmaak overzichtelijk en duidelijk is. Vul het toetsvoorblad van het S.E. in. Maak het bijbehorende correctiemodel (bijv. o.b.v. het correctiemodel van een voorbeeld S.E.). In het correctiemodel staat per toetsitem aangegeven wat de maximumscore is en hoe bij een mogelijke score van >1 punten, de punten onderverdeeld zijn. Het is belangrijk een correctiemodel 3 De verhoudingen zoals benoemd bij vraag 5 gelden voor een praktijk en theorie S.E. samen, daarom combineert u in deze rij de scores van beide S.E. s en berekent u op basis hiervan de percentages. 6
te hebben om de betrouwbaarheid van het S.E. te kunnen waarborgen. Indien van toepassing kunt u ook een leerling en/of beoordelaarsinstructie maken. Bepaal de (voorlopige) cesuur (grens voldoende/onvoldoende). Schrijf dit op in de vorm van.. punten, bijv.: 19 punten.afhankelijk van uw situatie kunt u kiezen voor absolute cesuurbepaling vooraf aan de afname van het schoolexamen of voor relatieve cesuurbepaling na afname van het schoolexamen. 4 Vul aan de hand van het ingevulde format de toetsmatrijs (document A) volledig in. De toetsmatrijs is op basis van vraag 1 t/m 6 deels gevuld. Stap 5: Neem het schoolexamen af 21. Is de examenset compleet? a. Toetsmatrijs van theorie en/of praktijkexamen b. Theorie en/of praktijkexamen c. Correctievoorschrift 22. Neem het S.E. af. Stap 6: Analyseer en evaleer het afgenomen schoolexamen 23. Wat is de gemiddelde score van het S.E.? 24. Hoeveel voldoendes/onvoldoendes waren er? 25. Is het S.E. te lang/te kort/precies lang genoeg? 26. Zijn er toetsitems die te moeilijk of te makkelijk waren heeft iedereen een bepaald toetsitem goed of juist fout gemaakt (mate van discriminatie van een toetsitem)? 27. Moet de cesuur aangepast worden? 28. Heeft het S.E. gemeten wat ik wilde meten? 29. Is er voldoende variatie in moeilijkheidsgraad? 30. Maken de toetsitems voldoende onderscheid tussen vaardige en minder vaardige leerlingen? 31. Is er voldoende variatie in vraagvormen van toetsitems? 32. Is de inhoud gevarieerd genoeg (voldoet de toets aan de toetsdoelen)? 33. Is de opmaak van het S.E. overzichtelijk en duidelijk? Wanneer op één van de vragen 23 t/m 33 nee geantwoord wordt, pas het S.E. aan. 4 Bij absolute cesuurbepaling wordt de grens onvoldoende/voldoende vooraf vastgesteld zonder rekening te houden met de uiteindelijke resulaten van leerlingen. Bij relatieve cesuurbepaling wordt op basis van resultaten van leerlingen de grens onvoldoende/voldoende bepaald, bijvoorbeeld als men als doel heeft dat 80% van de leerlingen een voldoende moet behalen. 7
Aanvullende tips en Bronnen Tips Maak het schoolexamen niet alleen, laat het tegenlezen door uw vakgroep of bijvoorbeeld uw collega Nederlands. Test het S.E. Pas kwaliteitscriteria toe, zie Bronnen Kwaliteit. Pas juiste Referentieniveaus Taal en Rekenen toe op toetsitems. Gebruik icoontjes voor bijvoorbeeld een rekenvraag, computeropdracht etc. Gebruik passende vraagvormen bij het toetsdoel van de toetsitem: open vs. gesloten vragen, casusvragen, meerkeuze vragen, luistervragen, mondeling, schriftelijke of praktische opdrachten. Richtlijn is dat 80% van de leerlingen moet het schoolexamen in 80% van de tijd moet kunnen maken. Bronnen Kaders: Examenprogramma s vmbo landbouw: www.examenblad.nl Referentiekader VMBO groen (profielen leerlingen van verschillende leerwegen: Referentiekader VMBO groen Analyse CSPE t.a.v. de 3 leerwegen : http://vbgscholen.nl/wpcontent/uploads/2012/04/aoc Ra_PDF_Handreiking VMBO gro.pdf Handvatten voor integraal toetsbeleid: De Toetscyclus: handvat voor integraal toetsbeleid Referentieniveaus taal en rekenen: http://www.taalenrekenen.nl/ref_niveaus_taal/ Toetsconstructie: Overzicht vraagvormen/vraagtypen: http://www.cito.nl/static/oenw/ttb/beglist1.htm#vraagtype Toetsen op school Voortgezet onderwijs: http://www.cito.nl/~/media/cito_nl/files/onderzoek%20en%20wetenschap/cito_toetsen_o p_school_vo.ashx Construeren van een praktijktoets: http://toetswijzer.kennisnet.nl/html/toetsenopschool/hoofdstuk8.pdf Construeren van open vragen: http://195.169.48.3/html/literatuur/openvraag.pdf Construeren van gesloten vragen: http://toetswijzer.kennisnet.nl/html/toetsenopschool/hoofdstuk6.pdf Tips voor het formuleren van meerkeuzevragen: http://www.schoolexamensvo.nl/fileadmin/contentelementen/kennisnet/schoolexamensvo /Maatschappijleer/Tips formuleren meerkeuzevragen.pdf Bepalen van cesuur, hoofdstuk 7 van: http://www2.cito.nl/vo/share/begrippen%20uit%20de%20tia.pdf 8
Uitleg begrippen rondom toetsing: http://www.cito.nl/onderzoek%20en%20wetenschap/kenniscentrum/begrippenlijst.aspx Kwaliteit Checklist vaststellen schoolexamen (bijlage 7, p.70 in De Toetscyclus: handvat voor integraal toetsbeleid ) Checklist kwaliteitscriteria project Schoolexamens vmbo groen 5 Algemene informatie over toetsing: www.cito.nl http://toetswijzer.kennisnet.nl/main.asp?sector=vo CITO toetswijzer www.cve.nl 5 http://www.toetsplaza.nl/pages/schoolexamens/kwaliteitscriteria.php 9
Bijlage A Voorbeeld format toetsmatrijs Neem Bijlage de B toetscode over uit het PTA Naam school Vul het betreffende leerjaar in Noteer de cesuur TOETSMATRIJS Logo school Vul hier de tijdsduur van de toets in (6) Vul hier de toetsvorm (theorie en/of praktijk) in, gebruik de afkortingen van jouw instelling (2) Vak : Landbouwbreed Leerweg : Gemengde leerweg (GL) Toetscode : Cito voorbeeldexamen Toetsduur : 90 minuten Thema Recreatie/Groen/Verzorging Leerjaar : Toetsvorm : Praktijk Cesuur : Examen enheid LB/K/3 Ruimte LB/K/4 Landschap en omgeving Inhoud Gedrag Weging Nummer van vragen/opdrachten Eindterm Kennis Algemene beroepsvaardigheden Metingen uitvoeren en maten berekenen Specifieke beroepsvaardigheden 2a 1 Natuurbeschermings Vermeld 5a,5b het 4e 4 maatregelen nummer van toepassen elke vraag in. een cel 4a,4b,4d 4c 8 2b,2c 7 3b 3a,3c 5 Aantal punten Neem in deze kolom de exameneenheden uit het PTA over en gebruik één regel per exameneenheid (1) TOTAAL aantal punten praktijks.e. Totaal aantal punten theorie en praktijk S.E. Totaal percentage theorie en praktijk S.E. Noteer in deze kolom per regel de eindterm(samengevat) waarover de vragen/ opdrachten gaan 1a,1c,1e 1b,1d,1f 8 15 18 33 14 30 18 62 23% 48% 29% 100% Bepaal per onderwerp welke (a) kennis, (b) algemene en (c) specifieke beroepsvaardigheden de leerling moet laten zien (5) Totaal punten huidige toets Totaal punten beide toetsen In deze kolom wordt zichtbaar hoe de gekozen eindtermen meewegen in de beoordeling (4). Bepaal de maximale score en verdeel de scorepunten per rij en over 10 de vragen en opdrachten (14)
Bijlage B Format Toetsmatrijs TOETSMATRIJS Naam school Logo school Vak : Landbouwbreed Leerweg : Gemengde leerweg (GL) Toetscode : Toetsduur : minuten Leerjaar : Toetsvorm : Theorie/ Praktijk Cesuur : Inhoud Gedrag Weging Nummer van vragen/opdrachten Examen eenheid Eindterm Kennis Algemene beroepsvaardigheden Specifieke beroepsvaardigheden Aantal punten TOTAAL aantal punten theorie/praktijk S.E. Totaal aantal punten theorie en praktijk S.E. Totaal percentage theorie en praktijk S.E. GL 25% KB 20% BB 15% GL 50% KB 50% BB 50% GL 25% KB 30% BB 35% 100% 11
Bijlage C Format schoolexamen praktijk TOETSVOORBLAD Naam school Logo school Vak : Landbouwbreed Leerweg : Gemengde leerweg (GL) Toetscode : #vul in# Toetsduur : #vul in; voorkeur maximaal 135-180 minuten# Leerjaar : #vul in# Toetsvorm : #vul in: Praktijk# Max. te behalen punten : #vul in# Cesuur : #vul in# Datum : #vul in of laat invullen door leerling# Klas : #vul in of laat invullen door leerling# Naam leerling : #laat invullen door leerling# Behaald aantal punten : #vul na beoordeling in# Cijfer : #vul na beoordeling in# Inhoud praktisch schoolexamen Het schoolexamen bevat de volgende onderdelen: #pas na gelang aan en/of vul aan.# LB/K-nummer x LB/K-nummer y LB/K-nummer z 12
Toetsinstructie Lees het schoolexamen eerst helemaal door. Lees de vraag aandachtig voordat je het antwoord opschrijft. Bij meerkeuzevragen de letter voor het juiste antwoord omcirkelen (voorbeeld 1). Geef verbeteringen aan volgens voorbeeld 2 of 3. (1) A X A X A B (2) B (3) B B X C C C Schrijf bij berekeningen de hele som op en niet alleen het antwoord. Als je moet tekenen gebruik dan het hele vak van de vraag voor de tekening. Schrijf in leesbaar Nederlands. #Dit is optioneel, maar onderstreept wel dat de borging van het schoolexamen geregeld is.# Deze toets is gemaakt, beoordeeld en vastgesteld volgens de procedure 'constructie en vaststelling van toetsen' van [naam school]. 13
#vul in# [LB/K-thema of toetsnaam/-code] praktijk [#vul in# naam opgave omschreven als handeling] Tijdsduur xxx minuten. Voor deze opdracht(en) heb je nodig: Vraag aan de docent welk [naam dier] je moet controleren. #p 1 [Omschrijving van opdracht(en)] #p 2 [Omschrijving van opdracht(en)] [naam opgave omschreven als handeling] Tijdsduur xxx minuten. Voor deze opdracht(en) heb je nodig: Vraag aan de docent welk [naam dier] je moet controleren. #p 3 [Omschrijving van opdracht(en)] #p 4 [Omschrijving van opdracht(en)] 14
[LB/K-thema of toetsnaam/-code] praktijk [naam opgave omschreven als handeling] Tijdsduur xxx minuten. Voor deze opdracht(en) heb je nodig: Vraag aan de docent (bijvoorbeeld welk [naam dier] je moet controleren.) #p 5 [Omschrijving van opdracht(en)] #p 6 [Omschrijving van opdracht(en)] [naam opgave omschreven als handeling] Tijdsduur xxx minuten. Voor deze opdracht(en) heb je nodig: Vraag aan de docent welk [naam dier] je moet controleren. #p 7 [Omschrijving van opdracht(en)] #p 8 [Omschrijving van opdracht(en)] Voordat je aan de opdracht begint De docent vertelt je waar je het benodigde bestand kunt vinden. Open het bestand xxx.xls. Met dit bestand kun je Gegevens: Uitvoering van de opdracht Vul je naam in. Vul de gevraagde gegevens volledig in. Klik op de knop Bereken xxx. 15
Als je klaar bent met de opdracht Druk het bestand af door op de knop Print te klikken. Sla het bestand niet op en sluit Excel af. 16
Bijlage D Format schoolexamen theorie TOETSVOORBLAD Naam school Logo school Vak : Landbouwbreed Leerweg : Gemengde leerweg (GL) Toetscode : #vul in# Toetsduur : #vul in; voorkeur maximaal 45 minuten# Leerjaar : #vul in# Toetsvorm : #vul intheorie# Max. te behalen punten : #vul in# Cesuur : #vul in# Datum : #vul in of laat invullen door leerling# Klas : #vul in of laat invullen door leerling# Naam leerling : #laat invullen door leerling# Behaald aantal punten : #vul na beoordeling in# Cijfer : #vul na beoordeling in# Inhoud theoretisch schoolexamen Dit schoolexamen bevat de volgende onderdelen: #pas na gelang aan en/of vul aan.# LB/K-nummer x LB/K-nummer y LB/K-nummer z Instructie schoolexamen #pas na gelang aan en/of vul aan. Zorg er wel voor dat onderstaande instructies minimaal genoemd worden# Lees het schoolexamen eerst helemaal door. Lees de vraag aandachtig voordat je het antwoord opschrijft. 17
Het schoolexamen bevat verschillende vraagtypen die voor extra herkenning elk een eigen symbool hebben. is een vraag, waarbij iets opgeschreven moet worden is een open vraag is een gesloten vraag is een rekenvraag Bij meerkeuzevragen de letter voor het juiste antwoord omcirkelen (voorbeeld 1). Geef verbeteringen aan volgens voorbeeld 2 of 3. (1) A X A X A B (2) B (3) B B X C C C Schrijf bij berekeningen de hele som op en niet alleen het antwoord. Als je moet tekenen gebruik dan het hele vak van de vraag voor de tekening. Schrijf in leesbaar Nederlands. #Dit is optioneel, maar onderstreept wel dat de borging van het schoolexamen geregeld is.# Deze toets is gemaakt, beoordeeld en vastgesteld volgens de procedure 'constructie en vaststelling van toetsen' van [naam school]. 18
#vul in# [LB/K-nummer of toetsnaam/-code] theorie [#vul in# naam vraag; onderwerp] [Inleiding bij de vraag] #psymbool 9 [Eerst tabel, plaatje e.d.] [Omschrijving van opdracht(en)] #psymbool 10 [Omschrijving van opdracht(en)] [naam vraag; onderwerp] [Inleiding bij de vraag] #psymbool 11 [Eerst tabel, plaatje e.d.] [Omschrijving van opdracht(en)] #psymbool 12 [Omschrijving van opdracht(en)] 19
[LB/K-nummer of toetsnaam/-code] theorie [naam vraag; onderwerp] [Inleiding bij de vraag] #psymbool 13 [Eerst tabel, plaatje e.d.] [Omschrijving van opdracht(en)] #psymbool 14 [Omschrijving van opdracht(en)] [naam vraag; onderwerp] [Inleiding bij de vraag] #psymbool 15 [Eerst tabel, plaatje e.d.] [Omschrijving van opdracht(en)] #psymbool 16 [Omschrijving van opdracht(en)] 20