* procedure nooit geheel objectief (beo s) * geprobeerd: op verschillende manieren inzicht in mate van zekerheid.

Transcriptie

1 Inleiding * procedure nooit geheel objectief (beo s) * geprobeerd: op verschillende manieren inzicht in mate van zekerheid. * opbouw: - overzicht proces relateren examens aan ERK en doel oz; - specificatiefase kort toelichten; - vertellen en laten zien hoe standaardisatiefase uitgevoerd - conclusies en vragen

2 Examens relateren aan het ERK: fasen * Sinds publicatie ERK (2001) veel activiteiten relatering. * Ter facilitering en structurering: Raad van Europa -> Handleiding. * Volgens Handleiding 3 fasen van koppeling: - specificatie - standaardisatie - empirische validatie * Eerste fase: nagegaan op welke illustratieve ERK-schalen en - descriptoren toetsen en examens betrekking hebben dmv inhoudelijke beschrijving. Doel: eerste inschatting niveau. Zo korte toelichting. *Tweede fase: versterkte claim (sp én st). - Volgens procedure in hl experts gevraagd examenopgaven te classificeren in termen van ERK. - Op basis van niveaubepaling bij examen aanwijzingen vinden voor grensscore die onderscheid maakt tussen kandidaten die betr ERKniveau al dan niet beheersen. * Empirische validatie: gegevens uit standaardisatieprocedure psychometrisch gevalideerd. *Doorlopen fasen -> argumentopbouw voor claim koppeling.

3 Doel van het onderzoek *Doel stex - NIET: ERK-niveau kandidaten meten. - WEL: meten of kandidaten de taal voldoende beheersen om te voldoen aan startkwalificatie studie of baan. - Aanpassing examens en cesuren niet nodig zolang stakeholders taalniveau slagende kandidaten voldoende achten. *Waarom dan dit onderzoek: - Aantonen algemeen niveau examens; - Vergelijking huidige cesuren met die gekoppeld aan ERK-niveaus; - Informatie verstrekken aan examencie en andere stakeholders. Specificatiefase * Eerste fase koppelingsonderzoek = specificatiefase. * Voor stex: dekking van lees- en luisterexamens onderzocht dmv een analyse aan de hand van de communicatieve activiteitenschalen en de schalen voor communicatieve competentie van het ERK. * Uitkomsten: - Teksten en opg pr I -> gem. B1-niveau, teksten en opg pr II -> B2. - Aangetoond: examens pr II op hoger niveau wat betreft abstractie, grammaticale complexiciteit en vocabulaire.

4 De standaardisatieprocedure werkwijze * Stappen: - Familiarisatie: bekendmaken met ERK; - Training met voorbeeldopgaven; - De feitelijke standaardbepaling; - Data-analyse ter validatie van de standaarden: analyse resultaten standaardbepaling en relatering aan empirische data van kandidaten stex. * Ik zal nu eerst de methode en vervolgens de genoemde stappen toelichten. Methode * Mandjesmethode met basisvraag aan panel v experts: Welk ERK-niveau moet een kandidaat minimaal beheersen om deze opgave correct uit te kunnen voeren? * Zes mandjes voor zes niveaus: A1 / A2 / B1 / B2 / C1 / C2. * Experts: iedere taak bij een niveau onderbrengen door in het passende mandje te stoppen: bijv. B1: kandidaat met B1-niveau moet opgaven correct kunnen maken. * Aanname: mandje PLUS lagere niveaus. Bijv. B1 (A2, A1). Dus: minimaal te beheersen niveau. Samenstelling expertpanel * Uitgangspunten: - afnemers examens in ruime mate vertegenwoordigd (meerderheid was stakeholder bij een vd programma s); - goed bekend met ERK. * LEZ: 11 experts, LUI: 10 experts. LEZ en LUI in aparte sessies, voor iedere vaardigheid twee bijeenkomsten met tussentijd van 14 dagen.

5 Familiarisatie en training * Eerste bijeenkomst: - korte toelichting doel en procedure; - familiarisatiefase; - korte training met voorbeeldtaken. * Belangrijk onderdeel familiarisatiefase: tweetal sorteeroefeningen: één bij Globale Schaal en één bij de meer gedetailleerde schaal: - niveaubeschrijvingen in willekeurige volgorde -> sorteren op niveau; - korte bespreking; - discussie over de onderscheidende kenmerken van de niveaus ad hand van powerpoint en vuistregels. * Trainingsfase: 7 voorbeeldopgaven : - ERK-niveau toekennen aan de hand van basisvraag. - Discussie met toelichting keuze en poging tot overeenstemming. Doel: een meer gemeenschappelijke standaard voor het beoordelingsproces. Het beoordelingsproces * Na familiarisatie en training: feitelijke standaardbepaling: - teksten en opgaven beide staatsexamenprogramma s (2006) en een aantal opgaven uit de Profieltoets door elkaar aangeboden; - in totaal 100 lees- en 100 luisteritems gekoppeld. Ingevuld op optisch leesbaar formulier; - Iedereen werkte voor zichzelf. * In de 14 dagen tussen de bijeenkomsten: tussentijdse analyse beoovereenstemming. * Tweede bijeenkomst: discussie over opgaven met laagste overeenstemming: - toelichting keuzes per opgave - vraag aan iedere expert of hij bij keuze blijft of niet - geen gezamenlijke uitspraak vereist. Alles centraal bijgehouden in databestand.

6 Resultaten Niveaubepaling * Toekenning gemiddelde score door aan niveaus een cijfer te geven (1 t/m 6) - Per examenprogramma voor iedere expert -> tabel. - Opg pr I volgens experts iets boven B1, opg pr II gemiddeld B2 (lui er licht onder). De grensscores bepalen * Resultaten standaardbepaling -> grensscores die aangeven wanneer een voor het examen relevant ERK-niveau behaald is. Twee criteria: - 100%-criterium: voor beheersing ERK-niveau ALLE opgaven van dit niveau EN de onderliggende niveaus correct kunnen uitvoeren; - 80%-criterium: voor beheersing ERK-niveau ALLE opgaven onderliggende niveaus en 80% dit niveau correct uitvoeren. *100%-criterium strenger, 80% milder. * Twee criteria vanwege overwegingen bij een bepaalde keuze. Belangrijke: functie examen (stex hoog civiel effect, onterecht zakken minimaliseren -> 80%). * Voor volledig beeld beide criteria om beslissing inzichtelijk te maken én dat andere beslissingen ook verdedigbaar zijn (gemiddelde grensscore gebaseerd op beide criteria, of gebruikmaking van 100%).

7 Aantal goed te beantwoorden vragen voor beheersing ERK-niveaus * Per ERK-niveau voor iedere beo aantal opgaven daaraan toegekend opgeteld en sommatie daarvan -> hoeveel opgaven van de beoordeelde examens een kandidaat goed moet hebben om een niveau te behalen. * Tabel: uitwerking voor LEZ pr I volgens resp. 80% - en 100%-criterium. * Laatste kolom: gemiddelde alle beo s. - B1: volgens 80%-criterium -> 22 goed, volgens 100% -> Duidelijk: examen op B1-niveau -> enige relevante cesuur A2/B1. - Geen A2, want reeds bereikt bij 2, resp. 3 opgaven goed. - Ook niet B2, want 36 tot 39 van de 40 goed: examen te makkelijk voor meten B2. * Variatie tussen beo s zichtbaar, maar binnen theoretische scoreverdeling kandidaat, laat ik nog zien. Beos hebben nooit precies hetzelfde beeld van wat bijv. een B1-kandiadat zou moeten kunnen.

8 Grensscores vergeleken met huidige cesuur (Lezen) * Na berekenen gemiddelde grensscores -> naast bestaande cesuur. * Tabel: beide programma s LEZ. - Onder elkaar: verschillende grensscores. Naast elkaar: grensscore 500- schaal, ruwe score uit examen (hoeveel opg goed moet maken) en % geslaagden (dat laatste is berekend ahv cumulatieve populatieverdeling 2009). - Pr I: huidige cesuur hoger dan grensscores 80 en 100% -> kandidaten moeten meer opgaven goed maken -> slagers beheersen B1. (80% -> 86%, 100% -> 69%). - Pr II: beide grensscores hóger dan cesuur (80% -> zakken van 59 naar 46%, 100% -> 22%). * Huidige cesuren hoeven niet aangepast, want zijn functioneel en gebaseerd op het doel: toetsen startkwalificatie opleidingen en beroepen waarvoor beide programma s bedoeld zijn. De genoemde resultaten maken relatering aan ERK-niveau mogelijk, maar hoeven niet speciaal te leiden tot aanpassing huidige cesuren. Claim op koppeling beargumenteren m.b.v. resultaten en enkele checks * Zoals gezegd: doel studie -> argumenten aandragen koppeling stex aan ERK. Hiertoe tijdens standaardisatiefase experts bevraagd en data geïnterpreteerd, maar: - Zijn die data wel betrouwbaar? - Hoe verhouden de resultaten zich tot de uitkomsten van de specificatiefase? - Komen de resultaten wel overeen met empirische data? * Deze vragen beantwoord door een aantal punten na te lopen: - Beschrijving procedure -> transparantie -> rapport maart 2010; - Vergelijking met specificatiefase uitgevoerd; - Een aantal checks op kwaliteit expertpanel: grootte, beo-overeenstemming

9 en beo-betrouwbaarheid. Vergelijking met specificatiefase * Vergelijking -> twee grafieken met gemiddelde niveauscores voor beide pr s. * LEZ: - zowel volgens specificatie als standaardbepaling: pr I in niveaubereik B1, pr II in niveaubereik B2. - Niveau opgaven is in standaardbep. iets hoger ingeschat, maar verschillen gering. * LUI: - soortgelijke bevindingen, maar pr II ligt tegen B2-bereik aan. - verschillen ook hier gering. Check: mate van overeenstemming tussen de beoordelaars * Belangrijke vraag: is de mate van overeenstemming tussen de beoordelaars acceptabel? * Berekend: hoeveel beoordelaars het met elkaar eens waren bij het inschatten van de niveaus van de opgaven. * Hier ziet u de grafiek voor Luisteren. - Bij 85% van de opgaven waren 7 of meer van de 10 beoordelaars het met elkaar eens. * Voor Lezen waren de resultaten ongeveer vergelijkbaar: - 8 of meer van de 11 beoordelaars waren het eens over 75 van de 80 taken.

10 Check: beoordelaarsbetrouwbaarheid en -overeenstemming en variantieanalyse * Hier ziet u: aantal berekeningen voor beo-betrouwbaarheid en - overeenstemming. - betr en over in beide panels tamelijk hoog - variantiecomponenten: invloed beo s voor beide vaardigheden laag, opg stuk hoger. - Residu-variantie (interactie- en error-variantie): acceptabel -> beoordelingsproces bevat nog onbekende variabelen en er is dus geen volledige overeenstemming. * Overall gezien: de resultaten van beide panels zijn bevredigend ondanks (de onvermijdelijke) verschillen tussen beoordelaars. Check: analyse van individuele beoordelaars (lezen) * Ook gekeken naar individuele beo s. Hier: gemiddelde scores en Rbt s (vergelijkbaar met item-toetscorrelaties in een toets-itemanalyse) van alle beoordelaars over alle opgaven LEZ. * Doel - uit de cijfers zou kunnen blijken: te lage consistentie of te grote afwijking van rest panel -> beo s buiten de data houden. * Gemiddelde niveau-indeling voor alle beo s: tussen B1 (3) en B2 (4). * Delta (gemiddeld niveau tussen ind beo s en gem score panel): gemiddeld over alle beo s: 0,12 van een niveau, grootste 0,22. * Rbt: hoge scores. * Concluderend: verschillen ind beo s tov (totale) gemiddelde niet groot. Ook Rbt s geven goede resultaten.

11 Check: benodigd aantal panelleden * Vraag: grootte panels voldoende met oog op beo-overeenstemming? * Geschatte overeenstemming panels met verschillend aantal leden berekend, gebaseerd op de gegevens van de gebruikte panels. * Hier grafiek voor LEZ: geschatte overeenst van panel met bepaalde grootte met ander panel zelfde omvang, en de 90%- betrouwbaarheidsinterval van de schattingen: - Beo-overeenstemming neemt toe met aantal panelleden; - Toename wordt steeds minder en vanaf 10 beo s te verwaarlozen; - Betrouwbaarheidsinterval blijft vanaf 10 ongeveer gelijk. * Dus: minimaal 10 personen voor betrouwbare niveau-inschattingen. * Resultaat voor LUI: vergelijkbaar. * Beide panels van voldoende omvang. Relatie met empirische gegevens * Beo s bereiken dus ondanks onderlinge verschillen voldoende overeenstemming. Maar komen hun uitspraken ook overeen met de feitelijke prestatie van een tweedetaalleerder? * Gegevens panel afgezet tegen theoretische scoreverdeling kandidaat uit examenpopulatie die presteert op de betreffende grensscore. * Hier: voorbeeld grafiek voor LEZ pr II met 80%-cr: B1/B2. - Verticale as: % beo s die een bepaalde B1-/B2- grensscore aangaven (elke 9% = 1 beo, bijv 1 vindt dat 23 grensscore moet zijn, drie 31 etc). - Gemidd grensscore van panel bij B1/B2 was 28/29. - Grafiek laat zien dat alle toegekende grensscores binnen de theoretische scoreverdeling (de curve) vallen -> conclusie: gemiddelde grensscore panel bruikbaar.

12 Conclusies Samenvattend: 1) De standaardisatieprocedure is nooit volledig objectief. 2) Vanwege die onzekerheden in het proces is het van belang transparant te zijn over de gevolgde werkwijze. 3) Door het uitvoeren van de checks op kwaliteit van de procedures van beoordelaarsgedrag en de relatie tussen de standaardbepaling en empirische data, kan de claim op een relatie tussen ERK en examen worden versterkt. Vragen? Selectie van de opgaven Tijdens de standaardisatiefase zijn dezelfde opgaven gebruikt als eerder bij de specificatie. Het ging hierbij om de staatsexamens Lezen I en II en Luisteren I en II uit 2006, waaruit alle opgaven gebruikt zijn. Daarnaast zijn aan iedere vaardigheid 20 opgaven toegevoegd uit de Profieltoets NT2 (Lezen: 2008, Luisteren: 2006), waarvan de helft op NT2-niveau 1 en de andere helft op NT2- niveau 2. Deze niveaus zijn grofweg te vergelijken met ERK-niveaus A1 en A2. De reden dat deze opgaven zijn toegevoegd is dat de experts dan de mogelijkheid hebben ook opgaven van lagere niveaus te beoordelen, waardoor met name de opgaven op B1-niveau beter te onderscheiden waren van opgaven die bedoeld waren voor de lagere niveaus.