DE CONSTRUCTIE VAN EEN PEILINGSINSTRUMENT FRANS VOOR DE EERSTE GRAAD SECUNDAIR ONDERWIJS (A-STROOM) Eindrapport

Transcriptie

1 KATHOLIEKE UNIVERSITEIT LEUVEN Onderwijskundig Beleids- en Praktijkgericht Wetenschappelijk Onderzoek (OBPWO 03.01) in opdracht van het Vlaams Ministerie van Onderwijs en Vorming DE CONSTRUCTIE VAN EEN PEILINGSINSTRUMENT FRANS VOOR DE EERSTE GRAAD SECUNDAIR ONDERWIJS (A-STROOM) Eindrapport Wetenschappelijk medewerkers Bart Lamote, Nathalie Ceulemans, Bartel Volckaert, Klaartje Volders en Lien Willem Promotoren Rianne Janssen, Jean Binon, Piet Desmet en Jan Van Damme Leuvens Instituut voor Onderwijsonderzoek Katholieke Universiteit Leuven Faculteit Psychologie en Pedagogische Wetenschappen Faculteit Letteren september 2004 december 2006

2

3 KATHOLIEKE UNIVERSITEIT LEUVEN Onderwijskundig Beleids- en Praktijkgericht Wetenschappelijk Onderzoek (OBPWO 03.01) in opdracht van het Vlaams Ministerie van Onderwijs en Vorming DE CONSTRUCTIE VAN EEN PEILINGSINSTRUMENT FRANS VOOR DE EERSTE GRAAD SECUNDAIR ONDERWIJS (A-STROOM) Eindrapport Wetenschappelijk medewerkers Bart Lamote, Nathalie Ceulemans, Bartel Volckaert, Klaartje Volders en Lien Willem Promotoren Rianne Janssen, Jean Binon, Piet Desmet en Jan Van Damme Leuvens Instituut voor Onderwijsonderzoek Katholieke Universiteit Leuven Faculteit Psychologie en Pedagogische Wetenschappen Faculteit Letteren september 2004 december 2006

4

5 TEN GELEIDE Het voorliggende rapport bericht over het verloop van het OBPWO-project over de constructie van een peilinginstrument Frans voor de A-stroom van de eerste graad van het secundair onderwijs De opbrengst van dit project bestaat uit twee delen: het voorliggende eindrapport en het toetsinstrumentarium. Om de toekomstige bruikbaarheid van het peilinginstrument zo veel mogelijk te vrijwaren, werd het toetsinstrumentarium enkel in beperkte oplage bezorgd aan het departement onderwijs. Voor dit eindrapport aan te vatten willen we graag iedereen bedanken die zijn medewerking heeft verleend om dit onderzoek tot een goed einde te brengen. Het onderzoeksteam

6 2

7 INHOUDSTAFEL HOOFDSTUK 1 INLEIDING EEN KORTE SITUERING VAN HET VLAAMSE PEILINGONDERZOEK GLOBALE OMSCHRIJVING VAN HET PROJECT Doelstelling Algemene werkwijze Fasering Samenstelling van het onderzoeksteam OVERZICHT VAN HET RAPPORT...3 HOOFDSTUK 2 ALGEMENE WERKWIJZE OPBOUW VAN DE TOETSMATRIJS EN ONTWIKKELING VAN DE TOETSVRAGEN VOORONDERZOEKEN Pilootstudies bij leerlingen Beoordeling door experts KALIBRATIESTUDIE Praktische organisatie Afnamedesign Steekproefdesign Logistieke organisatie De constructie van een meetschaal Item Respons Theorie (IRT) versus klassieke testtheorie De achterliggende logica van de meetschaal in een IRT-model Voordelen van IRT Keuze van een IRT-model: Het OPLM-model Modeltoetsing en -selectie Exploratie van de verschillen in vaardigheid SAMENSTELLING TOETSEN CESUURBEPALING De achterliggende logica Methode van cesuurbepaling De Bookmarkmethode Een procedure in drie rondes BESLUIT...16 HOOFDSTUK 3 DE ONTWIKKELING VAN DE TOETS- MATRIJS EN DE TOETSOPGAVEN DE EINDTERMEN MODERNE VREEMDE TALEN FRANS Een eerste interpretatie van de eindtermen Een eerste selectie van eindtermen

8 Eindtermen over attitudes Eindtermen over compenserende communicatiestrategieën VLAANDEREN IN EUROPA: LE CADRE EUROPÉEN COMMUN DE RÉFÉRENCE POUR LES LANGUES: APPRENDRE, ENSEIGNER, ÉVALUER (CECR) Referentieniveaus van het Gemeenschappelijk Europees Referentiekader voor Talen Koppeling van referentieniveaus en eindtermen DE ONTWIKKELING VAN DE TOETSMATRIJZEN Het opstellen van de theoretische toetsmatrijs Van een theoretische naar een praktische toetsmatrijs Descripteurs de niveau DE ONTWIKKELING VAN DE TOETSOPGAVEN Inspiratiebronnen De leerplannen Frans Handboeken Frans, taaltesten en werkboeken Concrete werkwijze Ontwikkeling van de teksten Aansluiting met de toetsmatrijs Authentieke en semi-authentieke teksten Illustratie Keuze onderwerpen Ontwikkeling van de toetsopgaven Verwerkingsniveau van de eindtermen Europees Referentiekader Natuurlijkheid en relevantie in de eindtermen Taalkeuze Onafhankelijke toetsopgaven Voorgesteld toetsstramien Itemformaat Afname en duur BESLUIT...37 HOOFDSTUK 4 FRANS LEZEN PRAKTISCHE TOETSMATRIJS FRANS LEZEN Eindtermen Verwerkingsniveaus Referentieniveaus Tekstsoorten VOORSTUDIES Pilootstudies bij leerlingen Afname Resultaten

9 4.2.2 Beoordeling door experts Beoordelaars Beoordelingstaak Resultaten KALIBRATIEONDERZOEK Afnamedesign Steekproefdesign Leerlingenpopulatie Gestratificeerde steekproef Getrapte steekproeftrekking De getrokken steekproef Logistieke organisatie Werving en respons Verloop toetsafname Eerste verwerking van de gegevens Scoring en invoer van de antwoorden Proportie juiste antwoorden Psychometrische analyses OPMAAK VAN DE TOETSINSTRUMENTEN Een eerste selectie van vragen Samenstelling van de toets CESUURBEPALING Deelnemers Een cesuur per eindterm Het gebruikte toetsmateriaal Analyse van de oordelen Vergelijking van de drie rondes Beroepsachtergrond Vergelijking van de eindtermen Impactdata Bespreking overleg beoordelaars ANALYSES VAN LEERLINGVERSCHILLEN Beschrijvende analyses van leerlingvariabelen Beschrijvende analyses op schoolniveau Multiniveauanalyses van de leesvaardigheid Inleiding Het lege model Bijkomende achtergrondkenmerken Besluit BESLUIT...77 HOOFDSTUK 5 FRANS SCHRIJVEN PRAKTISCHE TOETSMATRIJS FRANS SCHRIJVEN

10 5.1.1 Eindtermen Verwerkingsniveaus Type tekstproductie Referentieniveaus Tekstsoorten VOORSTUDIES Pilootstudies bij leerlingen Afname Resultaten Beoordeling door experts Beoordelaars Beoordelingstaak Resultaten ITEMONTWIKKELING Eindterm F Eindterm F Eindterm F 23 en KALIBRATIEONDERZOEK Afnamedesign Steekproefdesign Leerlingenpopulatie Gestratificeerde steekproef Getrapte steekproeftrekking De getrokken steekproef Logistieke organisatie Werving en respons Verloop toetsafname Eerste verwerking van de gegevens Scoring en invoer van de data Interbeoordelaarsbetrouwbaarheidsonderzoek Proportie juiste antwoorden Psychometrische analyses Beschrijvende analyses van de leerlingverschillen OPMAAK VAN DE TOETSINSTRUMENTEN Een eerste selectie van mogelijke vragen Samenstelling van de toets BESLUIT HOOFDSTUK 6 FRANS LUISTEREN PRAKTISCHE TOETSMATRIJS FRANS LUISTEREN Eindtermen

11 6.1.2 Verwerkingsniveaus Luistersituaties Referentieniveaus Tekstsoorten VOORSTUDIES Pilootstudies bij leerlingen - audiofragmenten Afname Resultaten Beoordeling van de audio- en videofragmenten door experts Beoordelaars Beoordelingstaak Resultaten Pilootstudie van videofragmenten bij leerlingen Afname Resultaten VOORSTELLING VAN DE TOETSOPGAVEN IN EEN ELEKTRONISCHE TOETSOMGEVING Ecoute globale of détaillée Aantal luisterbeurten bij de toetsopgave Schermindeling KALIBRATIEONDERZOEK Afnamedesign De uitwerking van de internetafname Afnamedesign Steekproefdesign Gestratificeerde steekproef Getrapte steekproeftrekking De getrokken steekproef Logistieke organisatie Werving en respons Instructies Leerlingvragen Verloop toetsafname Eerste verwerking van de gegevens Enkele achtergrondsgegevens Problemen bij de internetafnames Scoring en invoer van de data Proportie juiste antwoorden Volgorde-effect Psychometrische analyses OPMAAK VAN DE TOETSINSTRUMENTEN Een eerste selectie van mogelijke vragen Samenstelling van de toets

12 6.6 BESLUIT BIBLIOGRAFIE BIJLAGEN LEZEN SCHRIJVEN LUISTEREN 8

13 HOOFDSTUK 1 INLEIDING Dit hoofdstuk start met een korte situering van het Vlaamse peilingonderzoek (1.1). Daarna volgt een globale omschrijving van het huidige project (1.2). In 1.3 wordt ten slotte kort de inhoud van de verschillende hoofdstukken van dit eindrapport toegelicht. 1.1 Een korte situering van het Vlaamse peilingonderzoek Eindtermen zijn minimumdoelen waarvan het haalbaar en wenselijk is dat de leerlingen ze bereiken aan het einde van een bepaald onderwijsniveau. Via een peilingonderzoek wil de overheid nagaan of alle jongeren op zijn minst deze minimale doelen verwerven, zodat ze nadien zelfstandig kunnen functioneren in de maatschappij en succesvol kunnen starten in het vervolgonderwijs en op de arbeidsmarkt. Het uitvoeren van grootschalige peilingonderzoeken als kwaliteitscontrole op het onderwijs is een trend die ook in het overheidsbeleid in het buitenland aanwezig is. Het peilingonderzoek geeft op schooloverstijgend niveau een beeld over de mate waarin de eindtermen in het Vlaamse onderwijs gehaald worden. In een peilingonderzoek worden dus geen uitspraken gedaan over individuele scholen of leerlingen. Wel hoopt men dat de terugkoppeling van de resultaten van het peilingonderzoek een sturende invloed kan hebben op de concrete onderwijspraktijk. In mei 2002 vond een eerste Vlaamse onderwijspeiling plaats naar de beheersing van de eindtermen wiskunde en lezen in het basisonderwijs. In mei 2004 organiseerde de overheid het eerste peilingonderzoek in de eerste graad van het secundair onderwijs naar de eindtermen informatieverwerving en -verwerking. Een derde peiling, opnieuw in het basisonderwijs, volgde het jaar daarop (mei 2005) over het domein natuur uit het leergebied wereldoriëntatie. In juni 2006 ten slotte was er een peiling over biologie in het basisonderwijs. 1.2 Globale omschrijving van het project Doelstelling Het doel van het hier besproken OBPWO-project was de ontwikkeling van een peilinginstrument voor het onderdeel Frans van de eindtermen moderne vreemde talen uit de eerste graad van het secundair onderwijs (A-stroom). Deze eindtermen zijn sinds het schooljaar operationeel in de eerste graad van het secundair onderwijs. In dit project werden peilinginstrumenten ontwikkeld voor de receptieve vaardigheden lezen en 1

14 luisteren, en de productieve vaardigheid schrijven. Het ontwikkelde peilinginstrument kan in een latere peiling ingeschakeld worden om de realisatie van de eindtermen Frans na te gaan Algemene werkwijze Voor de ontwikkeling van de peilinginstrumenten voor Frans lezen, schrijven en luisteren werd telkens dezelfde globale werkwijze gevolgd. De eindtermen vormden telkens het uitgangspunt. Op basis van een inhoudsanalyse van de eindtermen werd voor elke vaardigheid een toetsmatrijs opgesteld die aangeeft voor welke eindtermen toetsen ontwikkeld moeten worden. Voor elke deelcel van de toetsmatrijs werden nieuwe toetsopgaven ontworpen. Na enkele voorstudies ter controle van de kwaliteit van de ontwikkelde toetsopgaven werd dan op basis van grootschalig empirisch onderzoek voor deze toetsopdrachten een meetschaal geconstrueerd. Op basis van die meetschalen kon het peilinginstrument worden opgesteld samen met een parallelversie. Voor het peilinginstrument lezen werd op de meetschaal reeds een cesuur vastgelegd door een groep van onderwijsexperten. Voor de andere vaardigheden moet de cesuurbepaling in het vervolgproject worden gelegd. De globale werkwijze wordt verder toegelicht in het tweede hoofdstuk Fasering Na een eerste studie van de eindtermen om de toetsmatrijzen op te stellen, werd in het eerste werkingsjaar begonnen met de ontwikkeling van het peilinginstrument lezen. De kalibratiestudie vond plaats in mei Ondertussen werden voor de eindtermen Frans schrijven opdrachten opgesteld en in een pilootstudie op punt gesteld. Een grootschalige kalibratiestudie vond plaats in oktober 2005 bij leerlingen die het voorafgaande schooljaar in 2A zaten. Tot het voorjaar 2006 werden deze schrijfopdrachten gescoord door externe beoordelaars. De analyses van deze oordelen en de ontwikkeling van het peilinginstrument schrijven met de correctiesleutels vond plaats in het najaar van In het tweede werkingsjaar werden de luistertoetsen ontwikkeld van september 2005 tot maart Deze luistertoetsen werden in mei 2006 in een elektronische toetsomgeving afgenomen bij een grote steekproef van leerlingen van 2A. De gegevensverwerking en het opstellen van de definitieve luister- en schrijftoetsen vond plaats vanaf het najaar van Samenstelling van het onderzoeksteam Het project werd uitgevoerd door een multidisciplinair team van taalkundigen en methodologen. Eén van de taalkundigen was leerkracht in het secundair onderwijs, de andere 2

15 taalkundige was tevens werkzaam op de pedagogische dienst van een onderwijskoepel. Dankzij hen was de band met de onderwijspraktijk gegarandeerd. 1.3 Overzicht van het rapport Hoofdstuk 2 schetst de algemene werkwijze en de fasering van de ontwikkeling van de peilinginstrumenten. Na deze algemene toelichting over de verschillende stappen in het project volgt in de volgende hoofdstukken de concrete invulling van deze stappen voor het voorliggende project. In hoofdstuk 3 wordt verder ingegaan op de opbouw van de toetsmatrijzen voor de eindtermen Frans. Er wordt beschreven welke weg gevolgd werd om de eindtermen te analyseren en te concretiseren zodat een theoretische toetsmatrijs per vaardigheid kon worden opgesteld. De inhoudsanalyse van de eindtermen Frans, de interpretatie en de operationalisering ervan worden geschetst en er wordt een selectie voorgesteld van de eindtermen die in het peilinginstrument worden opgenomen. In hoofdstuk 4, 5 en 6 wordt, respectievelijk voor lezen, schrijven en luisteren, beschreven hoe de daaropvolgende onderzoeksstappen zijn verlopen. Eerst wordt aangegeven hoe de concrete toetsmatrijs vorm heeft gekregen. Daarbij wordt ook de nodige aandacht besteed aan de ontwikkeling van toetsopgaven en teksten (voor lezen en luisteren). Vervolgens worden de verschillende onderzoeksstappen beschreven: pilootstudies bij leerlingen, beoordeling door onderwijskundigen, kalibratiestudie en psychometrische analyses. Zoals al aangegeven, werd voor de vaardigheid lezen ook al de cesuurbepaling uitgevoerd. Dit project stelt aan de overheid een peilinginstrument ter beschikking dat op korte termijn kan gebruikt worden voor een eerste peiling van de eindtermen Frans in de eerste graad van het secundair onderwijs. In het belang van een komende peiling worden de toetsvragen uit het peilinginstrument zoveel mogelijk geheim gehouden. Bij de verschillende onderzoeken in dit project werd aan de betrokkenen gevraagd om de toetsvragen als vertrouwelijke informatie te behandelen. Bij de rapportering van het project worden daarom ook geen toetsopgaven gepubliceerd. De toetsvragen worden in een addendum, zowel op papier als op CD-rom, aan het departement onderwijs overhandigd. 3

16 HOOFDSTUK 2 ALGEMENE WERKWIJZE In dit hoofdstuk worden de verschillende algemene onderzoeksstappen beschreven die doorlopen worden bij de constructie van het peilinginstrument. Eerst wordt ingegaan op de opbouw van de toetsmatrijs en de ontwikkeling van de toetsvragen (2.1), daarna wordt verduidelijkt hoe de voorstudies (2.2) en de kalibratie (2.3) verlopen. In een vierde punt wordt uitgelegd hoe de constructie van een meetschaal (2.4) verloopt en hoe op die schaal de cesuurbepaling (2.5) wordt uitgevoerd. Het besluit (2.6) geeft nog een korte samenvatting van dit hoofdstuk. 2.1 Opbouw van de toetsmatrijs en ontwikkeling van de toetsvragen De ontwikkeling van een toetsmatrijs is een essentiële stap bij de ontwikkeling van een peilinginstrument. Een toetsmatrijs is gebaseerd op een inhoudelijke analyse van de eindtermen en omvat alle eindtermen van het leer-of vakgebied die binnen een grootschalige peiling bevraagd kunnen worden, hetzij via een schriftelijke toets, hetzij via een praktische proef. De toetsmatrijs geeft aan welke leerinhouden in de eindtermen aan bod komen of over welke vaardigheden de leerlingen moeten beschikken om de eindtermen te halen. De toetsmatrijs vormt dus een blauwdruk van de te ontwikkelen toetsen. De toetsopgaven dienen immers zo goed mogelijk de verschillende aspecten van de eindtermen te weerspiegelen. Als de toetsmatrijs is opgebouwd, worden de vragen en eventuele praktische proeven zelf ontwikkeld. De toetsmatrijs vormt hierbij het uitgangspunt. Voor elke cel van de matrijs zullen verschillende toetsvragen worden opgesteld. 2.2 Vooronderzoeken Alvorens over te gaan tot een grootschalige afname van de ontwikkelde toetsvragen, worden verschillende voorstudies opgezet. Enerzijds worden de toetsopgaven voorgelegd aan een beperkte steekproef van leerlingen (zie 2.2.1). Anderzijds beoordelen vakinhoudelijke deskundigen uit de onderwijspraktijk de toetsopgaven (zie 2.2.2). Dankzij deze voorstudies kunnen de toetsen en scoringsvoorschriften op basis van de verkregen feedback verder geoptimaliseerd worden Pilootstudies bij leerlingen Eerst worden de ontwikkelde toetsen afgenomen bij een kleinere groep leerlingen. Scholen worden daarbij meestal aangezocht via contacten van teamleden. De vakinhoudelijke 4

17 medewerkers doen zelf de afname omdat zij op die manier kunnen nagaan waar nog onvolkomenheden in de vragen zitten. Tijdens de toets kunnen ze de leerlingen immers observeren en na de toets kunnen ze hen eventueel vragen wat ze van de toets vonden. De antwoorden van de leerlingen worden inhoudelijk bekeken en psychometrisch geanalyseerd op basis van een klassieke itemanalyse. De onderzoekers streven hierbij naar voldoende spreiding in de moeilijkheidsgraad. Wanneer blijkt dat een opgave zeer gemakkelijk of zeer moeilijk is, wordt onderzocht of de opgave aangepast moet worden. Hierbij worden opgaven die door geen enkele leerling juist of fout wordt gemaakt, weggelaten omdat ze geen informatie kunnen geven over verschillen in vaardigheid tussen leerlingen Beoordeling door experts Om de inhoudsvaliditeit van de toetsvragen te verhogen, worden vervolgens een aantal experts uit de onderwijspraktijk aangezocht om de ontwikkelde toetsopgaven op een aantal kenmerken te beoordelen. Daarbij wordt een beroep gedaan op bijvoorbeeld leerkrachten, leden van de inspectie, leden van de eindtermencommissie, pedagogisch begeleiders, lerarenopleiders en personeelsleden van de dienst Curriculum. Er wordt hierbij steeds gezorgd dat de drie grote onderwijsnetten vertegenwoordigd zijn, namelijk het Vlaams Secretariaat voor het Katholiek Onderwijs (VSKO), het Onderwijssecretariaat van de Steden en Gemeenten van de Vlaamse Gemeenschap (OVSG) en het Gemeenschapsonderwijs. Er wordt ook telkens een inspanning geleverd om het provinciale net te vertegenwoordigen. Aan de onderwijskundigen wordt gevraagd om eerst alle toetsvragen zelf op te lossen. Op die manier krijgen ze een beter zicht op de moeilijkheidsgraad van de toetsvragen op zich en op de toets als geheel. Daarnaast worden bij elke toetsopgave enkele beoordelingscriteria voorgelegd. Het eerste criterium peilt naar de relevantie van de toetsopgaven. Aan de beoordelaars wordt gevraagd in welke mate de toetsopgave volgens hen de bijhorende eindterm dekt. Het tweede criterium betreft het cognitieve verwerkingsniveau dat vereist is om de toetsopgave op te lossen. De beoordelaars geven hierbij aan of zij akkoord gaan met de plaatsing van de toetsopgave binnen de cognitieve classificatie. In het derde criterium moeten de beoordelaars schatten hoeveel procent van de leerlingen de toetsopgave correct oplost. Dit percentage geldt dan als een maat voor de verwachte moeilijkheidsgraad van de toetsopgave. Als laatste criterium wordt aan de beoordelaars gevraagd welke opmerkingen zij hebben over de aanbiedingswijze of de formulering van de toetsopgave. Ook algemene bedenkingen krijgen hier een plaats. Uiteraard kunnen deze criteria aangepast worden, afhankelijk van het leergebied waarvoor een peilinginstrument ontwikkeld wordt. 5

18 2.3 Kalibratiestudie Alvorens het peilinginstrument op grote schaal inzetbaar is, dienen de verschillende toetsvragen eerst op één of meerdere meetschalen geplaatst te worden. Op basis van deze meetschalen kan dan zowel een toets voor de peiling als een paralleltoets worden opgesteld. De kalibratie van de toetsopgaven gebeurt op basis van een grootschalige afname bij een representatieve steekproef van leerlingen. In deze paragraaf wordt geschetst hoe de praktische organisatie van deze studie verloopt (2.3.1) en hoe op basis van de studie een meetschaal wordt geconstrueerd (2.3.2) Praktische organisatie Afnamedesign Een afnamedesign is de schematische planning die de volgorde van de af te nemen toetsen beschrijft voor de verschillende groepen van leerlingen die deelnemen aan de toetsafname. Daarbij hoeven niet alle leerlingen alle toetsen af te leggen. De gehanteerde psychometrische modellen kunnen immers structureel onvolledige gegevens onder bepaalde voorwaarden toch analyseren (Eggen, 1993) met het oog op een gemeenschappelijke schaal Steekproefdesign De kalibratiefase bij een IRT-analyse vereist op zich geen representatieve steekproef. Door toch voor een representatieve trekking te kiezen, hopen de onderzoekers aan de hand van een voldoende grote steekproef, een eerste, beperkte uitspraak te kunnen doen over de beheersing van de eindtermen. Bovendien is een representatieve steekproef bij de kalibratie ook belangrijk voor het onderzoek naar de cesuurbepaling. De steekproef van leerlingen wordt getrokken als een getrapte, gestratificeerde steekproef. Mogelijke stratificatievariabelen die daarbij gehanteerd worden zijn het onderwijsnet waartoe een school behoort, de provincie, de schoolgrootte, het schooltype en de verstedelijkingsgraad. De variabele onderwijsnet verwijst naar de drie netten die er in Vlaanderen bestaan: het gemeenschapsonderwijs, het gesubsidieerd officieel onderwijs en het gesubsidieerde vrij onderwijs. In het secundair onderwijs wordt als stratificatievariabele meestal de tweedeling tussen vrij en officieel onderwijs gebruikt. De stratificatievariabele provincie krijgt vijf waarden toegekend, overeenkomstig met het aantal provincies in Vlaanderen. Voor het basisonderwijs wordt de variabele schoolgrootte gedichotomiseerd in klein of groot. De grens tussen beiden wordt afgeleid uit de wettelijke regeling waarbij een directeur vrijgesteld is van elke onderwijsopdracht bij een bepaald aantal leerlingen. Voor het secundair onderwijs worden 6

19 vier schooltypes onderscheiden: (a) autonome middenscholen die enkel de eerste graad inrichten, (b) de scholen die voornamelijk studierichtingen in het Algemeen Secundair Onderwijs wordt aangeboden (ASO-scholen), (c) multilaterale scholen die zowel algemeen-, technisch- als beroepssecundair onderwijs inrichten die telkens door minstens 20% van de vijfdejaars wordt gevolgd en (d) scholen die voornamelijk studierichtingen uit het Technisch-, Beroeps- en Kunst Secundair Onderwijs aanbieden (TSO/BSO/KSO-scholen). De indeling in de laatste drie categorieën is gebaseerd op het percentage leerlingen in het vijfde jaar dat een ASO-, TSO-, BSO- of KSO-richting volgt in de betreffende school. Tot slot wordt ook verstedelijkingsgraad als stratificatievariabele gebruikt. Deze variabele verwijst naar de verstedelijkingsgraad van de gemeente waarin de school gevestigd is en omvat twee categorieën: stad en platteland. Door gebruik te maken van deze stratificatievariabelen wordt de populatie van Vlaamse scholen ingedeeld in een aantal deelpopulaties of strata. In elk stratum van de gestratificeerde steekproef wordt een getrapte steekproef getrokken. In de eerste trap worden op toevallige wijze scholen getrokken uit de verschillende strata. Aan deze scholen wordt gevraagd om voor elke klas uit de richtingen die betrokken zullen worden in het peilingsonderzoek de mogelijke studierichtingen en het aantal leerlingen per klas door te geven. Vervolgens worden op toeval een vooropgesteld aantal klassen getrokken van de getrokken scholen en de verschillende basisopties over de scholen heen. Een volgende trap bestaat er dan in om de toetsboekjes toe te wijzen aan de leerlingen. Dit gebeurt meestal door de verschillende toetsboekjes op toeval uit te delen binnen elke getrokken klas Logistieke organisatie Ruim twee maanden voor het kalibratieonderzoek worden voldoende scholen aangeschreven met de vraag of zij hieraan willen deel te nemen. Het onderzoek zelf vindt meestal plaats in mei, een tijdstip waarop de leerlingen op enkele weken na het volledige curriculum hebben doorlopen. De scholen antwoorden per fax of per op het verzoek tot deelname door het antwoordformulier dat bij de brief zit tijdig terug te faxen. Scholen die niets van zich laten horen, worden na het verstrijken van de deadline opgebeld met de vraag of ze al dan niet wensen deel te nemen aan het kalibratieonderzoek. Indien niet genoeg scholen positief antwoorden, worden eventueel nog enkele reservescholen aangeschreven of opgebeld. Wanneer de steekproef volledig is, krijgen alle deelnemende scholen een bevestiging van deelname en een overzicht van de deelnemende klassen toegestuurd. Er wordt telkens een brief naar de directie en naar de leerkracht die als contactpersoon optreedt gestuurd. In de week van het kalibratieonderzoek wordt het toetsmateriaal per post aan de deelnemende scholen bezorgd. Het toegestuurde toetspakket bevat de toetsboekjes voor de leerlingen van de deelnemende klassen van de school, een schrijven aan de directie en eventueel aan een tweede contactpersoon, de toetsinstructies, een logboek en een brief voor 7

20 de betrokken leerkracht. Aan de scholen wordt gevraagd het onderzoeksteam te verwittigen, indien de school twee werkdagen voor de afname niets heeft ontvangen. De afname van de toetsen mag meestal op een zelf gekozen moment gebeuren tijdens een vastgelegde periode (bijvoorbeeld één week). De betrokken scholen mogen ook een gemeenschappelijke afname organiseren voor haar deelnemende klassen. In de begeleidende brief aan de contactpersoon van de betrokken scholen wordt gevraagd om het toetsmateriaal ten laatste drie dagen na het verstrijken van de periode terug op de post te doen. Scholen die uiteindelijk beslissen toch niet deel te nemen, moeten de pakketten zo snel mogelijk terugsturen. Na de afnames worden jobstudenten ingeschakeld om de gegevens in te voeren en de open vragen te verbeteren volgens opgestelde scoringsregels De constructie van een meetschaal Item Respons Theorie (IRT) versus klassieke testtheorie Aan de hand van een psychometrisch model worden de data uit het kalibratieonderzoek geanalyseerd om een meetschaal op te stellen. Binnen een psychometrisch model vallen steeds twee groepen van parameters te onderscheiden, de persoons- en itemparameters. Persoonsparameters modelleren de verschillen in prestaties tussen leerlingen, itemparameters modelleren de eigenschappen van de in de toets opgenomen items. In deze paragraaf wordt uitgelegd waarom de onderzoekers opteren voor de Item Respons Theorie (IRT) bij de constructie van een meetschaal. De klassieke testtheorie (KTT) stelt de persoonsparameter gelijk aan de som van de scores die de leerling haalt op de items van de toets. Deze somscore geldt dan als index voor de mate van beheersing van het bevraagde domein. De itemparameter wordt binnen de klassieke testtheorie gedefinieerd als de proportie juiste antwoorden op een welbepaald item. Problematisch bij de persoons- en itemparameters uit de KTT is het feit dat ze steekproefafhankelijk zijn. Dit betekent dat ze zowel afhankelijk zijn van de vaardigheid van de leerlingen in de steekproef als van de moeilijkheidsgraad van de steekproef van items die in de toets zijn opgenomen. Hierdoor is de klassieke testtheorie niet bruikbaar voor periodiek peilingsonderzoek. Het vergelijken van twee metingen binnen de KTT vereist namelijk dat ofwel de items ofwel de leerlingen constant blijven over de metingen. Bij periodiek peilingsonderzoek verschilt per definitie de groep leerlingen die betrokken is bij het onderzoek. Ook is het niet haalbaar noch wenselijk om altijd dezelfde items te gebruiken. Binnen een IRT-benadering worden de vaardigheden van de leerlingen en de moeilijkheidsgraad van de opgaven met aparte parameters gemodelleerd in een probabilistisch model voor het antwoordgedrag. De vaardigheids- en moeilijkheidsparameters worden daarbij op eenzelfde schaal voorgesteld. Op die manier wordt de dubbelzinnige 8

21 interpretatie van de persoons- en itemparameters uit de KTT uitgesloten. Doordat de vaardigheidsparameter van de leerling volgens het model niet steekproefafhankelijk is, kan de schatting van de vaardigheidsparameter gebeuren op basis van de antwoorden op verschillende itemsets. Leerlingen hoeven, met andere woorden, niet allemaal dezelfde opgaven te maken opdat hun scores vergelijkbaar zouden zijn. De enige voorwaarde is dat de items uit deze verschillende sets aan een gemeenschappelijke schaal kunnen worden gekoppeld. Hieruit volgt dat later ook nieuwe items aan deze schaal kunnen worden toegevoegd zonder dat de vergelijkbaarheid met de resultaten op vroegere afnames in het gedrang komt De achterliggende logica van de meetschaal in een IRT-model Een IRT-model gaat er steeds van uit dat opgaven kunnen verschillen in moeilijkheid. Zo is de ene opgave bijvoorbeeld louter gebaseerd op basiskennis, terwijl een andere, moeilijkere opgave, reeds een combinatie vereist van bepaalde basisprincipes uit datzelfde domein. De verschillen tussen items worden op de meetschaal aangegeven doordat de opgaven gerangschikt staan in stijgende graad van moeilijkheid. Een tweede veronderstelling houdt in dat de beheersingsgraad van een bepaald leergebied kan verschillen tussen leerlingen onderling. De ene leerling is bijvoorbeeld nog volop bezig met het onder de knie krijgen van de basisvaardigheden, terwijl de andere leerling al in staat is om meer gevorderde vaardigheden in de aangewezen situaties toe te passen. Op de meetschaal komen dergelijke verschillen tot uiting doordat de leerlingen gerangschikt staan in stijgende graad van vakbeheersing. Doordat bij de gehanteerde meetmodellen de opgaven en leerlingen steeds op dezelfde schaal worden geplaatst, kunnen de leerlingen ook rechtstreeks vergeleken worden met de opgaven. Dat gebeurt in termen van de kans dat ze de opgave kunnen oplossen. Bovendien kan voor elke leerling de opgave aangeduid worden die op dat moment het dichtst aansluit bij zijn of haar huidig vaardigheidsniveau van een welbepaald domein. In Figuur 2.1. staan de principes van een IRT-schaal schematisch weergegeven. De meetschaal is te vergelijken met een ladder, waarbij de toetsopgaven de sporten van deze ladder vormen. Hoe hoger op de ladder, hoe moeilijker de opgaven zijn. De sporten van de toetsladder staan daarbij niet altijd op dezelfde afstand van elkaar. Soms liggen opgaven bijvoorbeeld erg dicht bij elkaar qua moeilijkheidsgraad. Ook de leerlingen worden, op basis van hun toetsresultaten, op de ladder geplaatst. Dat gebeurt op de positie die het best aangeeft welke soort opgaven ze beheersen en welke ze nog niet beheersen. De opgaven die onder hun positie staan, zijn de opgaven waarvan men kan verwachten dat de leerling ze al onder de knie heeft. De opgaven die boven de positie van de leerling staan, zijn opgaven waar de leerling als het ware op dat moment nog niet bij kan. Toch kan een leerling een dergelijke opgave soms eens tot een goed einde brengen - aangezien de leerling telkens een bepaalde kans heeft om een toetsvraag tot een goed einde te brengen. De basisidee van een 9

22 gemeenschappelijke meetschaal voor personen en opgaven wordt in het IRT-model geconcretiseerd. Figuur 2.1 Schematische voorstelling van de meetschaal in een IRT-model Voordelen van IRT De psychometrische aanpak van de IRT heeft verschillende voordelen. Ten eerste is het niet noodzakelijk dat alle leerlingen dezelfde toetsvragen beantwoorden om op de schaal te kunnen gesitueerd worden. Zo wordt het mogelijk om binnen eenzelfde peilinginstrument een grote set van toetsvragen op te nemen, zonder dat de benodigde tijd voor de individuele leerlingen voor het afleggen van de toets erg lang wordt. Ten tweede kunnen de prestaties van de leerlingen, via de IRT-schaal in opeenvolgende peilingen vergeleken worden zonder dat steeds opnieuw dezelfde toetsvragen moeten worden afgenomen. Dit heeft als voordeel dat peilinginstrumenten continuïteit kunnen blijven behouden terwijl ze toch ook inhoudelijk actueel kunnen blijven. Verder maakt de IRT het in principe mogelijk om, gegeven een in een kalibratiestudie ontwikkelde toetsenvragenbank, de vaardigheden van de leerlingen te schatten binnen een computergestuurde adaptieve toetsafname. Dit is een toetsafname op maat van de 10

23 individuele leerling, waarbij de vragen van de toets worden gekozen op basis van de antwoorden op de voorgaande vragen. Op individueel vlak heeft dit als pluspunt dat de leerlingen werken aan een kortere toets met vragen die aansluiten bij hun persoonlijk vaardigheidsniveau. Daarnaast kan deze aanpak leiden tot een efficiëntere organisatie van afname en scoring, ook bij de latere verwerking van de resultaten. Deze mogelijkheid is voor het peilingonderzoek voorlopig nog toekomstmuziek. Eerst moet de werkbaarheid voor gewone computerafnames verzekerd worden. In dit project wordt voor de deelvaardigheid luisteren hiernaar onderzoek verricht. Een laatste voordeel van de IRT-benadering is dat in het domein van cesuurbepaling IRTgebaseerde methoden duidelijk terrein winnen. Bij dergelijke methoden kunnen onderwijsexperten hun mening over welke opgaven leerlingen moeten beheersen om de eindtermen te behalen rechtstreeks vertolken op de IRT-opgavenschaal. Deze methode wordt later verder toegelicht Keuze van een IRT-model: Het OPLM-model Het Rasch-model is het basismodel uit de IRT. In dit model worden de verschillen tussen items gemodelleerd aan de hand van verschillen in moeilijkheidsgraad. Het komt echter voor dat niet alle opgaven de latente vaardigheidsdimensie in even sterke mate weergeven. Daarom dienen vaak de verschillen in discriminatiegraad te worden opgenomen om tot een passend IRT-model te kunnen komen. In het OPLM-model van Verhelst en Glas (1995) is deze discriminatiegraad opgenomen als een categorische parameter. Opgaven die op een scherpe wijze een onderscheid kunnen maken tussen leerlingen met een hoge of een lage positie op de vaardigheidsdimensie hebben een hoge discriminatiegraad. Bij opgaven met een lage discriminatiegraad is het antwoord minder informatief voor de latente vaardigheid. Voor de kans op een juist antwoord van leerling j op opgave i geeft dit de volgende formule: P( X ij e = 1) = 1+ e αi ( θ j βi ) αi ( θ j βi ) Daarbij verwijst θ j naar de vaardigheid van de leerling, β i naar de moeilijkheidsgraad van de opgaven en i naar de discriminatiegraad. De moeilijkheidsgraad van een item wordt bepaald als het punt waarop een leerling een kans van.50 heeft om een opgave juist op te lossen. In Figuur 2.2. wordt het kansverloop weergegeven van twee items die beantwoorden aan het OPLM-model. Items A en B hebben daarin dezelfde moeilijkheidsgraad, maar item A heeft een hogere discriminatiegraad dan item B. Dit komt grafisch overeen met een steiler kansverloop voor item A. 11

24 Figuur 2.2 Het kansverloop van twee opgaven volgens het OPLM Modeltoetsing en -selectie De toetsing van het model bestaat erin na te gaan of de voorspellingen die uit het model kunnen worden afgeleid ook werkelijk kloppen met de verzamelde, empirische gegevens. Dit betekent dus dat een meetschaal pas geconstrueerd kan worden als de modelaannames ook door de empirische gegevens worden bevestigd. Voor het behouden van een model kunnen twee criteria gehanteerd worden. Voor het eerste criterium wordt gekeken naar de significantie van de R 1c -toets. Dit is een globale toets die aangeeft of het gebruikte IRT-model past voor al de toetsopgaven samen. Wanneer deze toets significant is, kan men besluiten dat het model niet voldoende bij de empirische gegevens aansluit. Wanneer de analyses betrekking hebben op een grote groep leerlingen wordt de R1c-toets zeer streng. Als alternatief stelden Sijtstra, van der Schoot en Hemker (2002) een tweede criterium voor dat als richtlijn gehanteerd wordt bij de Nederlandse peilingonderzoeken. Zij stellen dat significante afwijkingen van de R 1c weinig betekenis hebben zolang de waarde van R1c niet meer dan een factor 1.5 afwijkt van het aantal vrijheidsgraden. 12

25 De analyses gebeuren met behulp van het computerprogramma OPLM (Verhelst e.a., 1995), dat hierboven besproken wordt. Bij de analyses beginnen de onderzoekers steeds met het Raschmodel. Dit is het eenvoudigste en meest restrictieve IRT-model, waarbij elk item dezelfde discriminatiegraad heeft. Op basis van een statistische toets (R1c) kan nagegaan worden of dit model voor de gegevens past. Wanneer dat niet het geval is, wordt overgeschakeld op het minder restrictieve OPLM-model. Het computerprogramma vraagt hierbij een waarde op te geven voor het geometrisch gemiddelde van de discriminatieparameters. Aanvankelijk wordt de waarde 2 ingevoerd. Wanneer het model niet past in deze vorm, wordt het geometrische gemiddelde verhoogd. Een hoger geometrisch gemiddelde laat namelijk een grotere variabiliteit aan discriminatieparameters toe. Een andere manier om modelfit te verkrijgen is het verwijderen van niet-passende items. Het bijkomend verwijderen van opgaven gebeurt pas wanneer dit strikt noodzakelijk blijkt voor het vinden van een passend model Exploratie van de verschillen in vaardigheid Op basis van de psychometrische analyses wordt voor alle leerlingen een schatting gemaakt van hun vaardigheid in het bevraagde domein. Aan de hand van multiniveau-analyses kan worden nagegaan of er voor deze vaardigheid systematische verschillen bestaan tussen scholen en tussen klassen binnen scholen. Bovendien kan ook nagegaan worden in welke mate verschillen tussen leerlingen en eventuele verschillen tussen klassen en scholen samenhangen met school-, klas-, of leerlingkenmerken. Bij een kalibratiestudie zijn deze analyses exploratief. Bij een eigenlijke peiling zal bijvoorbeeld meer geïnvesteerd worden in het opvragen van leerlinginformatie en is de steekproef ook groter om meer uitspraken ten gronde te kunnen doen. 2.4 Samenstelling toetsen Op basis van de meetschalen die opgebouwd zijn aan de hand van de gegevens uit het kalibratieonderzoek, wordt het peilinginstrument opgesteld. Naast het eigenlijke peilinginstrument wordt ook een parallelversie ontwikkeld. Er wordt voor gezorgd dat beide toetsen een vergelijkbaar bereik op de meetschaal dekken. Om de face validity van de toetsen te verhogen wordt er ook naar gestreefd dat alle cellen uit de toetsmatrijs erin vertegenwoordigd zijn. 2.5 Cesuurbepaling Het hoofddoel van een peiling is het percentage leerlingen te bepalen dat op het einde van een bepaald curriculum de eindtermen van een bepaald vak haalt. Om dit percentage te 13

26 kunnen vaststellen is het nodig dat bepaald wordt wat het minimumniveau is dat de leerlingen op de meetschaal moeten bereiken om van een voldoende beheersing van de eindtermen te spreken De achterliggende logica Via het opstellen van een meetschaal op basis van de toetsantwoorden van de leerlingen uit het kalibratieonderzoek, wordt een eindterm of een groep van eindtermen in kaart gebracht. Op basis van deze meetschaal weet men hoe de toetsopgaven zich qua moeilijkheid tot elkaar verhouden. De meetschaal is daarbij als een toetsladder te omschrijven waarop de toetsopgaven volgens hun toenemende moeilijkheidsgraad worden geplaatst. Bovendien zijn ook de precieze prestaties van de leerlingen op deze meetschaal te bepalen. Toch is daarmee de vraag of de leerlingen de eindtermen behalen niet beantwoord. Daarvoor is een toetsnorm nodig die het minimale niveau aangeeft dat een leerling moet behalen op de meetschaal. In termen van de toetsladder komt dit neer op de vraag tot welke opgave leerlingen moeten kunnen opklimmen opdat ze het minimumniveau van de eindtermen zouden halen. Dat minimumniveau deelt de opgaven van een meetschaal logischerwijs op in twee groepen: enerzijds opgaven die beheerst moeten worden om de eindtermen te halen en anderzijds opgaven die een uitbreiding vormen op de eindtermen en bijgevolg niet hoeven beheerst te worden door leerlingen die de eindtermen behalen. In Figuur 2.3 staat een schematische weergave van een meetschaal met aanduiding van de toetsnorm, die de schaal in twee verdeelt. BEPALING MINIMUM Behalen eindterm Deze opgaven moeten de leerlingen nog niet beheersen Behalen eindterm nog niet Deze opgaven moeten de leerlingen beheersen Figuur 2.3 Voorstelling van een meetschaal en bepaling van het minimum prestatieniveau 14

27 2.5.2 Methode van cesuurbepaling De Bookmarkmethode Als methode van cesuurbepaling wordt in het Vlaamse peilingonderzoek gewerkt met een licht aangepaste versie van de Bookmarkmethode (letterlijk: bladwijzermethode) van Mitzel, Lewis, Patz en Green (2001). De Bookmarkmethode werd ontwikkeld binnen CTB/McGraw- Hill, een Amerikaans bedrijf voor toetsontwikkeling, en wordt eveneens toegepast bij Amerikaanse peilingonderzoeken. Bij de Bookmarkmethode krijgen de beoordelaars de toetsopgaven in hun toetsboekje geordend in stijgende graad van moeilijkheid. Als index van moeilijkheidsgraad wordt het punt op de meetschaal genomen waarop een leerling een kans van 1 op 2 heeft om de opgave juist op te lossen. De taak van de beoordelaars bestaat erin om (figuurlijk gesproken) een bladwijzer te plaatsen tussen de twee opgaven die de overgang vormen tussen opgaven die wel beheerst moeten worden en opgaven die nog niet beheerst moeten worden. De aanpassing bestaat erin dat bij de cesuurbepaling de beoordelaars, naast de concrete opgaven in volgorde van de.50-kanspunten, ook een visuele weergave van de opgavenschaal krijgen met daarop de posities van de opgaven volgens hun.50-kanspunten. De opgavenschaal dient om de beoordelaars een overzicht te geven van de verschillen in moeilijkheidsgraad tussen de opgaven. De beoordelaars brengen hun oordeel op deze meetschaal aan Een procedure in drie rondes De cesuurbepaling verloopt in verschillende rondes. De beoordelaars krijgen eerst een algemene inleiding waarin de eigenheid van peilingonderzoek wordt toegelicht en waarin het opzet en doel van de cesuurbepaling wordt verduidelijkt. Daarbij wordt onder meer ingegaan op de idee van de toetsladder in het kader van de IRT. Ook volgt er een toelichting bij de concrete beoordelingstaak die van de experts verwacht wordt. Deze beoordeling moet gebeuren op basis van de concrete inhoud van de items. Zo kan een cesuur ook helemaal onderaan een schaal worden gelegd of helemaal bovenaan, al naargelang de beoordelaars de opgaven van de schaal als erg moeilijk, dan wel als erg makkelijk beoordelen in functie met het te behalen minimumniveau dat de eindtermen vooropstellen. Een cesuur ligt dus zeker niet per definitie in het midden van de schaal. Verder wordt benadrukt dat gewerkt wordt vanuit een contributiemodel voor de uiteindelijke cesuur waarin elk individueel oordeel even zwaar weegt. Een consensus over de cesuur tussen de beoordelaars over de verschillende rondes is dus geen doel op zich. Tot slot wordt benadrukt dat men het minimum voor ogen moeten houden dat behaald moet worden om de eindtermen te beheersen. De leerplannen en handboeken gaan immers vaak verder dan dat minimumniveau. De klaspraktijk richt zich eerder op de modale leerling en meestal niet in 15

28 eerste instantie op de leerling die net het minimumniveau haalt. Eindtermen zijn echter minimumdoelen. In de eerste ronde moeten de beoordelaars zelf de toetsopgaven maken. Deze procedure wordt gevolgd opdat de beoordelaars een goed zicht zouden krijgen op de concrete inhoud en de cognitieve vereisten van de toetsopgaven. Ook moeten de beoordelaars de scoringsvoorschriften bekijken om te weten welke criteria gehanteerd worden bij de beoordeling van de antwoorden van de leerlingen. De scoringsvoorschriften bepalen immers mee de moeilijkheidsgraad van een opgave. Na het overlopen van de scoringsvoorschriften krijgen de beoordelaars toetsboekjes waarin de toetsopgaven in volgorde van moeilijkheidsgraad geordend zijn. Deze boekjes zijn samen met de opgavenschaal een houvast voor het vastleggen van de cesuur. Vervolgens brengen de beoordelaars rechtstreeks op de opgavenschaal een eerste oordeel uit over de cesuur. Voor de tweede ronde worden de beoordelaars opgedeeld in kleine groepen waarin één groepslid gespreksleider is. Bij het begin van deze tweede ronde krijgt elke groep feedback over het gezamenlijke oordeel voor de cesuur uit de eerste ronde. Deze feedback bestaat uit informatie over de mediaan, het minimum, maximum en de kwartielen van de oordelen die werden uitgebracht in de eerste ronde. Vervolgens krijgen de deelnemers de tijd om inhoudelijk te overleggen. Dit overleg stelt hen in staat om hun oordeel te beargumenteren en om hun eigen oordeel te toetsen aan dat van hun collega s. Na dit overleg geeft elke beoordelaar opnieuw individueel een tweede oordeel. De derde ronde vindt opnieuw plaats met de volledige groep. In deze ronde wordt feedback gegeven over de mediaan van de oordelen voor de minimumleerling van de drie verschillende groepen. Daarna wordt meestal informatie gegeven over het percentage leerlingen uit het kalibratieonderzoek dat volgens de cesuur uit de tweede ronde de eindtermen van de betreffende meetschaal behaalt. Deze derde ronde wordt afgesloten met het uitbrengen van een derde en laatste oordeel van elk van de beoordelaars afzonderlijk. Dit oordeel wordt als basis genomen voor het vastleggen van de cesuur. De definitieve cesuur wordt vastgelegd op de mediaan van de uiteindelijke oordelen. Op basis van die cesuur kan bij een peiling bepaald worden hoeveel procent van de Vlaamse leerlingen de onderzochte eindtermen voldoende beheerst. 2.6 Besluit In dit hoofdstuk werden de verschillende algemene onderzoeksstappen beschreven die doorlopen worden bij de constructie van een peilinginstrument dat haar validiteit verzekerd weet door een constante wisselwerking tussen vakinhoudelijke medewerkers en 16

29 methodologen. In een eerste fase wordt een toetsmatrijs opgebouwd en toetsvragen ontwikkeld. Om die toetsvragen en de bijhorende scoringsvoorschriften te optimaliseren worden zij in een voorstudie voorgelegd aan een beperkte steekproef van leerlingen en vakinhoudelijke deskundigen uit de onderwijspraktijk. Na de herwerking van de toetsvragen volgt dan in een tweede fase een grootschalige afname bij een representatieve getrapte en gestratificeerde - steekproef van leerlingen. Op basis van de IRT-analyses uit dit kalibratieonderzoek kunnen de verschillende toetsvragen dan op één of meerdere meetschalen geplaatst worden zodat het peilinginstrument op grote schaal inzetbaar wordt. Aangezien de overheid met een peiling wil nagaan hoeveel leerlingen procentueel de eindtermen van een bepaald vak halen, is het in een laatste fase ook belangrijk op die meetschalen een cesuur te bepalen die het minimumniveau aangeeft dat de leerlingen op de meetschaal moeten bereiken om van een voldoende beheersing van de eindtermen te spreken. In de volgende hoofdstukken wordt uitgelegd hoe volgens deze algemene werkwijze de concrete peilinginstrumenten voor Frans lezen, schrijven en luisteren werden ontwikkeld. 17

30 18

31 HOOFDSTUK 3 DE ONTWIKKELING VAN DE TOETS- MATRIJS EN DE TOETSOPGAVEN De eindtermen Frans voor luister-, lees- en schrijfvaardigheid van de eerste graad secundair onderwijs (A-stroom) waren het logische uitgangspunt voor de ontwikkeling van het peilinginstrument Frans. Dit hoofdstuk beschrijft de algemene dynamiek die gevolgd werd om de eindtermen te analyseren en te concretiseren om zo een toetsmatrijs op te stellen die toelaat toetsopgaven te ontwikkelen om de eindtermen op een genuanceerde manier te toetsen. Een belangrijke inspiratiebron hierbij was het Gemeenschappelijk Europees Referentiekader voor Talen. 3.1 De eindtermen moderne vreemde talen Frans De 26 vakgebonden eindtermen voor lezen, schrijven, luisteren en spreken van de eindtermen Frans als moderne vreemde taal voor de eerste graad van het secundair onderwijs zijn voluit weergegeven in Tabel 3.1. Na een analyse van de eindtermen werd bepaald welke eindtermen effectief werden opgenomen in het peilinginstrument Een eerste interpretatie van de eindtermen Het OBPWO - project wil een peilinginstrument ontwikkelen voor de eindtermen Frans van de eerste graad (A-stroom). Het spreekt dan ook voor zich dat zij het vertrekpunt en het enige absolute referentiepunt zijn voor het opstellen van de toetsmatrijzen en het ontwikkelen van de toetsopgaven. Om een zuiver beeld te krijgen van de eindtermen, werden ze eerst doorgelicht op hun handelingswerkwoord. Vervolgens werden de complementen van de handelingswerkwoorden geanalyseerd. Daarin bepalen de eindtermen soms expliciet de tekstsoort en de intrinsieke moeilijkheidsgraad hiervan. Tabel 3.2 geeft als voorbeeld een analyse van de eindtermen Luisteren. Uit deze tabel blijkt bijvoorbeeld dat eindterm 1 gaat over het begrijpen (handelingswerkwoord) van de betekenis (complement) van aanwijzingen, instructies en waarschuwingen (tekstsoort) die duidelijk zijn uitgesproken en verwoord zijn in een eenvoudige taal qua structuur en woordenschat (intrinsieke moeilijkheidsgraad van de tekstsoort). 19