Taal peilingen door de jaren heen

Maat: px

Weergave met pagina beginnen:

Download "Taal peilingen door de jaren heen"

Frederik de Vos
5 jaren geleden
Aantal bezoeken:

1 25 Jaar peilingsonderzoek in Nederland: Taal peilingen door de jaren heen Werkseminarie Nederlands Gent, 9 december Dr Bas Hemker, Psychometric Research Centre, CITO

2 In deze presentatie Een korte beschrijving van de geschiedenis van het peilingsonderzoek in Nederland Wat we afgelopen jaren hebben geleerd met betrekking tot de taalpeilingen Nederlands Tips en overdenkingen

3 Peilingsonderzoek Periodieke peiling van het Onderwijsniveau (PPON) in opdracht van het ministerie van Onderwijs, Cultuur en Wetenschappen: * Stand van zaken: - vaardigheid - de onderwijspraktijk * Vergelijkingen door de tijd heen

4 Kenmerken van PPON Populatie Groep 8 leerlingen (laatste jaar primair onderwijs; 12 jr) Groep 5 (einde van de onderbouw; 9 jr) Speciaal onderwijs Nadruk ligt op de vaardigheden: Start met domeinbeschrijvingen Veel vaardigheden Zeer gedetailleerd Standaarden bepaald door de inhoud Om de 5 tot 10 jaar

5 PPON Vaardigheden Rekenen: tussen 20 en 30 schalen Taal onderwijs (Nederlands): actief - passief Vreemde talen: Engels Natuuronderwijs, Aardrijkskunde, Geschiedenis L.O., Tekenen, Verkeersonderwijs Burgerschap, Sociaal-Emotionele Vaardigheden alles wat onderdeel is van het verplicht curriculum in primair onderwijs in Nederland

6 PPON Werkwijze: Domeinbeschrijving Subvaardigheden Operationalisaties Opgaven en beoordelingsschema s Ook: richtlijnen bij afnamen (verschillen) Afnamen Beoordelingen Analyses: item response theorie Rapportages

7 De PPON taaltoetsen Lezen Begrijpend lezen begrijpen, interpreteren, reflecteren Studerend Lezen Schrijven Schrijfopdrachten Stijl, grammatica, woordgebruik, doelgerichtheid Luisteren Begrijpend luisteren begrijpen, interpreteren, reflecteren Spreken Korte en lange response taken

8 De PPON taaltoetsen Ondersteunende vaardigheden Taalverzorging: Spelling (werkwoord/niet werkwoord) Woordenschat GrammaticaVocabulary Handschrift

9 De PPON taaltoetsen Type opgaven * Multiple choice (bv bij begrijpend lezen) * Korte antwoorden (open; bv bij spelling) * Lange antwoorden (bv bij schrijven) beoordeling: - Analytisch - Holistisch

10 Multiple choice en Korte open opgaven: Niet toegepast: unidimensionele meting Lange antwoordvragen (mn schrijven) Ook toegepaste opgaven Of het echt geïntegreerde vragen zijn Er is een evolutie in de vraagstellingen, en beoordelingen (bv schrijven), maar ook vergelijking over tijd noodzakelijk

11 Wat nog meer gemeten Vragenlijsten scholen leraren leerlingen Achtergrond variabelen persoonseigenschappen: bv geslacht schooleigenschappen Standaarden Feedback van focus groepen

12 Analyses Veel opgaven incompleet design IRT Soms beoordelingen en beoordelaars OZ Latente trek modellen en programma s OPLM: analyse van de opgaven - schaling SAUL: analyse van de populatie Latent correlations

13 Naast de reguliere peilingen: Jaarlijks peilingsonderzoek Beperkte set vaardigheden Taal: begrijpend lezen, spelling, woordenschat Groep 8: bestaande data Eindtoets Alleen meerkeuze Geen vragenlijsten voor docenten / scholen Jaarlijks sinds 2008 Invloed van motivatie

14 Resultaten Reguliere peilingen: Zie: overzicht van balansen nat_onderzoek/ppon/balansen_rapporten Jaarlijkse peilingen: Zie: overzicht van jaarbalansen nat_onderzoek/ppon/jaarlijks_peilingsonderzoek

15 Vaardigheidsscore Taal vaardigheden JPON T: Woordenschat T: Spelling T: Begrijpend lezen (anker) Meer resultaten

16 Hoe rapporteren jullie aan scholen en ook aan de leerlingen Bij PPON wordt niet gerapporteerd op leerlingniveau; bij de jaarlijkse peilingen wel Hoe worden de resultaten aangewend in de scholen? PPON is het niet bekend van; de resultaten op de toetsen zelf hebben grote invloed; resultaat van de peiling zelf niet zo

17 De invloed van motivatie Niet alleen geleerd over de vaardigheden, en de relaties met achtergrondvariabelen Maar ook over de invloed van motivatie: PPON heeft geen directe invloed op de leerlingen, maar de toetsen van de jaarlijkse peilingen wel: maximale versie niet maximale inzet: Effectgrootte (high - low stakes): 0,3-0,4 sd Individuele en groepsverschillen En effect op standaarden

18 Keuze achtergrondvariabelen Achtergrondvariabelen Welke variabelen hebben invloed op resultaten Welke zijn (door onderwijs) te beïnvloeden Effect van docenten en docenten gedrag Hiermee kan peilingsonderzoek helpen en niet alleen beoordelen Echter: makkelijker gezegd dan gedaan!

19 Effect van onderwijs Sommige Differential Item Functioning is goed! Een opgave heeft niet altijd dezelfde betekenis maar dat hoeft niet slecht te zijn Niet alleen tussen de verschillende jaarmomenten, maar ook bij vergelijken van landen DIF laat zien dat onderwijs er toe doet Maar niet alle DIF is goed

20 Dank u voor uw aandacht

21 Kenmerken Taalvaardigheden (100 items) Begrijpend lezen: 30 opgaven per toets Spelling: 20 opgaven Woordenschat: 20 opgaven Rekenen (60) en Studievaardigheden (40) Keuze niveau vervolgonderwijs na primair Drie ochtenden Verschillende typen toetsen (bv Regulier, Niveau ) Ruim leerlingen terug

22 Groepen: Achtergrondvariabelen 2008 als referentie:n 2008 (250, 50) > Gemiddelde van 2008 op 250, > Standaard deviatie van 2008 op 50 Zes afnamejaren: Gemiddelden, verdelingen en effecten Geslacht Formatiegewicht Regio Schoolgrootte Advies vervolgonderwijs Leertijd (leeftijd) Schoolgewicht (stratum) Urbanisatiegraad Thuistaal Gemaakte toets (EB vs EN) terug

23 Vaardigheidsscore Resultaten Jaar: Taal Vaardigheden T: Woordenschat T: Spelling T: Begrijpend lezen (anker) T: Woordenschat T: Spelling T: Begrijpend lezen (anker) terug

24 Resultaten Jaareffect: Taal Vaardigheden T: Woordenschat -0,02 0,15-0,11 0,02 0,04 0,08 T: Spelling 0,00 0,03 0,00 0,07-0,03 0,07 T: Begrijpend lezen (anker)* 0,04 0,04 0,07-0,09 0,00 0,06 terug

25 Effecten 2013 Variabele Contrast Taal Rekenen WS Sp BL G/B BPV MMTG Geslacht Meisjes - Jongens -0,24 0,27 0,15-0,30-0,46-0,44 Leertijd Regulier - Vertraagd 0,49 0,72 0,58 0,67 0,69 0,65 Stratum* Laag Matig %gewlln 0,11 0,10 0,19 0,10 0,13 0,12 Matig Hoog %gewlln 0,37 0,02 0,37 0,05 0,14 0,16 Laag Hoog %gewlln 0,47 0,12 0,56 0,14 0,27 0,28 Formatiegewicht ,39 0,36 0,52 0,44 0,47 0, ,81 0,10 0,69 0,20 0,33 0, ,42-0,27 0,17-0,24-0,15-0,12 terug

26 Effectschattingen Gecorrigeerd of gezuiverd effect: Het toegevoegde effect van een variabele als gecorrigeerd wordt voor andere variabelen. Bijvoorbeeld: Het bijkomend effect van de thuistaal naast het schoolgewicht, formatiegewicht, geslacht en leeftijd terug

27 Resultaten voor Thuistaal (2011) Ongecorrigeerd

28 Resultaten voor Thuistaal Gecorrigeerd (voor G,L,S, en F) terug

29 Effecten 2013 (gecorrigeerd) Variabele Contrast Taal Rekenen WS Sp BL G/B BPV MMTG Advies VO vmbo-kb - vmbo-bb 0,63 0,67 1,09 1,02 1,13 1,00 vmbo-gt - vmbo-kb 0,53 0,49 0,74 0,70 0,75 0,71 havo - vmbo-gt 0,85 0,94 1,15 1,20 1,24 1,25 vwo - havo 1,32 1,49 1,75 1,56 1,66 1,78 vwo - vmbo BB 3,31 3,58 4,73 4,48 4,77 4,73 Toets Eindtoets-Niveautoets 1,13 1,14 1,41 1,39 1,45 1,39 terug

30 Effecten 2013 (gecorrigeerd) Taal Rekenen Variabele Contrast WS Sp BL G/B BPV MMTG Schoolgrootte Groot Klein 0,01 0,11 0,07 0,08 0,09 0,04 Regio Oost Noord -0,10-0,01 0,04 0,00 0,03 0,00 West - Noord -0,06 0,12 0,09 0,08 0,11 0,06 Zuid - Noord -0,13 0,18 0,09 0,14 0,13 0,08 West - Oost 0,05 0,13 0,05 0,08 0,08 0,06 Zuid - Oost -0,02 0,19 0,05 0,14 0,10 0,08 Zuid - West -0,07 0,06 0,00 0,06 0,02 0,02 Verstedelijking Sterk - Zeer sterk -0,04-0,06-0,02-0,05-0,06-0,02 Matig - Sterk 0,02-0,05-0,02-0,02-0,03-0,02 Weinig - Matig -0,04-0,04-0,06-0,04-0,03-0,02 Niet - Weinig 0,02-0,05-0,06 0,00 0,00 0,02 terug

31 Discussie Resultaten is beschrijving stand van zaken - Geen causaliteit - Geen oordeel over niveau van vaardigheid - geen standaardsetting hopelijk volgend jaar via ref-sets - geen definitieve vertaling van de eindtoets in termen van referentieniveaus terug

Vergelijkbare documenten

Hoe het basisonderwijs stilletjes efficiënter werd

Hoe het basisonderwijs stilletjes efficiënter werd Resultaten van de zevende jaarlijkse peiling van de rekenen taalvaardigheid in groep 8 (2014) Bas T. Hemker & Jan van Weerden Cito Inleiding Opzet van