25 Jaar peilingsonderzoek in Nederland: Taal peilingen door de jaren heen Werkseminarie Nederlands Gent, 9 december Dr Bas Hemker, Psychometric Research Centre, CITO
In deze presentatie Een korte beschrijving van de geschiedenis van het peilingsonderzoek in Nederland Wat we afgelopen jaren hebben geleerd met betrekking tot de taalpeilingen Nederlands Tips en overdenkingen
Peilingsonderzoek Periodieke peiling van het Onderwijsniveau (PPON) in opdracht van het ministerie van Onderwijs, Cultuur en Wetenschappen: * Stand van zaken: - vaardigheid - de onderwijspraktijk * Vergelijkingen door de tijd heen
Kenmerken van PPON Populatie Groep 8 leerlingen (laatste jaar primair onderwijs; 12 jr) Groep 5 (einde van de onderbouw; 9 jr) Speciaal onderwijs Nadruk ligt op de vaardigheden: Start met domeinbeschrijvingen Veel vaardigheden Zeer gedetailleerd Standaarden bepaald door de inhoud Om de 5 tot 10 jaar
PPON Vaardigheden Rekenen: tussen 20 en 30 schalen Taal onderwijs (Nederlands): actief - passief Vreemde talen: Engels Natuuronderwijs, Aardrijkskunde, Geschiedenis L.O., Tekenen, Verkeersonderwijs Burgerschap, Sociaal-Emotionele Vaardigheden alles wat onderdeel is van het verplicht curriculum in primair onderwijs in Nederland
PPON Werkwijze: Domeinbeschrijving Subvaardigheden Operationalisaties Opgaven en beoordelingsschema s Ook: richtlijnen bij afnamen (verschillen) Afnamen Beoordelingen Analyses: item response theorie Rapportages
De PPON taaltoetsen Lezen Begrijpend lezen begrijpen, interpreteren, reflecteren Studerend Lezen Schrijven Schrijfopdrachten Stijl, grammatica, woordgebruik, doelgerichtheid Luisteren Begrijpend luisteren begrijpen, interpreteren, reflecteren Spreken Korte en lange response taken
De PPON taaltoetsen Ondersteunende vaardigheden Taalverzorging: Spelling (werkwoord/niet werkwoord) Woordenschat GrammaticaVocabulary Handschrift
De PPON taaltoetsen Type opgaven * Multiple choice (bv bij begrijpend lezen) * Korte antwoorden (open; bv bij spelling) * Lange antwoorden (bv bij schrijven) beoordeling: - Analytisch - Holistisch
Multiple choice en Korte open opgaven: Niet toegepast: unidimensionele meting Lange antwoordvragen (mn schrijven) Ook toegepaste opgaven Of het echt geïntegreerde vragen zijn Er is een evolutie in de vraagstellingen, en beoordelingen (bv schrijven), maar ook vergelijking over tijd noodzakelijk
Wat nog meer gemeten Vragenlijsten scholen leraren leerlingen Achtergrond variabelen persoonseigenschappen: bv geslacht schooleigenschappen Standaarden Feedback van focus groepen
Analyses Veel opgaven incompleet design IRT Soms beoordelingen en beoordelaars OZ Latente trek modellen en programma s OPLM: analyse van de opgaven - schaling SAUL: analyse van de populatie Latent correlations
Naast de reguliere peilingen: Jaarlijks peilingsonderzoek Beperkte set vaardigheden Taal: begrijpend lezen, spelling, woordenschat Groep 8: bestaande data Eindtoets Alleen meerkeuze Geen vragenlijsten voor docenten / scholen Jaarlijks sinds 2008 Invloed van motivatie
Resultaten Reguliere peilingen: Zie: overzicht van balansen http://www.cito.nl/onderzoek%20en%20wetenschap/deelname_ nat_onderzoek/ppon/balansen_rapporten Jaarlijkse peilingen: Zie: overzicht van jaarbalansen http://www.cito.nl/onderzoek%20en%20wetenschap/deelname_ nat_onderzoek/ppon/jaarlijks_peilingsonderzoek
Vaardigheidsscore Taal vaardigheden JPON 258 256 254 252 250 248 2008 2009 2010 2011 2012 2013 T: Woordenschat T: Spelling T: Begrijpend lezen (anker) Meer resultaten
Hoe rapporteren jullie aan scholen en ook aan de leerlingen Bij PPON wordt niet gerapporteerd op leerlingniveau; bij de jaarlijkse peilingen wel Hoe worden de resultaten aangewend in de scholen? PPON is het niet bekend van; de resultaten op de toetsen zelf hebben grote invloed; resultaat van de peiling zelf niet zo
De invloed van motivatie Niet alleen geleerd over de vaardigheden, en de relaties met achtergrondvariabelen Maar ook over de invloed van motivatie: PPON heeft geen directe invloed op de leerlingen, maar de toetsen van de jaarlijkse peilingen wel: maximale versie niet maximale inzet: Effectgrootte (high - low stakes): 0,3-0,4 sd Individuele en groepsverschillen En effect op standaarden
Keuze achtergrondvariabelen Achtergrondvariabelen Welke variabelen hebben invloed op resultaten Welke zijn (door onderwijs) te beïnvloeden Effect van docenten en docenten gedrag Hiermee kan peilingsonderzoek helpen en niet alleen beoordelen Echter: makkelijker gezegd dan gedaan!
Effect van onderwijs Sommige Differential Item Functioning is goed! Een opgave heeft niet altijd dezelfde betekenis maar dat hoeft niet slecht te zijn Niet alleen tussen de verschillende jaarmomenten, maar ook bij vergelijken van landen DIF laat zien dat onderwijs er toe doet Maar niet alle DIF is goed
Dank u voor uw aandacht
Kenmerken Taalvaardigheden (100 items) Begrijpend lezen: 30 opgaven per toets Spelling: 20 opgaven Woordenschat: 20 opgaven Rekenen (60) en Studievaardigheden (40) Keuze niveau vervolgonderwijs na primair Drie ochtenden Verschillende typen toetsen (bv Regulier, Niveau ) Ruim 150.000 leerlingen terug
Groepen: Achtergrondvariabelen 2008 als referentie:n 2008 (250, 50) > Gemiddelde van 2008 op 250, > Standaard deviatie van 2008 op 50 Zes afnamejaren: 2008 2013 Gemiddelden, verdelingen en effecten Geslacht Formatiegewicht Regio Schoolgrootte Advies vervolgonderwijs Leertijd (leeftijd) Schoolgewicht (stratum) Urbanisatiegraad Thuistaal Gemaakte toets (EB vs EN) terug
Vaardigheidsscore Resultaten Jaar: Taal Vaardigheden 2008 2009 2010 2011 2012 2013 T: Woordenschat 250 249 257 251 252 254 T: Spelling 250 250 252 252 256 255 T: Begrijpend lezen (anker) 250 252 254 257 253 253 258 256 254 252 250 248 2008 2009 2010 2011 2012 2013 T: Woordenschat T: Spelling T: Begrijpend lezen (anker) terug
Resultaten Jaareffect: Taal Vaardigheden 2009-2008 2010-2009 2011-2010 2012-2011 2013-2012 2013-2008 T: Woordenschat -0,02 0,15-0,11 0,02 0,04 0,08 T: Spelling 0,00 0,03 0,00 0,07-0,03 0,07 T: Begrijpend lezen (anker)* 0,04 0,04 0,07-0,09 0,00 0,06 terug
Effecten 2013 Variabele Contrast Taal Rekenen WS Sp BL G/B BPV MMTG Geslacht Meisjes - Jongens -0,24 0,27 0,15-0,30-0,46-0,44 Leertijd Regulier - Vertraagd 0,49 0,72 0,58 0,67 0,69 0,65 Stratum* Laag Matig %gewlln 0,11 0,10 0,19 0,10 0,13 0,12 Matig Hoog %gewlln 0,37 0,02 0,37 0,05 0,14 0,16 Laag Hoog %gewlln 0,47 0,12 0,56 0,14 0,27 0,28 Formatiegewicht 0.0-0.3 0,39 0,36 0,52 0,44 0,47 0,46 0.0-1.2 0,81 0,10 0,69 0,20 0,33 0,34 0.3-1.2 0,42-0,27 0,17-0,24-0,15-0,12 terug
Effectschattingen Gecorrigeerd of gezuiverd effect: Het toegevoegde effect van een variabele als gecorrigeerd wordt voor andere variabelen. Bijvoorbeeld: Het bijkomend effect van de thuistaal naast het schoolgewicht, formatiegewicht, geslacht en leeftijd terug
Resultaten voor Thuistaal (2011) Ongecorrigeerd
Resultaten voor Thuistaal Gecorrigeerd (voor G,L,S, en F) terug
Effecten 2013 (gecorrigeerd) Variabele Contrast Taal Rekenen WS Sp BL G/B BPV MMTG Advies VO vmbo-kb - vmbo-bb 0,63 0,67 1,09 1,02 1,13 1,00 vmbo-gt - vmbo-kb 0,53 0,49 0,74 0,70 0,75 0,71 havo - vmbo-gt 0,85 0,94 1,15 1,20 1,24 1,25 vwo - havo 1,32 1,49 1,75 1,56 1,66 1,78 vwo - vmbo BB 3,31 3,58 4,73 4,48 4,77 4,73 Toets Eindtoets-Niveautoets 1,13 1,14 1,41 1,39 1,45 1,39 terug
Effecten 2013 (gecorrigeerd) Taal Rekenen Variabele Contrast WS Sp BL G/B BPV MMTG Schoolgrootte Groot Klein 0,01 0,11 0,07 0,08 0,09 0,04 Regio Oost Noord -0,10-0,01 0,04 0,00 0,03 0,00 West - Noord -0,06 0,12 0,09 0,08 0,11 0,06 Zuid - Noord -0,13 0,18 0,09 0,14 0,13 0,08 West - Oost 0,05 0,13 0,05 0,08 0,08 0,06 Zuid - Oost -0,02 0,19 0,05 0,14 0,10 0,08 Zuid - West -0,07 0,06 0,00 0,06 0,02 0,02 Verstedelijking Sterk - Zeer sterk -0,04-0,06-0,02-0,05-0,06-0,02 Matig - Sterk 0,02-0,05-0,02-0,02-0,03-0,02 Weinig - Matig -0,04-0,04-0,06-0,04-0,03-0,02 Niet - Weinig 0,02-0,05-0,06 0,00 0,00 0,02 terug
Discussie Resultaten is beschrijving stand van zaken - Geen causaliteit - Geen oordeel over niveau van vaardigheid - geen standaardsetting hopelijk volgend jaar via ref-sets - geen definitieve vertaling van de eindtoets in termen van referentieniveaus terug